gui-automation

Mano-P: Tác nhân GUI-VLA mã nguồn mở dành cho thiết bị biên. Đạt hạng #1 trên OSWorld (chuyên biệt, 58.2%). Chạy cục bộ trên Apple M4 Mac mini/MacBook — không có dữ liệu nào rời khỏi thiết bị của bạn. Mano-P là dự án GUI-VLA mã nguồn mở hỗ trợ chạy suy luận cục bộ trên Mac mini/MacBook hoặc qua thanh tính năng, đạt được tự động hóa GUI đa nền tảng điều khiển bằng thị giác thuần túy. Dữ liệu được xử lý hoàn toàn cục bộ, hỗ trợ lập kế hoạch và thực thi tác vụ nhiều bước phức tạp.

👾 Open Computer Use – Giải pháp mã nguồn mở thay thế cho Codex Computer Use

Biên dịch quy trình làm việc GUI đã được chứng minh thành một chương trình xác định, có thể thực thi cục bộ. Không có lệnh gọi mô hình nào khi chạy bình thường; sửa chữa có kiểm soát; dừng lại thay vì đoán. Trình khởi chạy cho openadapt-flow: pip install openadapt

OpenGUI là một khung tác nhân GUI Android dành cho AI sử dụng điện thoại, có khả năng nhìn, lên kế hoạch và vận hành các ứng dụng di động thực tế thông qua GUI.

[dsh] Bộ công cụ thị giác mạnh mẽ hơn cho các mô hình văn bản thuần túy: cài đặt và sử dụng trong một dòng lệnh, dán ảnh để nhận diện trực tiếp, hỏi đáp nhiều ảnh, chụp màn hình để khôi phục giao diện người dùng｜Tích hợp DeepSeek Harness cho bộ công cụ thị giác tác nhân: hỏi đáp ảnh, OCR chụp màn hình dài, khôi phục UI, grounding, so sánh pixel, Artifacts và Web UI.