Agent AI của bạn kiểm thử ứng dụng desktop
mà chính nó vừa xây dựng
Agent đã sửa cửa sổ cài đặt trong ứng dụng Electron của bạn, nhưng chưa hề mở nó ra. Với Computer use trong AgentsRoom, agent khởi chạy ứng dụng, nhìn vào cửa sổ, nhấp qua từng phần và gửi bạn ảnh chụp trước khi báo là đã xong.
Computer use là một máy chủ MCP mà AgentsRoom cung cấp cho Claude Code, Codex, Cursor và các CLI agent khác. Agent nhìn thấy một cửa sổ của ứng dụng bạn đã cho phép, dưới dạng một hình ảnh kèm danh sách các nút và trường nhập, rồi thao tác trong đó: nhấp, gõ, nhấn phím, cuộn. Tính năng dùng được cho ứng dụng bạn đang xây dựng, một công cụ nội bộ hay một trình duyệt khác ngoài Chrome, trên macOS, Windows và Linux.
Ảnh chụp màn hình
Ảnh chụp thật từ ứng dụng, được bổ sung khi tính năng này phát triển.
Agent
Công cụ ứng dụng
- app_launch
- app_snapshot
- app_click
- app_type
Một agent lập trình có thể viết một cửa sổ mới cho ứng dụng Electron, một view macOS native hay một form Windows trong vài phút. Việc kiểm tra vẫn là của bạn: build, mở ứng dụng, nhấp qua màn hình, phát hiện cái nút không làm gì cả, rồi mô tả lại cho agent.
Ứng dụng web có công cụ trình duyệt, ứng dụng di động có trình mô phỏng. Ứng dụng desktop thì không có CLI hay API nào để kiểm thử qua đó. Tính năng computer use mà một số nhà cung cấp AI đưa ra chỉ chạy với agent của riêng họ, và thường trên toàn bộ màn hình của bạn.
AgentsRoom mang Computer use đến mọi CLI agent. Bạn chọn những ứng dụng nào của một dự án được phép điều khiển, và chỉ những ứng dụng đó. Agent chỉ thấy một cửa sổ mỗi lần, mọi thao tác đều hiện trong console của nó, và một banner có nút Dừng luôn nằm trên màn hình khi agent làm việc.
Agent của bạn làm được gì trong một ứng dụng desktop
Những bước kiểm tra bạn vẫn làm bằng tay sau mỗi thay đổi, nay do chính agent đã viết ra thay đổi đó thực hiện.
Mở đúng ứng dụng
Agent liệt kê các ứng dụng được phép cho dự án trên máy tính này, dù đang chạy hay không, mở một ứng dụng hoặc đưa nó lên trước, rồi chọn cửa sổ cần dùng.
Nhìn một cửa sổ
Agent nhận một hình ảnh của cửa sổ cùng danh sách các nút, trường nhập và menu kèm tên của chúng. Không bao giờ là toàn bộ màn hình, không bao giờ là một ứng dụng khác.
Nhấp, gõ, cuộn
Agent nhấp vào một nút, gõ vào một trường, nhấn một phím kèm phím bổ trợ và cuộn một danh sách, rồi nhìn lại để kiểm tra kết quả.
Chuột vẫn là của bạn
Một cú nhấp vào nút có tên đi qua trợ năng của hệ thống: con trỏ của bạn không di chuyển và bạn vẫn làm việc bình thường. Chỉ cú nhấp theo vị trí mới cần đến chuột, và nó chờ đến khi bạn ngừng dùng chuột.
Chỉ những ứng dụng bạn liệt kê
Mỗi dự án có danh sách ứng dụng riêng, ban đầu để trống. Khi danh sách chưa có ứng dụng nào, không agent nào điều khiển được gì. Agent có thể gỡ một ứng dụng hoặc tự bỏ quyền của mình, nhưng không bao giờ thêm vào.
Luôn trong tầm mắt, luôn dừng được
Một banner cho biết agent nào đang điều khiển ứng dụng nào, kèm nút Dừng. Một phím tắt toàn cục (Ctrl+Alt+Shift+Esc) dừng mọi agent cùng lúc, và mọi thao tác đều được ghi trong console của agent.
Cách hoạt động
Thêm ứng dụng một lần, rồi để agent lo phần kiểm tra.
- 1
Thêm ứng dụng vào dự án
Mở Cài đặt dự án > Khả năng > Computer use và nhấp Thêm: chọn một ứng dụng đang mở, một ứng dụng đã cài đặt, hoặc một tệp thực thi trong thư mục dự án, chẳng hạn bản build Electron của bạn.
- 2
Cấp quyền cho máy tính
Trên macOS, cho phép AgentsRoom App Control trong Cài đặt hệ thống > Quyền riêng tư & Bảo mật > Trợ năng và Ghi màn hình. AgentsRoom tự mở đúng mục cho bạn. Trên Windows không cần cấp quyền gì.
- 3
Yêu cầu kiểm tra
Hãy yêu cầu agent kiểm tra thay đổi của nó trong ứng dụng. Agent mở ứng dụng, nhìn vào cửa sổ, nhấp và gõ như một người kiểm thử, sửa code khi có gì sai, rồi gửi bạn ảnh chụp kết quả.
- 4
Theo dõi, hoặc dừng lại
Banner cho thấy agent đang làm việc, mục Computer use ở thanh dưới cùng liệt kê ai đang điều khiển gì, và Kiểm thử > Computer use hiển thị ảnh chụp và các thao tác gần nhất. Nút Dừng chấm dứt ngay lập tức.
Ai quyết định, và cách tắt
Computer use được bật cho mọi agent theo mặc định, nhưng chốt chặn thật sự là danh sách ứng dụng của từng dự án, ban đầu để trống. Khi bạn chưa thêm ứng dụng nào, không agent nào điều khiển được gì.
Bạn có thể tắt tính năng cho toàn bộ tài khoản trong Cài đặt > Computer use, cho một dự án trong Cài đặt dự án > Khả năng > Computer use (Theo tài khoản, Bật hoặc Tắt), hoặc cho một agent trong Chỉnh sửa agent > Khả năng. Chỉ bạn mới bật được: agent chỉ có thể tự tắt quyền của chính mình.
Agent theo lịch và agent webhook cũng dùng được, với cùng banner và nút Dừng, nên bạn có thể dừng một lượt chạy ban đêm từ điện thoại. Một lượt chạy lấy đầu vào từ nội dung công khai, chẳng hạn pull request của người lạ, không bao giờ được cấp quyền này.
Giới hạn
- Một số ứng dụng không bao giờ bị điều khiển, kể cả khi bạn thêm vào: cài đặt hệ thống, trình quản lý mật khẩu, keychain hoặc trình quản lý thông tin xác thực, các lời nhắc đăng nhập và cấp quyền của hệ thống, và chính AgentsRoom.
- Agent không bao giờ gõ thông tin đăng nhập: các trường mật khẩu đều bị từ chối.
- Một cửa sổ mỗi lần: không điều khiển toàn màn hình và không kéo thả. Mỗi ứng dụng chỉ có một agent tại một thời điểm, và chuột cũng chỉ do một agent dùng tại một thời điểm.
- Linux: cần phiên X11 hoặc XWayland. Ứng dụng vẽ native trên Wayland không thể điều khiển. Windows: ứng dụng được khởi chạy với quyền quản trị viên không thể điều khiển.
- Phiên bị khóa hoặc màn hình đang ngủ: không có gì được điều khiển và agent được báo lý do. Agent theo lịch chạy ban đêm cần máy tính không bị khóa.
- Agent chạy trên máy chủ SSH không thể điều khiển các ứng dụng trên máy tính của bạn.
- Không có trên điện thoại: ứng dụng di động cho biết agent nào đang điều khiển ứng dụng nào, kèm nút Dừng, nhưng không bao giờ cấp quyền, sửa danh sách hay hiển thị ảnh chụp.
Câu hỏi thường gặp
Hỏi chúng tôi điều khácClaude Code có thể dùng computer use để kiểm thử ứng dụng desktop của tôi không?
Codex, Cursor và các CLI khác có computer use không?
Tính năng có chạy trên Windows và Linux không?
Agent có thể chiếm toàn bộ máy tính của tôi không?
Agent có di chuyển chuột khi tôi đang làm việc không?
Làm sao để dừng một agent đang điều khiển ứng dụng?
Vì sao macOS hỏi quyền cho AgentsRoom App Control mà không phải AgentsRoom?
Tôi có thể kiểm thử ứng dụng Electron mình đang xây dựng không?
Agent theo lịch có dùng computer use vào ban đêm được không?
Tính năng này khác gì tự động hóa trình duyệt?
Tìm hiểu thêm
AI Agent Loop: cách agent code tự sửa lỗi và làm xong việc
Một AI agent loop biến kiểu prompt-rồi-sửa thành một vòng lặp tự sửa lỗi: agent viết kế hoạch, dựng nó, tự đối chiếu công việc với kế hoạch, và lặp lại cho đến khi xong. Cách loop hoạt động trong Claude Code, Codex, Antigravity CLI, Cursor và Ralph loop.
Giảm lượng token MCP tiêu thụ: cách chúng tôi cắt 60% định nghĩa công cụ
Mỗi công cụ MCP mà agent của bạn có thể gọi là một khối JSON mà mô hình có thể đọc ở mọi yêu cầu. Của chúng tôi nặng khoảng 95.000 token. Đây là cách đo của bạn trong hai phút, những gì chúng tôi cắt mà không bỏ một công cụ nào, và phép kiểm tra ngân sách giúp nó không phình to trở lại.
Có thể bạn cũng thích
Browser MCP • Embedded Chromium • Agent-driven QA
Agent QA của bạn mở một Chromium thật trên localhost, click, gõ phím, chụp màn hình, đọc console và xác nhận tính năng chạy được. Không cần thiết lập Playwright.
Trình mô phỏng iOS và trình giả lập Android
Để Claude Code, Codex hay Cursor kiểm thử ứng dụng di động trên trình mô phỏng iOS hoặc trình giả lập Android: cài bản build, chạm, gõ, chụp màn hình, đọc nhật ký.
Ủy quyền agent : dev sang QA : model rẻ hơn cho bài test
Agent dev của bạn giao việc chạy test cho một agent QA rẻ hơn thông qua MCP. Model đắt tiền vẫn bám vào code, còn hóa đơn token lẫn ngữ cảnh đều giữ được mức nhỏ.
Để agent tự kiểm tra các cửa sổ của nó.
Computer use có trong AgentsRoom trên macOS, Windows và Linux, cho mọi CLI agent. Bạn quyết định những ứng dụng nào.
Ứng dụng đồng hành: theo dõi agent khi đi đường
Sử dụng Claude, Codex, Antigravity CLI hoặc nhà cung cấp AI khác.
Gửi lỗi và yêu cầu thẳng vào backlog công khai của bạn.
