Computer use

Agent AI của bạn kiểm thử ứng dụng desktop
mà chính nó vừa xây dựng

Agent đã sửa cửa sổ cài đặt trong ứng dụng Electron của bạn, nhưng chưa hề mở nó ra. Với Computer use trong AgentsRoom, agent khởi chạy ứng dụng, nhìn vào cửa sổ, nhấp qua từng phần và gửi bạn ảnh chụp trước khi báo là đã xong.

Computer use là một máy chủ MCP mà AgentsRoom cung cấp cho Claude Code, Codex, Cursor và các CLI agent khác. Agent nhìn thấy một cửa sổ của ứng dụng bạn đã cho phép, dưới dạng một hình ảnh kèm danh sách các nút và trường nhập, rồi thao tác trong đó: nhấp, gõ, nhấn phím, cuộn. Tính năng dùng được cho ứng dụng bạn đang xây dựng, một công cụ nội bộ hay một trình duyệt khác ngoài Chrome, trên macOS, Windows và Linux.

Ảnh chụp màn hình

Ảnh chụp thật từ ứng dụng, được bổ sung khi tính năng này phát triển.

  • Trang sử dụng AgentsRoom Computer giải thích cách các agent kiểm tra một ứng dụng desktop
    Một trang mới giải thích cách các agent của bạn kiểm tra công việc của họ trong một ứng dụng desktop.
Computer use

Agent

Kiểm tra cửa sổ cài đặt mới

Công cụ ứng dụng

  • app_launch
  • app_snapshot
  • app_click
  • app_type
Agent QA đang điều khiển Ứng dụng Electron của tôiDừng
Ứng dụng Electron của tôi

Một agent lập trình có thể viết một cửa sổ mới cho ứng dụng Electron, một view macOS native hay một form Windows trong vài phút. Việc kiểm tra vẫn là của bạn: build, mở ứng dụng, nhấp qua màn hình, phát hiện cái nút không làm gì cả, rồi mô tả lại cho agent.

Ứng dụng web có công cụ trình duyệt, ứng dụng di động có trình mô phỏng. Ứng dụng desktop thì không có CLI hay API nào để kiểm thử qua đó. Tính năng computer use mà một số nhà cung cấp AI đưa ra chỉ chạy với agent của riêng họ, và thường trên toàn bộ màn hình của bạn.

AgentsRoom mang Computer use đến mọi CLI agent. Bạn chọn những ứng dụng nào của một dự án được phép điều khiển, và chỉ những ứng dụng đó. Agent chỉ thấy một cửa sổ mỗi lần, mọi thao tác đều hiện trong console của nó, và một banner có nút Dừng luôn nằm trên màn hình khi agent làm việc.

Agent của bạn làm được gì trong một ứng dụng desktop

Những bước kiểm tra bạn vẫn làm bằng tay sau mỗi thay đổi, nay do chính agent đã viết ra thay đổi đó thực hiện.

Mở đúng ứng dụng

Agent liệt kê các ứng dụng được phép cho dự án trên máy tính này, dù đang chạy hay không, mở một ứng dụng hoặc đưa nó lên trước, rồi chọn cửa sổ cần dùng.

Nhìn một cửa sổ

Agent nhận một hình ảnh của cửa sổ cùng danh sách các nút, trường nhập và menu kèm tên của chúng. Không bao giờ là toàn bộ màn hình, không bao giờ là một ứng dụng khác.

Nhấp, gõ, cuộn

Agent nhấp vào một nút, gõ vào một trường, nhấn một phím kèm phím bổ trợ và cuộn một danh sách, rồi nhìn lại để kiểm tra kết quả.

Chuột vẫn là của bạn

Một cú nhấp vào nút có tên đi qua trợ năng của hệ thống: con trỏ của bạn không di chuyển và bạn vẫn làm việc bình thường. Chỉ cú nhấp theo vị trí mới cần đến chuột, và nó chờ đến khi bạn ngừng dùng chuột.

Chỉ những ứng dụng bạn liệt kê

Mỗi dự án có danh sách ứng dụng riêng, ban đầu để trống. Khi danh sách chưa có ứng dụng nào, không agent nào điều khiển được gì. Agent có thể gỡ một ứng dụng hoặc tự bỏ quyền của mình, nhưng không bao giờ thêm vào.

Luôn trong tầm mắt, luôn dừng được

Một banner cho biết agent nào đang điều khiển ứng dụng nào, kèm nút Dừng. Một phím tắt toàn cục (Ctrl+Alt+Shift+Esc) dừng mọi agent cùng lúc, và mọi thao tác đều được ghi trong console của agent.

Cách hoạt động

Thêm ứng dụng một lần, rồi để agent lo phần kiểm tra.

  1. 1

    Thêm ứng dụng vào dự án

    Mở Cài đặt dự án > Khả năng > Computer use và nhấp Thêm: chọn một ứng dụng đang mở, một ứng dụng đã cài đặt, hoặc một tệp thực thi trong thư mục dự án, chẳng hạn bản build Electron của bạn.

  2. 2

    Cấp quyền cho máy tính

    Trên macOS, cho phép AgentsRoom App Control trong Cài đặt hệ thống > Quyền riêng tư & Bảo mật > Trợ năng và Ghi màn hình. AgentsRoom tự mở đúng mục cho bạn. Trên Windows không cần cấp quyền gì.

  3. 3

    Yêu cầu kiểm tra

    Hãy yêu cầu agent kiểm tra thay đổi của nó trong ứng dụng. Agent mở ứng dụng, nhìn vào cửa sổ, nhấp và gõ như một người kiểm thử, sửa code khi có gì sai, rồi gửi bạn ảnh chụp kết quả.

  4. 4

    Theo dõi, hoặc dừng lại

    Banner cho thấy agent đang làm việc, mục Computer use ở thanh dưới cùng liệt kê ai đang điều khiển gì, và Kiểm thử > Computer use hiển thị ảnh chụp và các thao tác gần nhất. Nút Dừng chấm dứt ngay lập tức.

Ai quyết định, và cách tắt

Computer use được bật cho mọi agent theo mặc định, nhưng chốt chặn thật sự là danh sách ứng dụng của từng dự án, ban đầu để trống. Khi bạn chưa thêm ứng dụng nào, không agent nào điều khiển được gì.

Bạn có thể tắt tính năng cho toàn bộ tài khoản trong Cài đặt > Computer use, cho một dự án trong Cài đặt dự án > Khả năng > Computer use (Theo tài khoản, Bật hoặc Tắt), hoặc cho một agent trong Chỉnh sửa agent > Khả năng. Chỉ bạn mới bật được: agent chỉ có thể tự tắt quyền của chính mình.

Agent theo lịch và agent webhook cũng dùng được, với cùng banner và nút Dừng, nên bạn có thể dừng một lượt chạy ban đêm từ điện thoại. Một lượt chạy lấy đầu vào từ nội dung công khai, chẳng hạn pull request của người lạ, không bao giờ được cấp quyền này.

Giới hạn

  • Một số ứng dụng không bao giờ bị điều khiển, kể cả khi bạn thêm vào: cài đặt hệ thống, trình quản lý mật khẩu, keychain hoặc trình quản lý thông tin xác thực, các lời nhắc đăng nhập và cấp quyền của hệ thống, và chính AgentsRoom.
  • Agent không bao giờ gõ thông tin đăng nhập: các trường mật khẩu đều bị từ chối.
  • Một cửa sổ mỗi lần: không điều khiển toàn màn hình và không kéo thả. Mỗi ứng dụng chỉ có một agent tại một thời điểm, và chuột cũng chỉ do một agent dùng tại một thời điểm.
  • Linux: cần phiên X11 hoặc XWayland. Ứng dụng vẽ native trên Wayland không thể điều khiển. Windows: ứng dụng được khởi chạy với quyền quản trị viên không thể điều khiển.
  • Phiên bị khóa hoặc màn hình đang ngủ: không có gì được điều khiển và agent được báo lý do. Agent theo lịch chạy ban đêm cần máy tính không bị khóa.
  • Agent chạy trên máy chủ SSH không thể điều khiển các ứng dụng trên máy tính của bạn.
  • Không có trên điện thoại: ứng dụng di động cho biết agent nào đang điều khiển ứng dụng nào, kèm nút Dừng, nhưng không bao giờ cấp quyền, sửa danh sách hay hiển thị ảnh chụp.

Câu hỏi thường gặp

Hỏi chúng tôi điều khác
Claude Code có thể dùng computer use để kiểm thử ứng dụng desktop của tôi không?
Có. Trong AgentsRoom, hãy thêm ứng dụng của bạn vào danh sách của dự án trong Cài đặt dự án > Khả năng > Computer use. Agent Claude Code của bạn sẽ có các công cụ ứng dụng: nó mở ứng dụng, nhìn một cửa sổ, nhấp, gõ và gửi bạn ảnh chụp. Tính năng này không dựa vào computer use của chính Anthropic, nên chạy giống hệt với các agent khác của bạn.
Codex, Cursor và các CLI khác có computer use không?
Có, cùng một tính năng. Computer use trong AgentsRoom là một máy chủ MCP, được cấp cho mọi CLI agent nhận công cụ của AgentsRoom: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity và các CLI khác. Không cần cấu hình riêng cho từng CLI. Aider không có MCP client, còn Hermes Agent, Goose, Qwen Code, Kiro và Rovo Dev, được thêm vào tháng 11 năm 2026, chưa nhận công cụ của AgentsRoom.
Tính năng có chạy trên Windows và Linux không?
Có. Trên Windows không cần cấp quyền gì. Trên Linux cần một phiên X11 hoặc XWayland; ứng dụng vẽ native trên Wayland không thể điều khiển, và các nút được đọc theo tên khi bus trợ năng (AT-SPI) đang bật, nếu không agent sẽ nhấp theo vị trí. Trên macOS, bạn cấp hai quyền cho AgentsRoom App Control.
Agent có thể chiếm toàn bộ máy tính của tôi không?
Không. Agent chỉ nhìn thấy và điều khiển các ứng dụng trong danh sách của dự án, mỗi lần một cửa sổ. Cài đặt hệ thống, trình quản lý mật khẩu, keychain, lời nhắc đăng nhập và chính AgentsRoom luôn bị từ chối kể cả khi bạn thêm vào, và các trường mật khẩu cũng vậy. Mọi thao tác đều hiện trên banner và trong console của agent.
Agent có di chuyển chuột khi tôi đang làm việc không?
Phần lớn thời gian là không. Một cú nhấp vào nút có tên đi qua trợ năng của hệ thống, nên con trỏ của bạn không di chuyển và ứng dụng không nhảy lên trước. Chỉ cú nhấp theo vị trí mới cần đến chuột, và nó chờ đến khi bạn ngừng dùng chuột và bàn phím.
Làm sao để dừng một agent đang điều khiển ứng dụng?
Nhấp Dừng trên banner, trong console của agent, trong mục Computer use ở thanh dưới cùng hoặc trong Kiểm thử > Computer use, hoặc nhấn Ctrl+Alt+Shift+Esc để dừng mọi agent cùng lúc. Agent sẽ đứng yên cho đến khi bạn nhấp Cho phép lại hoặc khởi động lại console của nó. Trên điện thoại, thanh ở trên cùng cũng có nút Dừng.
Vì sao macOS hỏi quyền cho AgentsRoom App Control mà không phải AgentsRoom?
Hai quyền Trợ năng và Ghi màn hình được cấp cho một trình trợ giúp riêng. Nhờ vậy, một lệnh mà agent chạy trong terminal của nó không thừa hưởng các quyền đó. macOS 15 trở lên có thể thỉnh thoảng hỏi lại quyền Ghi màn hình.
Tôi có thể kiểm thử ứng dụng Electron mình đang xây dựng không?
Có. Trong danh sách ứng dụng, chọn Ứng dụng của dự án này và chọn tệp thực thi của bản build trong thư mục dự án. Agent khi đó có thể build lại, mở phiên bản mới và kiểm tra thay đổi. Tính năng cũng dùng được cho ứng dụng native, công cụ nội bộ hoặc một trình duyệt khác ngoài Chrome.
Agent theo lịch có dùng computer use vào ban đêm được không?
Được, như mọi agent khác, với cùng banner và nút Dừng, và điện thoại cho biết nó đang điều khiển ứng dụng nào. Máy tính phải luôn mở khóa, vì không có gì được điều khiển trên một phiên bị khóa. Một lượt chạy lấy đầu vào từ nội dung công khai không bao giờ được cấp Computer use.
Tính năng này khác gì tự động hóa trình duyệt?
Tự động hóa trình duyệt điều khiển các trang web trong trình duyệt tích hợp của AgentsRoom hoặc trong Chrome của chính bạn, thông qua các công cụ trang. Computer use dành cho các ứng dụng không phải trang web: ứng dụng desktop, công cụ native, một cửa sổ không có API. Trình mô phỏng và trình giả lập cũng có công cụ riêng.

Tìm hiểu thêm

Có thể bạn cũng thích

Để agent tự kiểm tra các cửa sổ của nó.

Computer use có trong AgentsRoom trên macOS, Windows và Linux, cho mọi CLI agent. Bạn quyết định những ứng dụng nào.

Tải AgentsRoomMiễn phí

Ứng dụng đồng hành: theo dõi agent khi đi đường

Sử dụng Claude, Codex, Antigravity CLI hoặc nhà cung cấp AI khác.

Gửi lỗi và yêu cầu thẳng vào backlog công khai của bạn.