Computer use

你的 AI 代理親自測試
它剛做好的桌面應用

代理改了你 Electron 應用的設定視窗,卻從沒開啟過它。有了 AgentsRoom 的 Computer use,代理會啟動應用,檢視視窗,逐一點選檢查,並在說完成之前把截圖發給你。

Computer use 是 AgentsRoom 為 Claude Code、Codex、Cursor 和其他代理 CLI 提供的 MCP 伺服器。代理看到你所允許的應用的一個視窗,形式是一張圖片加上視窗裡按鈕和輸入框的列表,然後在裡面操作:點選、輸入、按鍵、滾動。它適用於你正在開發的應用、內部工具,或 Chrome 以外的瀏覽器,支援 macOS、Windows 和 Linux。

截圖

應用的真實截圖,隨此功能的演進不斷新增。

  • AgentsRoom計算機使用頁面解釋agents如何測試桌面應用
    新頁面解釋了你的agents如何在桌面應用中檢查他們的工作。
Computer use

代理

檢查新的設定視窗

應用工具

  • app_launch
  • app_snapshot
  • app_click
  • app_type
QA 代理正在操控我的 Electron 應用停止
我的 Electron 應用

程式設計代理幾分鐘就能為你的 Electron 應用寫出一個新視窗,或者一個原生 macOS 檢視、一個 Windows 表單。但檢查仍然是你的事:建置、開啟應用、在介面上點一遍、發現某個按鈕點了沒反應,再把情況描述給代理。

Web 應用有瀏覽器工具,行動應用有模擬器。桌面應用既沒有 CLI,也沒有 API 可以拿來測試。一些 AI 廠商提供的 computer use 只能配合他們自己的代理使用,而且通常作用於你的整個螢幕。

AgentsRoom 為每個代理 CLI 提供 Computer use。你來決定一個專案裡哪些應用可以被操控,只有這些應用。代理一次只看到一個視窗,每個操作都會顯示在它的主控台裡,代理工作期間,一條帶停止按鈕的橫幅始終留在螢幕上。

代理能在桌面應用裡做什麼

每次改動後你手動做的那些檢查,由做出改動的代理自己完成。

開啟對的應用

代理列出這台電腦上該專案允許的應用,無論是否在執行,開啟其中一個或把它切到前台,再選出需要的視窗。

只看一個視窗

它拿到視窗的一張圖片,以及視窗裡按鈕、輸入框和選單的列表和名稱。絕不是你的整個螢幕,也絕不是另一個應用。

點選、輸入、滾動

它點選按鈕,在輸入框裡輸入,按下帶修飾鍵的按鍵,滾動列表,然後再看一眼確認結果。

滑鼠還是你的

點選有名稱的按鈕走的是系統的輔助功能:你的指標不會移動,你可以繼續工作。只有按座標點選才會佔用滑鼠,而且會等你停下手再動。

只限你列出的應用

每個專案都有自己的應用列表,一開始是空的。列表裡沒有應用,任何代理都操控不了任何東西。代理可以移除一個應用或收回自己的權限,但絕不能新增。

始終看得見,隨時能停

橫幅會顯示哪個代理在操控哪個應用,並附帶停止按鈕。全域快捷鍵(Ctrl+Alt+Shift+Esc)可以一次停止所有代理,每個操作都會寫進代理的主控台。

工作原理

應用只需新增一次,之後檢查交給代理。

  1. 1

    把應用新增到專案

    開啟 專案設定 > 能力 > Computer use,點選「新增」:選擇一個已開啟的應用、一個已安裝的應用,或專案資料夾裡的一個可執行檔案,比如你的 Electron 建置。

  2. 2

    給電腦授予權限

    在 macOS 上,到 系統設定 > 隱私與安全性 > 輔助功能 和 螢幕錄製 中允許 AgentsRoom App Control。AgentsRoom 會替你開啟對應的面板。Windows 上無需授予任何權限。

  3. 3

    讓代理做檢查

    讓代理在應用裡檢查它的改動。它會開啟應用,檢視視窗,像測試人員一樣點選和輸入,發現問題就修改程式碼,最後把結果截圖發給你。

  4. 4

    看著它,或者讓它停下

    橫幅顯示正在工作的代理,底欄的 Computer use 標籤列出誰在操控什麼,「測試 > Computer use」顯示最近的截圖和操作。點「停止」立即結束。

誰來決定,以及怎麼關閉

Computer use 預設對所有代理開啟,但真正的關卡是每個專案的應用列表,它一開始是空的。在你新增應用之前,任何代理都操控不了任何東西。

你可以在 設定 > Computer use 中為整個帳戶關閉它,在 專案設定 > 能力 > Computer use 中為單個專案關閉(跟隨帳戶、開啟或關閉),或在 編輯代理 > 能力 中為單個代理關閉。只有你能開啟:代理只能關閉自己的權限。

定時代理和 webhook 代理也能使用,同樣有橫幅和停止按鈕,所以你可以在手機上停掉夜間執行。由公開內容驅動的執行,比如陌生人提交的 pull request,永遠拿不到這項權限。

限制

  • 有些應用永遠不會被操控,即使你新增了也一樣:系統設定、密碼管理器、鑰匙串或憑證管理器、系統的登入和權限提示,以及 AgentsRoom 本身。
  • 代理從不輸入憑證:密碼輸入框一律拒絕。
  • 一次一個視窗:不能操控整個螢幕,也不能拖放。每個應用同一時間只有一個代理,滑鼠同一時間也只歸一個代理。
  • Linux:需要 X11 或 XWayland 會話。在 Wayland 上原生繪製的應用無法操控。Windows:以管理員身份啟動的應用無法操控。
  • 會話鎖定或螢幕休眠時:什麼都不會被操控,代理會被告知原因。夜間執行的定時代理需要電腦保持解鎖。
  • 執行在 SSH 主機上的代理無法操控你電腦上的應用。
  • 手機上不行:行動應用會顯示哪個代理在操控哪個應用,並提供停止按鈕,但從不授予權限、編輯列表或顯示截圖。
Claude Code 能用 computer use 測試我的桌面應用嗎?
能。在 AgentsRoom 裡,到 專案設定 > 能力 > Computer use 把你的應用加入專案列表。你的 Claude Code 代理就會拿到應用工具:開啟應用,檢視一個視窗,點選、輸入,再把截圖發給你。它不依賴 Anthropic 自己的 computer use,所以對你的其他代理也一樣有效。
Codex、Cursor 和其他 CLI 有 computer use 嗎?
有,而且是同一個。AgentsRoom 的 Computer use 是一個 MCP 伺服器,提供給每個接收 AgentsRoom 工具的代理 CLI:Claude Code、Codex、GitHub Copilot CLI、Cursor、Gemini CLI、OpenCode、Antigravity 等。無需為每個 CLI 單獨配置。Aider 沒有 MCP 客戶端,而 2026 年 11 月新增的 Hermes Agent、Goose、Qwen Code、Kiro 和 Rovo Dev 暫時還拿不到 AgentsRoom 的工具。
Windows 和 Linux 上能用嗎?
能。Windows 上無需授予任何權限。Linux 上需要 X11 或 XWayland 會話;在 Wayland 上原生繪製的應用無法操控,輔助功能匯流排(AT-SPI)開啟時按名稱讀取按鈕,否則代理按座標點選。macOS 上需要給 AgentsRoom App Control 授予兩項權限。
代理會接管我的整台電腦嗎?
不會。它只能看到並操控專案列表中的應用,一次一個視窗。系統設定、密碼管理器、鑰匙串、登入提示和 AgentsRoom 本身即使被新增也始終拒絕,密碼輸入框同樣拒絕。每個操作都會顯示在橫幅和代理的主控台裡。
我在工作時,代理會移動我的滑鼠嗎?
大多數時候不會。點選有名稱的按鈕走的是系統的輔助功能,你的指標不會移動,應用也不會跳到前台。只有按座標點選才會佔用滑鼠,而且會等你停下滑鼠和鍵盤再動。
怎樣停止一個正在操控應用的代理?
點選橫幅上、代理主控台裡、底欄 Computer use 標籤裡或「測試 > Computer use」裡的「停止」,或者按 Ctrl+Alt+Shift+Esc,一次停止所有代理。代理會保持停止,直到你點選「重新允許」或重啟它的主控台。在手機上,頂部的欄裡也有停止按鈕。
為什麼 macOS 請求的是 AgentsRoom App Control,而不是 AgentsRoom?
輔助功能和螢幕錄製這兩項權限授予的是一個獨立的輔助程式。這樣,代理在終端裡執行的命令就不會繼承這些權限。macOS 15 及更高版本可能會不時再次請求螢幕錄製權限。
我能測試自己正在開發的 Electron 應用嗎?
能。在應用列表中選擇「此專案的應用」,再選中專案資料夾裡你建置出的可執行檔案。之後代理就能重新建置、開啟新版本並檢查改動。它同樣適用於原生應用、內部工具,或 Chrome 以外的瀏覽器。
定時代理能在夜裡使用 computer use 嗎?
能,和其他代理一樣,同樣有橫幅和停止按鈕,手機上也會顯示它在操控哪個應用。電腦必須保持解鎖,因為鎖定的會話上什麼都不會被操控。由公開內容驅動的執行永遠拿不到 Computer use。
它和瀏覽器自動化有什麼不同?
瀏覽器自動化透過頁面工具操控 AgentsRoom 內建瀏覽器或你自己的 Chrome 中的網頁。Computer use 面向不是網頁的應用:桌面應用、原生工具、沒有 API 的視窗。模擬器也有自己的工具。

延伸閱讀

您可能還喜歡

讓代理自己檢查它的視窗。

AgentsRoom 的 Computer use 支援 macOS、Windows 和 Linux,適用於每個代理 CLI。哪些應用可以操控,由你決定。

下載 AgentsRoom免費

配套應用:隨時隨地監控你的 Agent

使用 Claude、Codex、Antigravity CLI 或其他 AI 提供商。

把 Bug 和需求直接傳送到您的公開待辦清單。