你的 AI 代理親自測試
它剛做好的桌面應用
代理改了你 Electron 應用的設定視窗,卻從沒開啟過它。有了 AgentsRoom 的 Computer use,代理會啟動應用,檢視視窗,逐一點選檢查,並在說完成之前把截圖發給你。
Computer use 是 AgentsRoom 為 Claude Code、Codex、Cursor 和其他代理 CLI 提供的 MCP 伺服器。代理看到你所允許的應用的一個視窗,形式是一張圖片加上視窗裡按鈕和輸入框的列表,然後在裡面操作:點選、輸入、按鍵、滾動。它適用於你正在開發的應用、內部工具,或 Chrome 以外的瀏覽器,支援 macOS、Windows 和 Linux。
截圖
應用的真實截圖,隨此功能的演進不斷新增。
代理
應用工具
- app_launch
- app_snapshot
- app_click
- app_type
程式設計代理幾分鐘就能為你的 Electron 應用寫出一個新視窗,或者一個原生 macOS 檢視、一個 Windows 表單。但檢查仍然是你的事:建置、開啟應用、在介面上點一遍、發現某個按鈕點了沒反應,再把情況描述給代理。
Web 應用有瀏覽器工具,行動應用有模擬器。桌面應用既沒有 CLI,也沒有 API 可以拿來測試。一些 AI 廠商提供的 computer use 只能配合他們自己的代理使用,而且通常作用於你的整個螢幕。
AgentsRoom 為每個代理 CLI 提供 Computer use。你來決定一個專案裡哪些應用可以被操控,只有這些應用。代理一次只看到一個視窗,每個操作都會顯示在它的主控台裡,代理工作期間,一條帶停止按鈕的橫幅始終留在螢幕上。
代理能在桌面應用裡做什麼
每次改動後你手動做的那些檢查,由做出改動的代理自己完成。
開啟對的應用
代理列出這台電腦上該專案允許的應用,無論是否在執行,開啟其中一個或把它切到前台,再選出需要的視窗。
只看一個視窗
它拿到視窗的一張圖片,以及視窗裡按鈕、輸入框和選單的列表和名稱。絕不是你的整個螢幕,也絕不是另一個應用。
點選、輸入、滾動
它點選按鈕,在輸入框裡輸入,按下帶修飾鍵的按鍵,滾動列表,然後再看一眼確認結果。
滑鼠還是你的
點選有名稱的按鈕走的是系統的輔助功能:你的指標不會移動,你可以繼續工作。只有按座標點選才會佔用滑鼠,而且會等你停下手再動。
只限你列出的應用
每個專案都有自己的應用列表,一開始是空的。列表裡沒有應用,任何代理都操控不了任何東西。代理可以移除一個應用或收回自己的權限,但絕不能新增。
始終看得見,隨時能停
橫幅會顯示哪個代理在操控哪個應用,並附帶停止按鈕。全域快捷鍵(Ctrl+Alt+Shift+Esc)可以一次停止所有代理,每個操作都會寫進代理的主控台。
工作原理
應用只需新增一次,之後檢查交給代理。
- 1
把應用新增到專案
開啟 專案設定 > 能力 > Computer use,點選「新增」:選擇一個已開啟的應用、一個已安裝的應用,或專案資料夾裡的一個可執行檔案,比如你的 Electron 建置。
- 2
給電腦授予權限
在 macOS 上,到 系統設定 > 隱私與安全性 > 輔助功能 和 螢幕錄製 中允許 AgentsRoom App Control。AgentsRoom 會替你開啟對應的面板。Windows 上無需授予任何權限。
- 3
讓代理做檢查
讓代理在應用裡檢查它的改動。它會開啟應用,檢視視窗,像測試人員一樣點選和輸入,發現問題就修改程式碼,最後把結果截圖發給你。
- 4
看著它,或者讓它停下
橫幅顯示正在工作的代理,底欄的 Computer use 標籤列出誰在操控什麼,「測試 > Computer use」顯示最近的截圖和操作。點「停止」立即結束。
誰來決定,以及怎麼關閉
Computer use 預設對所有代理開啟,但真正的關卡是每個專案的應用列表,它一開始是空的。在你新增應用之前,任何代理都操控不了任何東西。
你可以在 設定 > Computer use 中為整個帳戶關閉它,在 專案設定 > 能力 > Computer use 中為單個專案關閉(跟隨帳戶、開啟或關閉),或在 編輯代理 > 能力 中為單個代理關閉。只有你能開啟:代理只能關閉自己的權限。
定時代理和 webhook 代理也能使用,同樣有橫幅和停止按鈕,所以你可以在手機上停掉夜間執行。由公開內容驅動的執行,比如陌生人提交的 pull request,永遠拿不到這項權限。
限制
- 有些應用永遠不會被操控,即使你新增了也一樣:系統設定、密碼管理器、鑰匙串或憑證管理器、系統的登入和權限提示,以及 AgentsRoom 本身。
- 代理從不輸入憑證:密碼輸入框一律拒絕。
- 一次一個視窗:不能操控整個螢幕,也不能拖放。每個應用同一時間只有一個代理,滑鼠同一時間也只歸一個代理。
- Linux:需要 X11 或 XWayland 會話。在 Wayland 上原生繪製的應用無法操控。Windows:以管理員身份啟動的應用無法操控。
- 會話鎖定或螢幕休眠時:什麼都不會被操控,代理會被告知原因。夜間執行的定時代理需要電腦保持解鎖。
- 執行在 SSH 主機上的代理無法操控你電腦上的應用。
- 手機上不行:行動應用會顯示哪個代理在操控哪個應用,並提供停止按鈕,但從不授予權限、編輯列表或顯示截圖。
常見問題
問我們其他問題Claude Code 能用 computer use 測試我的桌面應用嗎?
Codex、Cursor 和其他 CLI 有 computer use 嗎?
Windows 和 Linux 上能用嗎?
代理會接管我的整台電腦嗎?
我在工作時,代理會移動我的滑鼠嗎?
怎樣停止一個正在操控應用的代理?
為什麼 macOS 請求的是 AgentsRoom App Control,而不是 AgentsRoom?
我能測試自己正在開發的 Electron 應用嗎?
定時代理能在夜裡使用 computer use 嗎?
它和瀏覽器自動化有什麼不同?
延伸閱讀
您可能還喜歡
Browser MCP • Embedded Chromium • Agent-driven QA
您的 QA 代理在 localhost 上開啟一個真實的 Chromium,點選、輸入、截圖、讀取 console,確認功能確實可用,無需編寫 Playwright 配置。
iOS 模擬器和 Android 模擬器
讓 Claude Code、Codex 或 Cursor 在 iOS 模擬器或 Android 模擬器上測試你的行動應用:安裝建置、輕觸、輸入、截圖、讀取日誌,你可以即時觀看並隨時接管。
代理委派:開發到 QA : 測試用更便宜的模型
你的開發代理透過 MCP 把測試執行交給更便宜的 QA 代理。貴的模型專注在程式碼上,token 帳單和上下文都保持精簡。
讓代理自己檢查它的視窗。
AgentsRoom 的 Computer use 支援 macOS、Windows 和 Linux,適用於每個代理 CLI。哪些應用可以操控,由你決定。
配套應用:隨時隨地監控你的 Agent
使用 Claude、Codex、Antigravity CLI 或其他 AI 提供商。
把 Bug 和需求直接傳送到您的公開待辦清單。
