你的 AI 代理亲自测试
它刚做好的桌面应用
代理改了你 Electron 应用的设置窗口,却从没打开过它。有了 AgentsRoom 的 Computer use,代理会启动应用,查看窗口,逐一点击检查,并在说完成之前把截图发给你。
Computer use 是 AgentsRoom 为 Claude Code、Codex、Cursor 和其他代理 CLI 提供的 MCP 服务器。代理看到你所允许的应用的一个窗口,形式是一张图片加上窗口里按钮和输入框的列表,然后在里面操作:点击、输入、按键、滚动。它适用于你正在开发的应用、内部工具,或 Chrome 以外的浏览器,支持 macOS、Windows 和 Linux。
截图
应用的真实截图,随此功能的演进不断添加。
代理
应用工具
- app_launch
- app_snapshot
- app_click
- app_type
编程代理几分钟就能为你的 Electron 应用写出一个新窗口,或者一个原生 macOS 视图、一个 Windows 表单。但检查仍然是你的事:构建、打开应用、在界面上点一遍、发现某个按钮点了没反应,再把情况描述给代理。
Web 应用有浏览器工具,移动应用有模拟器。桌面应用既没有 CLI,也没有 API 可以拿来测试。一些 AI 厂商提供的 computer use 只能配合他们自己的代理使用,而且通常作用于你的整个屏幕。
AgentsRoom 为每个代理 CLI 提供 Computer use。你来决定一个项目里哪些应用可以被操控,只有这些应用。代理一次只看到一个窗口,每个操作都会显示在它的控制台里,代理工作期间,一条带停止按钮的横幅始终留在屏幕上。
代理能在桌面应用里做什么
每次改动后你手动做的那些检查,由做出改动的代理自己完成。
打开对的应用
代理列出这台电脑上该项目允许的应用,无论是否在运行,打开其中一个或把它切到前台,再选出需要的窗口。
只看一个窗口
它拿到窗口的一张图片,以及窗口里按钮、输入框和菜单的列表和名称。绝不是你的整个屏幕,也绝不是另一个应用。
点击、输入、滚动
它点击按钮,在输入框里输入,按下带修饰键的按键,滚动列表,然后再看一眼确认结果。
鼠标还是你的
点击有名称的按钮走的是系统的辅助功能:你的指针不会移动,你可以继续工作。只有按坐标点击才会占用鼠标,而且会等你停下手再动。
只限你列出的应用
每个项目都有自己的应用列表,一开始是空的。列表里没有应用,任何代理都操控不了任何东西。代理可以移除一个应用或收回自己的权限,但绝不能添加。
始终看得见,随时能停
横幅会显示哪个代理在操控哪个应用,并附带停止按钮。全局快捷键(Ctrl+Alt+Shift+Esc)可以一次停止所有代理,每个操作都会写进代理的控制台。
工作原理
应用只需添加一次,之后检查交给代理。
- 1
把应用添加到项目
打开 项目设置 > 能力 > Computer use,点击“添加”:选择一个已打开的应用、一个已安装的应用,或项目文件夹里的一个可执行文件,比如你的 Electron 构建。
- 2
给电脑授予权限
在 macOS 上,到 系统设置 > 隐私与安全性 > 辅助功能 和 屏幕录制 中允许 AgentsRoom App Control。AgentsRoom 会替你打开对应的面板。Windows 上无需授予任何权限。
- 3
让代理做检查
让代理在应用里检查它的改动。它会打开应用,查看窗口,像测试人员一样点击和输入,发现问题就修改代码,最后把结果截图发给你。
- 4
看着它,或者让它停下
横幅显示正在工作的代理,底栏的 Computer use 标签列出谁在操控什么,“测试 > Computer use”显示最近的截图和操作。点“停止”立即结束。
谁来决定,以及怎么关闭
Computer use 默认对所有代理开启,但真正的关卡是每个项目的应用列表,它一开始是空的。在你添加应用之前,任何代理都操控不了任何东西。
你可以在 设置 > Computer use 中为整个账户关闭它,在 项目设置 > 能力 > Computer use 中为单个项目关闭(跟随账户、开启或关闭),或在 编辑代理 > 能力 中为单个代理关闭。只有你能开启:代理只能关闭自己的权限。
定时代理和 webhook 代理也能使用,同样有横幅和停止按钮,所以你可以在手机上停掉夜间运行。由公开内容驱动的运行,比如陌生人提交的 pull request,永远拿不到这项权限。
限制
- 有些应用永远不会被操控,即使你添加了也一样:系统设置、密码管理器、钥匙串或凭据管理器、系统的登录和权限提示,以及 AgentsRoom 本身。
- 代理从不输入凭据:密码输入框一律拒绝。
- 一次一个窗口:不能操控整个屏幕,也不能拖放。每个应用同一时间只有一个代理,鼠标同一时间也只归一个代理。
- Linux:需要 X11 或 XWayland 会话。在 Wayland 上原生绘制的应用无法操控。Windows:以管理员身份启动的应用无法操控。
- 会话锁定或屏幕休眠时:什么都不会被操控,代理会被告知原因。夜间运行的定时代理需要电脑保持解锁。
- 运行在 SSH 主机上的代理无法操控你电脑上的应用。
- 手机上不行:移动应用会显示哪个代理在操控哪个应用,并提供停止按钮,但从不授予权限、编辑列表或显示截图。
常见问题
问我们其他问题Claude Code 能用 computer use 测试我的桌面应用吗?
Codex、Cursor 和其他 CLI 有 computer use 吗?
Windows 和 Linux 上能用吗?
代理会接管我的整台电脑吗?
我在工作时,代理会移动我的鼠标吗?
怎样停止一个正在操控应用的代理?
为什么 macOS 请求的是 AgentsRoom App Control,而不是 AgentsRoom?
我能测试自己正在开发的 Electron 应用吗?
定时代理能在夜里使用 computer use 吗?
它和浏览器自动化有什么不同?
延伸阅读
您可能还喜欢
Browser MCP • Embedded Chromium • Agent-driven QA
您的 QA 代理在 localhost 上打开一个真实的 Chromium,点击、输入、截图、读取 console,确认功能确实可用,无需编写 Playwright 配置。
iOS 模拟器和 Android 模拟器
让 Claude Code、Codex 或 Cursor 在 iOS 模拟器或 Android 模拟器上测试你的移动应用:安装构建、轻触、输入、截图、读取日志,你可以实时观看并随时接管。
代理委派:开发到 QA : 测试用更便宜的模型
你的开发代理通过 MCP 把测试执行交给更便宜的 QA 代理。贵的模型专注在代码上,token 账单和上下文都保持精简。
让代理自己检查它的窗口。
AgentsRoom 的 Computer use 支持 macOS、Windows 和 Linux,适用于每个代理 CLI。哪些应用可以操控,由你决定。
配套应用:随时随地监控你的 Agent
使用 Claude、Codex、Antigravity CLI 或其他 AI 提供商。
把 Bug 和需求直接发送到您的公开待办清单。
