Computer use

你的 AI 代理亲自测试
它刚做好的桌面应用

代理改了你 Electron 应用的设置窗口,却从没打开过它。有了 AgentsRoom 的 Computer use,代理会启动应用,查看窗口,逐一点击检查,并在说完成之前把截图发给你。

Computer use 是 AgentsRoom 为 Claude Code、Codex、Cursor 和其他代理 CLI 提供的 MCP 服务器。代理看到你所允许的应用的一个窗口,形式是一张图片加上窗口里按钮和输入框的列表,然后在里面操作:点击、输入、按键、滚动。它适用于你正在开发的应用、内部工具,或 Chrome 以外的浏览器,支持 macOS、Windows 和 Linux。

截图

应用的真实截图,随此功能的演进不断添加。

  • AgentsRoom计算机使用页面解释agents如何测试桌面应用
    新页面解释了你的agents如何在桌面应用中检查他们的工作。
Computer use

代理

检查新的设置窗口

应用工具

  • app_launch
  • app_snapshot
  • app_click
  • app_type
QA 代理正在操控我的 Electron 应用停止
我的 Electron 应用

编程代理几分钟就能为你的 Electron 应用写出一个新窗口,或者一个原生 macOS 视图、一个 Windows 表单。但检查仍然是你的事:构建、打开应用、在界面上点一遍、发现某个按钮点了没反应,再把情况描述给代理。

Web 应用有浏览器工具,移动应用有模拟器。桌面应用既没有 CLI,也没有 API 可以拿来测试。一些 AI 厂商提供的 computer use 只能配合他们自己的代理使用,而且通常作用于你的整个屏幕。

AgentsRoom 为每个代理 CLI 提供 Computer use。你来决定一个项目里哪些应用可以被操控,只有这些应用。代理一次只看到一个窗口,每个操作都会显示在它的控制台里,代理工作期间,一条带停止按钮的横幅始终留在屏幕上。

代理能在桌面应用里做什么

每次改动后你手动做的那些检查,由做出改动的代理自己完成。

打开对的应用

代理列出这台电脑上该项目允许的应用,无论是否在运行,打开其中一个或把它切到前台,再选出需要的窗口。

只看一个窗口

它拿到窗口的一张图片,以及窗口里按钮、输入框和菜单的列表和名称。绝不是你的整个屏幕,也绝不是另一个应用。

点击、输入、滚动

它点击按钮,在输入框里输入,按下带修饰键的按键,滚动列表,然后再看一眼确认结果。

鼠标还是你的

点击有名称的按钮走的是系统的辅助功能:你的指针不会移动,你可以继续工作。只有按坐标点击才会占用鼠标,而且会等你停下手再动。

只限你列出的应用

每个项目都有自己的应用列表,一开始是空的。列表里没有应用,任何代理都操控不了任何东西。代理可以移除一个应用或收回自己的权限,但绝不能添加。

始终看得见,随时能停

横幅会显示哪个代理在操控哪个应用,并附带停止按钮。全局快捷键(Ctrl+Alt+Shift+Esc)可以一次停止所有代理,每个操作都会写进代理的控制台。

工作原理

应用只需添加一次,之后检查交给代理。

  1. 1

    把应用添加到项目

    打开 项目设置 > 能力 > Computer use,点击“添加”:选择一个已打开的应用、一个已安装的应用,或项目文件夹里的一个可执行文件,比如你的 Electron 构建。

  2. 2

    给电脑授予权限

    在 macOS 上,到 系统设置 > 隐私与安全性 > 辅助功能 和 屏幕录制 中允许 AgentsRoom App Control。AgentsRoom 会替你打开对应的面板。Windows 上无需授予任何权限。

  3. 3

    让代理做检查

    让代理在应用里检查它的改动。它会打开应用,查看窗口,像测试人员一样点击和输入,发现问题就修改代码,最后把结果截图发给你。

  4. 4

    看着它,或者让它停下

    横幅显示正在工作的代理,底栏的 Computer use 标签列出谁在操控什么,“测试 > Computer use”显示最近的截图和操作。点“停止”立即结束。

谁来决定,以及怎么关闭

Computer use 默认对所有代理开启,但真正的关卡是每个项目的应用列表,它一开始是空的。在你添加应用之前,任何代理都操控不了任何东西。

你可以在 设置 > Computer use 中为整个账户关闭它,在 项目设置 > 能力 > Computer use 中为单个项目关闭(跟随账户、开启或关闭),或在 编辑代理 > 能力 中为单个代理关闭。只有你能开启:代理只能关闭自己的权限。

定时代理和 webhook 代理也能使用,同样有横幅和停止按钮,所以你可以在手机上停掉夜间运行。由公开内容驱动的运行,比如陌生人提交的 pull request,永远拿不到这项权限。

限制

  • 有些应用永远不会被操控,即使你添加了也一样:系统设置、密码管理器、钥匙串或凭据管理器、系统的登录和权限提示,以及 AgentsRoom 本身。
  • 代理从不输入凭据:密码输入框一律拒绝。
  • 一次一个窗口:不能操控整个屏幕,也不能拖放。每个应用同一时间只有一个代理,鼠标同一时间也只归一个代理。
  • Linux:需要 X11 或 XWayland 会话。在 Wayland 上原生绘制的应用无法操控。Windows:以管理员身份启动的应用无法操控。
  • 会话锁定或屏幕休眠时:什么都不会被操控,代理会被告知原因。夜间运行的定时代理需要电脑保持解锁。
  • 运行在 SSH 主机上的代理无法操控你电脑上的应用。
  • 手机上不行:移动应用会显示哪个代理在操控哪个应用,并提供停止按钮,但从不授予权限、编辑列表或显示截图。
Claude Code 能用 computer use 测试我的桌面应用吗?
能。在 AgentsRoom 里,到 项目设置 > 能力 > Computer use 把你的应用加入项目列表。你的 Claude Code 代理就会拿到应用工具:打开应用,查看一个窗口,点击、输入,再把截图发给你。它不依赖 Anthropic 自己的 computer use,所以对你的其他代理也一样有效。
Codex、Cursor 和其他 CLI 有 computer use 吗?
有,而且是同一个。AgentsRoom 的 Computer use 是一个 MCP 服务器,提供给每个接收 AgentsRoom 工具的代理 CLI:Claude Code、Codex、GitHub Copilot CLI、Cursor、Gemini CLI、OpenCode、Antigravity 等。无需为每个 CLI 单独配置。Aider 没有 MCP 客户端,而 2026 年 11 月新增的 Hermes Agent、Goose、Qwen Code、Kiro 和 Rovo Dev 暂时还拿不到 AgentsRoom 的工具。
Windows 和 Linux 上能用吗?
能。Windows 上无需授予任何权限。Linux 上需要 X11 或 XWayland 会话;在 Wayland 上原生绘制的应用无法操控,辅助功能总线(AT-SPI)开启时按名称读取按钮,否则代理按坐标点击。macOS 上需要给 AgentsRoom App Control 授予两项权限。
代理会接管我的整台电脑吗?
不会。它只能看到并操控项目列表中的应用,一次一个窗口。系统设置、密码管理器、钥匙串、登录提示和 AgentsRoom 本身即使被添加也始终拒绝,密码输入框同样拒绝。每个操作都会显示在横幅和代理的控制台里。
我在工作时,代理会移动我的鼠标吗?
大多数时候不会。点击有名称的按钮走的是系统的辅助功能,你的指针不会移动,应用也不会跳到前台。只有按坐标点击才会占用鼠标,而且会等你停下鼠标和键盘再动。
怎样停止一个正在操控应用的代理?
点击横幅上、代理控制台里、底栏 Computer use 标签里或“测试 > Computer use”里的“停止”,或者按 Ctrl+Alt+Shift+Esc,一次停止所有代理。代理会保持停止,直到你点击“重新允许”或重启它的控制台。在手机上,顶部的栏里也有停止按钮。
为什么 macOS 请求的是 AgentsRoom App Control,而不是 AgentsRoom?
辅助功能和屏幕录制这两项权限授予的是一个独立的辅助程序。这样,代理在终端里运行的命令就不会继承这些权限。macOS 15 及更高版本可能会不时再次请求屏幕录制权限。
我能测试自己正在开发的 Electron 应用吗?
能。在应用列表中选择“此项目的应用”,再选中项目文件夹里你构建出的可执行文件。之后代理就能重新构建、打开新版本并检查改动。它同样适用于原生应用、内部工具,或 Chrome 以外的浏览器。
定时代理能在夜里使用 computer use 吗?
能,和其他代理一样,同样有横幅和停止按钮,手机上也会显示它在操控哪个应用。电脑必须保持解锁,因为锁定的会话上什么都不会被操控。由公开内容驱动的运行永远拿不到 Computer use。
它和浏览器自动化有什么不同?
浏览器自动化通过页面工具操控 AgentsRoom 内置浏览器或你自己的 Chrome 中的网页。Computer use 面向不是网页的应用:桌面应用、原生工具、没有 API 的窗口。模拟器也有自己的工具。

延伸阅读

您可能还喜欢

让代理自己检查它的窗口。

AgentsRoom 的 Computer use 支持 macOS、Windows 和 Linux,适用于每个代理 CLI。哪些应用可以操控,由你决定。

下载 AgentsRoom免费

配套应用:随时随地监控你的 Agent

使用 Claude、Codex、Antigravity CLI 或其他 AI 提供商。

把 Bug 和需求直接发送到您的公开待办清单。