Computer use

Ваши ИИ-агенты тестируют настольное приложение,
которое только что сделали

Ваш агент изменил окно настроек вашего Electron-приложения, но ни разу его не открыл. С Computer use в AgentsRoom он запускает приложение, смотрит на окно, прокликивает его и присылает вам снимок, прежде чем сказать, что всё готово.

Computer use это MCP-сервер, который AgentsRoom даёт Claude Code, Codex, Cursor и другим CLI для агентов. Агент видит одно окно разрешённого вами приложения в виде изображения вместе со списком его кнопок и полей и действует в нём: кликает, вводит текст, нажимает клавиши, прокручивает. Это работает для приложения, которое вы разрабатываете, для внутреннего инструмента или для браузера, отличного от Chrome, на macOS, Windows и Linux.

Скриншоты

Настоящие скриншоты приложения, которые пополняются по мере развития этой функции.

  • Страница использования компьютера AgentsRoom, объясняющая, как агенты тестируют приложение на компьютере
    Новая страница объясняет, как ваши агенты проверяют свою работу в приложении на компьютере.
Computer use

Агент

Проверить новое окно настроек

Инструменты для приложений

  • app_launch
  • app_snapshot
  • app_click
  • app_type
QA-агент управляет приложением Моё Electron-приложениеСтоп
Моё Electron-приложение

Агент для кода за несколько минут пишет новое окно для вашего Electron-приложения, нативный экран macOS или форму Windows. Проверять всё это по-прежнему вам: собрать, открыть приложение, прокликать экран, заметить кнопку, которая ничего не делает, а потом описать это агенту.

У веб-приложений есть инструменты для браузера, у мобильных приложений есть симуляторы. У настольного приложения нет ни CLI, ни API, через которые его можно протестировать. Computer use, который предлагают некоторые ИИ-провайдеры, работает только с их собственным агентом и обычно на всём вашем экране.

AgentsRoom даёт Computer use любому CLI для агентов. Вы сами выбираете, какими приложениями проекта можно управлять, и только ими. Агент видит одно окно за раз, каждое действие видно в его консоли, а баннер с кнопкой Стоп остаётся на экране, пока он работает.

Что ваши агенты могут делать в настольном приложении

Проверки, которые вы делаете вручную после каждого изменения, выполняет агент, который это изменение внёс.

Открыть нужное приложение

Агент выводит список приложений, разрешённых для проекта на этом компьютере, запущенных или нет, открывает одно из них или выводит его на передний план и выбирает нужное окно.

Видеть одно окно

Он получает изображение окна и список его кнопок, полей и меню с их названиями. Никогда весь ваш экран, никогда другое приложение.

Кликать, вводить, прокручивать

Он нажимает кнопку, вводит текст в поле, нажимает клавишу с модификаторами и прокручивает список, а потом снова смотрит на окно, чтобы проверить результат.

Ваша мышь остаётся вашей

Клик по кнопке с названием проходит через системные средства универсального доступа: курсор не двигается, и вы продолжаете работать. Только клик по координатам занимает мышь, и он ждёт, пока вы перестанете ею пользоваться.

Только приложения из вашего списка

У каждого проекта свой список приложений, изначально пустой. Если в нём нет приложений, ни один агент ничем не управляет. Агент может убрать приложение или свой собственный доступ, но никогда ничего не добавляет.

Всегда на виду, всегда можно остановить

Баннер показывает, какой агент каким приложением управляет, с кнопкой Стоп. Глобальное сочетание клавиш (Ctrl+Alt+Shift+Esc) останавливает всех агентов сразу, а каждое действие записывается в консоль агента.

Как это работает

Добавьте приложение один раз, а проверку доверьте агенту.

  1. 1

    Добавьте приложение в проект

    Откройте «Настройки проекта > Возможности и разрешения > Computer use» и нажмите «Добавить»: выберите открытое приложение, установленное приложение или исполняемый файл в папке проекта, например вашу сборку Electron.

  2. 2

    Дайте компьютеру разрешения

    На macOS разрешите AgentsRoom App Control в «Системные настройки > Конфиденциальность и безопасность > Универсальный доступ» и «Запись экрана». AgentsRoom сам открывает нужный раздел. На Windows ничего выдавать не нужно.

  3. 3

    Попросите проверить

    Попросите агента проверить своё изменение в приложении. Он открывает приложение, смотрит на окно, кликает и вводит текст, как тестировщик, исправляет код, если что-то не так, а потом присылает вам снимок результата.

  4. 4

    Наблюдайте или остановите

    Баннер показывает агента за работой, значок Computer use на нижней панели показывает, кто чем управляет, а «Тесты > Computer use» показывает последний снимок и последние действия. «Стоп» сразу всё прекращает.

Кто решает и как это выключить

Computer use по умолчанию включён для каждого агента, но настоящий барьер это список приложений каждого проекта, который изначально пуст. Пока вы не добавите приложение, ни один агент ничем не управляет.

Его можно выключить для всего аккаунта в «Настройки > Computer use», для одного проекта в «Настройки проекта > Возможности и разрешения > Computer use» («Следовать аккаунту», «Включено» или «Выключено») или для одного агента в «Изменить агента > Возможности». Включить его можете только вы: агент может только выключить свой собственный доступ.

Агенты по расписанию и агенты, запускаемые вебхуком, тоже могут им пользоваться, с тем же баннером и кнопкой Стоп, так что ночной запуск можно остановить с телефона. Запуск, который получает публичный контент, например pull request от незнакомца, никогда его не получает.

Ограничения

  • Некоторыми приложениями нельзя управлять, даже если вы их добавите: системные настройки, менеджеры паролей, связка ключей или диспетчер учётных данных, системные окна входа и запросы разрешений, а также сам AgentsRoom.
  • Агенты никогда не вводят учётные данные: поля паролей отклоняются.
  • Одно окно за раз: без всего экрана и без перетаскивания. Один агент за раз на приложение и один агент за раз на мышь.
  • Linux: нужна сессия X11 или XWayland. Приложениями, которые рисуются нативно в Wayland, управлять нельзя. Windows: приложением, запущенным от имени администратора, управлять нельзя.
  • Заблокированная сессия или спящий экран: ничем не управляется, и агенту сообщают причину. Агенту по расписанию ночью нужен разблокированный компьютер.
  • Агенты, работающие на SSH-хосте, не могут управлять приложениями вашего компьютера.
  • Не на телефоне: мобильное приложение показывает, какой агент каким приложением управляет, с кнопкой Стоп, но никогда не выдаёт доступ, не меняет список и не показывает снимки.
Может ли Claude Code использовать computer use, чтобы протестировать моё настольное приложение?
Да. В AgentsRoom добавьте приложение в список проекта в «Настройки проекта > Возможности и разрешения > Computer use». Ваш агент Claude Code получает инструменты для приложений: открывает приложение, смотрит на одно окно, кликает, вводит текст и присылает вам снимок. Он не зависит от собственного computer use Anthropic, поэтому так же работает с вашими другими агентами.
Есть ли computer use для Codex, Cursor и других CLI?
Да, тот же самый. Computer use в AgentsRoom это MCP-сервер, который получает каждый CLI для агентов, получающий инструменты AgentsRoom: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity и остальные. Ничего не нужно настраивать для каждого CLI. У Aider нет MCP-клиента, а Hermes Agent, Goose, Qwen Code, Kiro и Rovo Dev, добавленные в ноябре 2026 года, пока не получают инструменты AgentsRoom.
Работает ли это на Windows и Linux?
Да. На Windows ничего выдавать не нужно. На Linux нужна сессия X11 или XWayland; приложениями, которые рисуются нативно в Wayland, управлять нельзя, а кнопки читаются по названию, когда включена шина специальных возможностей (AT-SPI), иначе агент кликает по координатам. На macOS вы даёте два разрешения AgentsRoom App Control.
Может ли агент захватить весь мой компьютер?
Нет. Он видит и управляет только приложениями из списка проекта, по одному окну за раз. Системные настройки, менеджеры паролей, связка ключей, окна входа и сам AgentsRoom остаются запрещены, даже если вы их добавите, и поля паролей тоже отклоняются. Каждое действие видно в баннере и в консоли агента.
Будет ли агент двигать мою мышь, пока я работаю?
Чаще всего нет. Клик по кнопке с названием проходит через системные средства универсального доступа, поэтому курсор не двигается, а приложение не выскакивает на передний план. Только клик по координатам занимает мышь, и он ждёт, пока вы перестанете пользоваться мышью и клавиатурой.
Как остановить агента, который управляет приложением?
Нажмите «Стоп» в баннере, в консоли агента, на значке Computer use на нижней панели или в «Тесты > Computer use», либо нажмите Ctrl+Alt+Shift+Esc, чтобы остановить всех агентов сразу. Агент остаётся остановленным, пока вы не нажмёте «Разрешить снова» или не перезапустите его консоль. На телефоне в верхней панели тоже есть кнопка Стоп.
Почему macOS спрашивает про AgentsRoom App Control, а не про AgentsRoom?
Оба разрешения, «Универсальный доступ» и «Запись экрана», выдаются отдельной вспомогательной программе. Так команда, которую агент запускает в своём терминале, их не наследует. macOS 15 и новее может время от времени снова запрашивать «Запись экрана».
Можно ли протестировать Electron-приложение, которое я разрабатываю?
Да. В списке приложений выберите «Приложение этого проекта» и укажите исполняемый файл вашей сборки в папке проекта. Тогда агент может пересобрать приложение, открыть новую версию и проверить изменение. Это работает и для нативного приложения, внутреннего инструмента или браузера, отличного от Chrome.
Может ли агент по расписанию использовать computer use ночью?
Да, как и любой агент, с тем же баннером и кнопкой Стоп, а телефон показывает, каким приложением он управляет. Компьютер должен оставаться разблокированным, потому что в заблокированной сессии ничем не управляется. Запуск, который получает публичный контент, никогда не получает Computer use.
Чем это отличается от автоматизации браузера?
Автоматизация браузера управляет веб-страницами во встроенном браузере AgentsRoom или в вашем собственном Chrome через инструменты для страниц. Computer use предназначен для приложений, которые не являются веб-страницами: настольного приложения, нативного инструмента, окна без API. У симуляторов и эмуляторов тоже есть свои инструменты.

Полезные материалы

Вам также может понравиться

Пусть агент сам проверяет свои окна.

Computer use есть в AgentsRoom на macOS, Windows и Linux, для любого CLI для агентов. Вы решаете, какие приложения.

Скачать AgentsRoomБесплатно

Приложение-компаньон: следите за агентами на ходу

Используйте Claude, Codex, Antigravity CLI или другого поставщика AI.

Отправляйте баги и запросы прямо в ваш публичный бэклог.