Ваши ИИ-агенты тестируют настольное приложение,
которое только что сделали
Ваш агент изменил окно настроек вашего Electron-приложения, но ни разу его не открыл. С Computer use в AgentsRoom он запускает приложение, смотрит на окно, прокликивает его и присылает вам снимок, прежде чем сказать, что всё готово.
Computer use это MCP-сервер, который AgentsRoom даёт Claude Code, Codex, Cursor и другим CLI для агентов. Агент видит одно окно разрешённого вами приложения в виде изображения вместе со списком его кнопок и полей и действует в нём: кликает, вводит текст, нажимает клавиши, прокручивает. Это работает для приложения, которое вы разрабатываете, для внутреннего инструмента или для браузера, отличного от Chrome, на macOS, Windows и Linux.
Скриншоты
Настоящие скриншоты приложения, которые пополняются по мере развития этой функции.
Агент
Инструменты для приложений
- app_launch
- app_snapshot
- app_click
- app_type
Агент для кода за несколько минут пишет новое окно для вашего Electron-приложения, нативный экран macOS или форму Windows. Проверять всё это по-прежнему вам: собрать, открыть приложение, прокликать экран, заметить кнопку, которая ничего не делает, а потом описать это агенту.
У веб-приложений есть инструменты для браузера, у мобильных приложений есть симуляторы. У настольного приложения нет ни CLI, ни API, через которые его можно протестировать. Computer use, который предлагают некоторые ИИ-провайдеры, работает только с их собственным агентом и обычно на всём вашем экране.
AgentsRoom даёт Computer use любому CLI для агентов. Вы сами выбираете, какими приложениями проекта можно управлять, и только ими. Агент видит одно окно за раз, каждое действие видно в его консоли, а баннер с кнопкой Стоп остаётся на экране, пока он работает.
Что ваши агенты могут делать в настольном приложении
Проверки, которые вы делаете вручную после каждого изменения, выполняет агент, который это изменение внёс.
Открыть нужное приложение
Агент выводит список приложений, разрешённых для проекта на этом компьютере, запущенных или нет, открывает одно из них или выводит его на передний план и выбирает нужное окно.
Видеть одно окно
Он получает изображение окна и список его кнопок, полей и меню с их названиями. Никогда весь ваш экран, никогда другое приложение.
Кликать, вводить, прокручивать
Он нажимает кнопку, вводит текст в поле, нажимает клавишу с модификаторами и прокручивает список, а потом снова смотрит на окно, чтобы проверить результат.
Ваша мышь остаётся вашей
Клик по кнопке с названием проходит через системные средства универсального доступа: курсор не двигается, и вы продолжаете работать. Только клик по координатам занимает мышь, и он ждёт, пока вы перестанете ею пользоваться.
Только приложения из вашего списка
У каждого проекта свой список приложений, изначально пустой. Если в нём нет приложений, ни один агент ничем не управляет. Агент может убрать приложение или свой собственный доступ, но никогда ничего не добавляет.
Всегда на виду, всегда можно остановить
Баннер показывает, какой агент каким приложением управляет, с кнопкой Стоп. Глобальное сочетание клавиш (Ctrl+Alt+Shift+Esc) останавливает всех агентов сразу, а каждое действие записывается в консоль агента.
Как это работает
Добавьте приложение один раз, а проверку доверьте агенту.
- 1
Добавьте приложение в проект
Откройте «Настройки проекта > Возможности и разрешения > Computer use» и нажмите «Добавить»: выберите открытое приложение, установленное приложение или исполняемый файл в папке проекта, например вашу сборку Electron.
- 2
Дайте компьютеру разрешения
На macOS разрешите AgentsRoom App Control в «Системные настройки > Конфиденциальность и безопасность > Универсальный доступ» и «Запись экрана». AgentsRoom сам открывает нужный раздел. На Windows ничего выдавать не нужно.
- 3
Попросите проверить
Попросите агента проверить своё изменение в приложении. Он открывает приложение, смотрит на окно, кликает и вводит текст, как тестировщик, исправляет код, если что-то не так, а потом присылает вам снимок результата.
- 4
Наблюдайте или остановите
Баннер показывает агента за работой, значок Computer use на нижней панели показывает, кто чем управляет, а «Тесты > Computer use» показывает последний снимок и последние действия. «Стоп» сразу всё прекращает.
Кто решает и как это выключить
Computer use по умолчанию включён для каждого агента, но настоящий барьер это список приложений каждого проекта, который изначально пуст. Пока вы не добавите приложение, ни один агент ничем не управляет.
Его можно выключить для всего аккаунта в «Настройки > Computer use», для одного проекта в «Настройки проекта > Возможности и разрешения > Computer use» («Следовать аккаунту», «Включено» или «Выключено») или для одного агента в «Изменить агента > Возможности». Включить его можете только вы: агент может только выключить свой собственный доступ.
Агенты по расписанию и агенты, запускаемые вебхуком, тоже могут им пользоваться, с тем же баннером и кнопкой Стоп, так что ночной запуск можно остановить с телефона. Запуск, который получает публичный контент, например pull request от незнакомца, никогда его не получает.
Ограничения
- Некоторыми приложениями нельзя управлять, даже если вы их добавите: системные настройки, менеджеры паролей, связка ключей или диспетчер учётных данных, системные окна входа и запросы разрешений, а также сам AgentsRoom.
- Агенты никогда не вводят учётные данные: поля паролей отклоняются.
- Одно окно за раз: без всего экрана и без перетаскивания. Один агент за раз на приложение и один агент за раз на мышь.
- Linux: нужна сессия X11 или XWayland. Приложениями, которые рисуются нативно в Wayland, управлять нельзя. Windows: приложением, запущенным от имени администратора, управлять нельзя.
- Заблокированная сессия или спящий экран: ничем не управляется, и агенту сообщают причину. Агенту по расписанию ночью нужен разблокированный компьютер.
- Агенты, работающие на SSH-хосте, не могут управлять приложениями вашего компьютера.
- Не на телефоне: мобильное приложение показывает, какой агент каким приложением управляет, с кнопкой Стоп, но никогда не выдаёт доступ, не меняет список и не показывает снимки.
Частые вопросы
Спросите нас о чём-то ещёМожет ли Claude Code использовать computer use, чтобы протестировать моё настольное приложение?
Есть ли computer use для Codex, Cursor и других CLI?
Работает ли это на Windows и Linux?
Может ли агент захватить весь мой компьютер?
Будет ли агент двигать мою мышь, пока я работаю?
Как остановить агента, который управляет приложением?
Почему macOS спрашивает про AgentsRoom App Control, а не про AgentsRoom?
Можно ли протестировать Electron-приложение, которое я разрабатываю?
Может ли агент по расписанию использовать computer use ночью?
Чем это отличается от автоматизации браузера?
Полезные материалы
Циклы ИИ-агентов: как самокорректирующийся агент доводит код до конца
Цикл ИИ-агента превращает «спросил и поправил» в самокорректирующийся процесс: агент пишет план, реализует его, сверяет свою работу с планом и крутит цикл, пока не закончит. Как цикл работает в Claude Code, Codex, Antigravity CLI, Cursor и в Ralph loop.
Как сократить расход токенов на MCP: мы урезали определения инструментов на 60%
Каждый инструмент MCP, который может вызвать твой агент, это блок JSON, который модель может читать при каждом запросе. Наши весили около 95 000 токенов. Как измерить свои за две минуты, что мы урезали, не убрав ни одного инструмента, и проверка бюджета, которая не даёт им снова разрастись.
Вам также может понравиться
Browser MCP : Встроенный Chromium : QA под управлением агентов
Твой QA-агент открывает настоящий Chromium на твоём localhost, кликает, вводит текст, делает скриншоты, читает консоль и проверяет, что фича работает. Без Playwright.
Симулятор iOS и эмулятор Android
Пусть Claude Code, Codex или Cursor тестируют ваше мобильное приложение на симуляторе iOS или эмуляторе Android: сборка, касания, ввод, скриншоты и логи.
Делегирование агентов: dev к QA: более дешёвая модель на тесте
Ваш dev-агент передаёт запуск тестов более дешёвому QA-агенту через MCP. Дорогая модель остаётся на коде, а счёт за токены и контекст остаются небольшими.
Пусть агент сам проверяет свои окна.
Computer use есть в AgentsRoom на macOS, Windows и Linux, для любого CLI для агентов. Вы решаете, какие приложения.
Приложение-компаньон: следите за агентами на ходу
Используйте Claude, Codex, Antigravity CLI или другого поставщика AI.
Отправляйте баги и запросы прямо в ваш публичный бэклог.
