Computer use

Ваші ШІ-агенти тестують настільний додаток,
який щойно створили

Ваш агент змінив вікно налаштувань вашого додатка Electron, але жодного разу його не відкрив. З Computer use в AgentsRoom він запускає додаток, дивиться на вікно, проходить по ньому клацаннями й надсилає вам знімок екрана, перш ніж сказати, що все готово.

Computer use є MCP-сервером, який AgentsRoom дає Claude Code, Codex, Cursor та іншим CLI для агентів. Агент бачить одне вікно додатка, який ви дозволили, як зображення разом зі списком його кнопок і полів, і діє в ньому: клацає, вводить текст, натискає клавішу, гортає. Це працює для додатка, який ви створюєте, для внутрішнього інструмента або іншого браузера, ніж Chrome, на macOS, Windows і Linux.

Скриншоти

Справжні скриншоти застосунку, які додаються в міру розвитку цієї функції.

  • Сторінка використання комп'ютера AgentsRoom, що пояснює, як агенти тестують додаток на комп'ютері
    Нова сторінка пояснює, як ваші агенти перевіряють свою роботу в додатку на комп'ютері.
Computer use

Агент

Перевір нове вікно налаштувань

Інструменти для додатків

  • app_launch
  • app_snapshot
  • app_click
  • app_type
Агент QA керує моїм додатком ElectronЗупинити
Мій додаток Electron

Агент для коду може за кілька хвилин написати нове вікно для вашого додатка Electron, нативне представлення macOS чи форму Windows. А перевіряти це досі доводиться вам: зібрати, відкрити додаток, пройти екран клацаннями, помітити кнопку, яка нічого не робить, а потім описати це агентові.

Для веб-додатків є інструменти браузера, для мобільних додатків є симулятори. А настільний додаток не має ні CLI, ні API, через які його можна протестувати. Computer use, який пропонують деякі постачальники ШІ, працює лише з їхнім власним агентом і зазвичай на всьому вашому екрані.

AgentsRoom дає Computer use кожному CLI для агентів. Ви самі обираєте, якими додатками проєкту можна керувати, і тільки ними. Агент бачить одне вікно за раз, кожна дія з'являється в його консолі, а банер із кнопкою «Зупинити» залишається на екрані, поки він працює.

Що ваші агенти можуть робити в настільному додатку

Перевірки, які ви робите вручну після кожної зміни, виконує агент, який цю зміну зробив.

Відкрити потрібний додаток

Агент отримує список додатків, дозволених для проєкту на цьому комп'ютері, запущених чи ні, відкриває один із них або виводить його на передній план і вибирає потрібне вікно.

Бачити одне вікно

Він отримує зображення вікна та список його кнопок, полів і меню з їхніми назвами. Ніколи весь ваш екран, ніколи інший додаток.

Клацати, вводити, гортати

Він клацає кнопку, вводить текст у поле, натискає клавішу з модифікаторами й гортає список, а потім знову дивиться на вікно, щоб перевірити результат.

Ваша миша залишається вашою

Клацання по кнопці з назвою проходить через системні засоби доступності: вказівник не рухається, і ви працюєте далі. Мишу забирає лише клацання за координатами, і воно чекає, доки ви перестанете нею користуватися.

Лише додатки з вашого списку

Кожен проєкт має власний список додатків, спочатку порожній. Без додатка в ньому жоден агент нічим не може керувати. Агент може прибрати додаток або власний доступ, але ніколи нічого не додає.

Завжди на виду, завжди можна зупинити

Банер показує, який агент яким додатком керує, і має кнопку «Зупинити». Глобальне сполучення клавіш (Ctrl+Alt+Shift+Esc) зупиняє всіх агентів одразу, а кожна дія записується в консоль агента.

Як це працює

Додайте додаток один раз, а перевіряти буде агент.

  1. 1

    Додайте додаток до проєкту

    Відкрийте «Налаштування проєкту > Можливості > Computer use» і натисніть «Додати»: виберіть відкритий додаток, встановлений додаток або виконуваний файл у папці проєкту, наприклад вашу збірку Electron.

  2. 2

    Дайте комп'ютеру потрібні дозволи

    У macOS дозвольте AgentsRoom App Control у «Системні параметри > Приватність і безпека», у розділах «Універсальний доступ» і «Запис екрана». AgentsRoom сам відкриє потрібну панель. У Windows нічого надавати не потрібно.

  3. 3

    Попросіть перевірити

    Попросіть агента перевірити свою зміну в додатку. Він відкриває додаток, дивиться на вікно, клацає й вводить текст, як тестувальник, виправляє код, коли щось не так, а потім надсилає вам знімок екрана з результатом.

  4. 4

    Стежте або зупиніть

    Банер показує агента за роботою, плашка Computer use на нижній панелі показує, хто чим керує, а вкладка «Тести > Computer use» показує останній знімок і дії. «Зупинити» завершує все одразу.

Хто вирішує і як це вимкнути

Computer use за замовчуванням увімкнено для кожного агента, але справжній бар'єр інший: список додатків кожного проєкту, який спочатку порожній. Поки ви не додасте додаток, жоден агент нічим не може керувати.

Вимкнути можна для всього облікового запису в «Налаштування > Computer use», для одного проєкту в «Налаштування проєкту > Можливості > Computer use» («Дотримуватися облікового запису», «Увімкнено» або «Вимкнено») або для одного агента в «Редагувати агента > Можливості». Увімкнути можете лише ви: агент може лише вимкнути власний доступ.

Агенти за розкладом і агенти з вебхуків теж можуть ним користуватися, з тим самим банером і кнопкою «Зупинити», тож нічний запуск можна зупинити з телефона. Запуск, який живиться публічним вмістом, наприклад pull request від незнайомця, ніколи його не отримує.

Обмеження

  • Деякими додатками ніколи не керують, навіть якщо ви їх додасте: системні налаштування, менеджери паролів, зв'язка ключів або диспетчер облікових даних, системні вікна входу й запитів дозволу, а також сам AgentsRoom.
  • Агенти ніколи не вводять облікові дані: поля паролів відхиляються.
  • Одне вікно за раз: ні всього екрана, ні перетягування. Одним додатком водночас керує лише один агент, і мишею водночас користується лише один агент.
  • Linux: потрібен сеанс X11 або XWayland. Додатками, що малюються безпосередньо на Wayland, керувати неможливо. Windows: додатком, запущеним від імені адміністратора, керувати неможливо.
  • Заблокований сеанс або екран у режимі сну: нічим не керують, і агент дізнається чому. Агентові за розкладом уночі потрібен розблокований комп'ютер.
  • Агенти, що працюють на SSH-хості, не можуть керувати додатками вашого комп'ютера.
  • Не на телефоні: мобільний додаток показує, який агент яким додатком керує, з кнопкою «Зупинити», але ніколи не надає доступ, не змінює список і не показує знімки екрана.
Чи може Claude Code використовувати computer use, щоб тестувати мій настільний додаток?
Так. В AgentsRoom додайте свій додаток до списку проєкту в «Налаштування проєкту > Можливості > Computer use». Ваш агент Claude Code отримає інструменти для додатків: він відкриває додаток, дивиться на одне вікно, клацає, вводить текст і надсилає вам знімок екрана. Це не залежить від власного computer use від Anthropic, тож так само працює з іншими вашими агентами.
Чи є computer use для Codex, Cursor та інших CLI?
Так, той самий. Computer use в AgentsRoom є MCP-сервером, який отримує кожен CLI для агентів, що отримує інструменти AgentsRoom: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity та інші. Нічого не треба налаштовувати для кожного CLI окремо. Aider не має MCP-клієнта, а Hermes Agent, Goose, Qwen Code, Kiro і Rovo Dev, додані в листопаді 2026 року, поки не отримують інструментів AgentsRoom.
Чи працює це у Windows і Linux?
Так. У Windows нічого надавати не потрібно. У Linux потрібен сеанс X11 або XWayland; додатками, що малюються безпосередньо на Wayland, керувати неможливо, а кнопки читаються за назвою, коли ввімкнено шину доступності (AT-SPI), інакше агент клацає за координатами. У macOS ви надаєте два дозволи для AgentsRoom App Control.
Чи може агент захопити весь мій комп'ютер?
Ні. Він бачить і керує лише додатками зі списку проєкту, по одному вікну за раз. Системні налаштування, менеджери паролів, зв'язка ключів, вікна входу й сам AgentsRoom залишаються забороненими, навіть якщо ви їх додасте, як і поля паролів. Кожну дію видно на банері та в консолі агента.
Чи рухатиме агент мою мишу, поки я працюю?
Здебільшого ні. Клацання по кнопці з назвою проходить через системні засоби доступності, тож ваш вказівник не рухається, а додаток не вистрибує на передній план. Мишу забирає лише клацання за координатами, і воно чекає, доки ви перестанете користуватися мишею та клавіатурою.
Як зупинити агента, який керує додатком?
Натисніть «Зупинити» на банері, у консолі агента, на плашці Computer use нижньої панелі або у вкладці «Тести > Computer use», чи натисніть Ctrl+Alt+Shift+Esc, щоб зупинити всіх агентів одразу. Агент залишається зупиненим, доки ви не натиснете «Дозволити знову» або не перезапустите його консоль. На телефоні панель угорі теж має кнопку «Зупинити».
Чому macOS запитує дозвіл для AgentsRoom App Control, а не для AgentsRoom?
Обидва дозволи, «Універсальний доступ» і «Запис екрана», надаються окремому помічникові. Так команда, яку агент запускає у своєму терміналі, їх не успадковує. macOS 15 і новіші версії можуть час від часу знову запитувати «Запис екрана».
Чи можна протестувати додаток Electron, який я створюю?
Так. У списку додатків виберіть «Застосунок цього проєкту» і вкажіть виконуваний файл вашої збірки в папці проєкту. Тоді агент може перезібрати додаток, відкрити нову версію й перевірити зміну. Це також працює для нативного додатка, внутрішнього інструмента або іншого браузера, ніж Chrome.
Чи може агент за розкладом використовувати computer use уночі?
Так, як і будь-який агент, з тим самим банером і кнопкою «Зупинити», а телефон показує, яким додатком він керує. Комп'ютер має залишатися розблокованим, бо в заблокованому сеансі нічим не керують. Запуск, який живиться публічним вмістом, ніколи не отримує Computer use.
Чим це відрізняється від автоматизації браузера?
Автоматизація браузера керує вебсторінками у браузері, вбудованому в AgentsRoom, або у вашому власному Chrome через інструменти для сторінок. Computer use призначено для додатків, які не є вебсторінками: настільного додатка, нативного інструмента, вікна без API. Симулятори й емулятори теж мають власні інструменти.

Корисні матеріали

Вам також може сподобатися

Нехай агент сам перевіряє свої вікна.

Computer use є в AgentsRoom для macOS, Windows і Linux, для кожного CLI для агентів. Які додатки, вирішуєте ви.

Завантажити AgentsRoomБезкоштовно

Додаток-компаньйон: контролюйте своїх агентів на ходу

Використовуйте свого: Claude, Codex, Antigravity CLI або іншого AI-провайдера.

Надсилайте баги та запити прямо у свій публічний беклог.