Ваші ШІ-агенти тестують настільний додаток,
який щойно створили
Ваш агент змінив вікно налаштувань вашого додатка Electron, але жодного разу його не відкрив. З Computer use в AgentsRoom він запускає додаток, дивиться на вікно, проходить по ньому клацаннями й надсилає вам знімок екрана, перш ніж сказати, що все готово.
Computer use є MCP-сервером, який AgentsRoom дає Claude Code, Codex, Cursor та іншим CLI для агентів. Агент бачить одне вікно додатка, який ви дозволили, як зображення разом зі списком його кнопок і полів, і діє в ньому: клацає, вводить текст, натискає клавішу, гортає. Це працює для додатка, який ви створюєте, для внутрішнього інструмента або іншого браузера, ніж Chrome, на macOS, Windows і Linux.
Скриншоти
Справжні скриншоти застосунку, які додаються в міру розвитку цієї функції.
Агент
Інструменти для додатків
- app_launch
- app_snapshot
- app_click
- app_type
Агент для коду може за кілька хвилин написати нове вікно для вашого додатка Electron, нативне представлення macOS чи форму Windows. А перевіряти це досі доводиться вам: зібрати, відкрити додаток, пройти екран клацаннями, помітити кнопку, яка нічого не робить, а потім описати це агентові.
Для веб-додатків є інструменти браузера, для мобільних додатків є симулятори. А настільний додаток не має ні CLI, ні API, через які його можна протестувати. Computer use, який пропонують деякі постачальники ШІ, працює лише з їхнім власним агентом і зазвичай на всьому вашому екрані.
AgentsRoom дає Computer use кожному CLI для агентів. Ви самі обираєте, якими додатками проєкту можна керувати, і тільки ними. Агент бачить одне вікно за раз, кожна дія з'являється в його консолі, а банер із кнопкою «Зупинити» залишається на екрані, поки він працює.
Що ваші агенти можуть робити в настільному додатку
Перевірки, які ви робите вручну після кожної зміни, виконує агент, який цю зміну зробив.
Відкрити потрібний додаток
Агент отримує список додатків, дозволених для проєкту на цьому комп'ютері, запущених чи ні, відкриває один із них або виводить його на передній план і вибирає потрібне вікно.
Бачити одне вікно
Він отримує зображення вікна та список його кнопок, полів і меню з їхніми назвами. Ніколи весь ваш екран, ніколи інший додаток.
Клацати, вводити, гортати
Він клацає кнопку, вводить текст у поле, натискає клавішу з модифікаторами й гортає список, а потім знову дивиться на вікно, щоб перевірити результат.
Ваша миша залишається вашою
Клацання по кнопці з назвою проходить через системні засоби доступності: вказівник не рухається, і ви працюєте далі. Мишу забирає лише клацання за координатами, і воно чекає, доки ви перестанете нею користуватися.
Лише додатки з вашого списку
Кожен проєкт має власний список додатків, спочатку порожній. Без додатка в ньому жоден агент нічим не може керувати. Агент може прибрати додаток або власний доступ, але ніколи нічого не додає.
Завжди на виду, завжди можна зупинити
Банер показує, який агент яким додатком керує, і має кнопку «Зупинити». Глобальне сполучення клавіш (Ctrl+Alt+Shift+Esc) зупиняє всіх агентів одразу, а кожна дія записується в консоль агента.
Як це працює
Додайте додаток один раз, а перевіряти буде агент.
- 1
Додайте додаток до проєкту
Відкрийте «Налаштування проєкту > Можливості > Computer use» і натисніть «Додати»: виберіть відкритий додаток, встановлений додаток або виконуваний файл у папці проєкту, наприклад вашу збірку Electron.
- 2
Дайте комп'ютеру потрібні дозволи
У macOS дозвольте AgentsRoom App Control у «Системні параметри > Приватність і безпека», у розділах «Універсальний доступ» і «Запис екрана». AgentsRoom сам відкриє потрібну панель. У Windows нічого надавати не потрібно.
- 3
Попросіть перевірити
Попросіть агента перевірити свою зміну в додатку. Він відкриває додаток, дивиться на вікно, клацає й вводить текст, як тестувальник, виправляє код, коли щось не так, а потім надсилає вам знімок екрана з результатом.
- 4
Стежте або зупиніть
Банер показує агента за роботою, плашка Computer use на нижній панелі показує, хто чим керує, а вкладка «Тести > Computer use» показує останній знімок і дії. «Зупинити» завершує все одразу.
Хто вирішує і як це вимкнути
Computer use за замовчуванням увімкнено для кожного агента, але справжній бар'єр інший: список додатків кожного проєкту, який спочатку порожній. Поки ви не додасте додаток, жоден агент нічим не може керувати.
Вимкнути можна для всього облікового запису в «Налаштування > Computer use», для одного проєкту в «Налаштування проєкту > Можливості > Computer use» («Дотримуватися облікового запису», «Увімкнено» або «Вимкнено») або для одного агента в «Редагувати агента > Можливості». Увімкнути можете лише ви: агент може лише вимкнути власний доступ.
Агенти за розкладом і агенти з вебхуків теж можуть ним користуватися, з тим самим банером і кнопкою «Зупинити», тож нічний запуск можна зупинити з телефона. Запуск, який живиться публічним вмістом, наприклад pull request від незнайомця, ніколи його не отримує.
Обмеження
- Деякими додатками ніколи не керують, навіть якщо ви їх додасте: системні налаштування, менеджери паролів, зв'язка ключів або диспетчер облікових даних, системні вікна входу й запитів дозволу, а також сам AgentsRoom.
- Агенти ніколи не вводять облікові дані: поля паролів відхиляються.
- Одне вікно за раз: ні всього екрана, ні перетягування. Одним додатком водночас керує лише один агент, і мишею водночас користується лише один агент.
- Linux: потрібен сеанс X11 або XWayland. Додатками, що малюються безпосередньо на Wayland, керувати неможливо. Windows: додатком, запущеним від імені адміністратора, керувати неможливо.
- Заблокований сеанс або екран у режимі сну: нічим не керують, і агент дізнається чому. Агентові за розкладом уночі потрібен розблокований комп'ютер.
- Агенти, що працюють на SSH-хості, не можуть керувати додатками вашого комп'ютера.
- Не на телефоні: мобільний додаток показує, який агент яким додатком керує, з кнопкою «Зупинити», але ніколи не надає доступ, не змінює список і не показує знімки екрана.
Часті запитання
Запитайте нас про щось іншеЧи може Claude Code використовувати computer use, щоб тестувати мій настільний додаток?
Чи є computer use для Codex, Cursor та інших CLI?
Чи працює це у Windows і Linux?
Чи може агент захопити весь мій комп'ютер?
Чи рухатиме агент мою мишу, поки я працюю?
Як зупинити агента, який керує додатком?
Чому macOS запитує дозвіл для AgentsRoom App Control, а не для AgentsRoom?
Чи можна протестувати додаток Electron, який я створюю?
Чи може агент за розкладом використовувати computer use уночі?
Чим це відрізняється від автоматизації браузера?
Корисні матеріали
Цикли AI агентів: як самокоригуючі агенти завершують роботу
Цикл AI агента перетворює підказку та виправлення у самокоригуючий цикл: агент пише план, будує його, перевіряє свою роботу відповідно до плану і повторює, поки не завершить. Як цикл працює в Claude Code, Codex, Antigravity CLI, Cursor та Ralph loop.
Як зменшити витрату токенів на MCP: ми скоротили визначення інструментів на 60%
Кожен інструмент MCP, який може викликати твій агент, це блок JSON, який модель може читати при кожному запиті. Наші важили близько 95 000 токенів. Як виміряти свої за дві хвилини, що ми скоротили, не прибравши жодного інструмента, і перевірка бюджету, яка не дає їм знову розростися.
Вам також може сподобатися
Browser MCP • Вбудований Chromium • QA, керований агентом
Ваш агент QA відкриває справжній Chromium на вашому localhost, клікає, вводить текст, робить скріншоти, читає консоль і перевіряє, що функція працює. Без Playwright.
Симулятор iOS і емулятор Android
Дайте Claude Code, Codex або Cursor тестувати ваш мобільний додаток на симуляторі iOS чи емуляторі Android: збірка, дотики, введення, знімки екрана, журнали.
Делегування агентів: від розробки до QA: дешевша модель на тесті
Ваш агент розробки передає запуск тестів дешевшому агенту QA через MCP. Дорога модель залишається на коді, а рахунок за токени й контекст лишаються невеликими.
Нехай агент сам перевіряє свої вікна.
Computer use є в AgentsRoom для macOS, Windows і Linux, для кожного CLI для агентів. Які додатки, вирішуєте ви.
Додаток-компаньйон: контролюйте своїх агентів на ходу
Використовуйте свого: Claude, Codex, Antigravity CLI або іншого AI-провайдера.
Надсилайте баги та запити прямо у свій публічний беклог.
