Twoi agenci AI testują aplikację desktopową,
którą właśnie zbudowali
Twój agent zmienił okno ustawień Twojej aplikacji Electron, ale nigdy go nie otworzył. Z Computer use w AgentsRoom uruchamia aplikację, patrzy na okno, przeklikuje się przez nie i wysyła Ci zrzut ekranu, zanim powie, że skończył.
Computer use to serwer MCP, który AgentsRoom daje Claude Code, Codex, Cursor i innym CLI agentów. Agent widzi jedno okno aplikacji, na którą pozwoliłeś, jako obraz wraz z listą jej przycisków i pól, i działa w nim: klika, pisze, naciska klawisz, przewija. Sprawdza się przy aplikacji, którą tworzysz, przy narzędziu wewnętrznym albo przy przeglądarce innej niż Chrome, na macOS, Windows i Linux.
Zrzuty ekranu
Prawdziwe zrzuty z aplikacji, dodawane w miarę rozwoju tej funkcji.
Agent
Narzędzia aplikacji
- app_launch
- app_snapshot
- app_click
- app_type
Agent kodujący potrafi w kilka minut napisać nowe okno Twojej aplikacji Electron, natywny widok macOS albo formularz Windows. Sprawdzenie go to wciąż Twoja robota: zbudować, otworzyć aplikację, przeklikać ekran, zauważyć przycisk, który nic nie robi, a potem opisać to agentowi.
Aplikacje webowe mają narzędzia przeglądarki, aplikacje mobilne mają symulatory. Aplikacja desktopowa nie ma ani CLI, ani API, przez które dałoby się ją przetestować. Computer use oferowany przez niektórych dostawców AI działa tylko z ich własnym agentem i zwykle na całym Twoim ekranie.
AgentsRoom daje Computer use każdemu CLI agentów. Ty wybierasz, którymi aplikacjami projektu można sterować, i tylko nimi. Agent widzi jedno okno naraz, każda akcja pojawia się w jego konsoli, a baner z przyciskiem Zatrzymaj zostaje na ekranie, dopóki agent pracuje.
Co Twoi agenci mogą zrobić w aplikacji desktopowej
Sprawdzenia, które robisz ręcznie po każdej zmianie, wykonuje agent, który ją wprowadził.
Otworzyć właściwą aplikację
Agent wyświetla listę aplikacji dozwolonych dla projektu na tym komputerze, uruchomionych lub nie, otwiera jedną albo wysuwa ją na wierzch i wybiera potrzebne okno.
Zobaczyć jedno okno
Dostaje obraz okna i listę jego przycisków, pól i menu z ich nazwami. Nigdy cały Twój ekran, nigdy inna aplikacja.
Klikać, pisać, przewijać
Klika przycisk, wpisuje tekst w pole, naciska klawisz z modyfikatorami i przewija listę, a potem patrzy jeszcze raz, żeby sprawdzić wynik.
Twoja mysz zostaje Twoja
Kliknięcie w nazwany przycisk przechodzi przez systemową dostępność: kursor się nie rusza i dalej pracujesz. Tylko kliknięcie w konkretne miejsce zajmuje mysz, i czeka, aż przestaniesz jej używać.
Tylko aplikacje z Twojej listy
Każdy projekt ma własną listę aplikacji, na początku pustą. Bez aplikacji na liście żaden agent niczym nie steruje. Agent może usunąć aplikację albo własny dostęp, nigdy niczego dodać.
Zawsze na widoku, zawsze do zatrzymania
Baner pokazuje, który agent steruje którą aplikacją, z przyciskiem Zatrzymaj. Globalny skrót (Ctrl+Alt+Shift+Esc) zatrzymuje wszystkich agentów naraz, a każda akcja trafia do konsoli agenta.
Jak to działa
Dodaj aplikację raz, a sprawdzanie zostaw agentowi.
- 1
Dodaj aplikację do projektu
Otwórz Ustawienia projektu > Możliwości i uprawnienia > Computer use i kliknij Dodaj: wybierz otwartą aplikację, zainstalowaną aplikację albo plik wykonywalny w folderze projektu, na przykład swój build Electron.
- 2
Nadaj komputerowi uprawnienia
Na macOS zezwól AgentsRoom App Control w Ustawienia systemowe > Prywatność i ochrona > Dostępność oraz Nagrywanie ekranu. AgentsRoom sam otwiera właściwy panel. Na Windows nie trzeba niczego nadawać.
- 3
Poproś o sprawdzenie
Poproś agenta, żeby sprawdził swoją zmianę w aplikacji. Otwiera aplikację, patrzy na okno, klika i pisze jak tester, poprawia kod, gdy coś jest nie tak, a potem wysyła Ci zrzut ekranu z wynikiem.
- 4
Obserwuj albo zatrzymaj
Baner pokazuje agenta przy pracy, etykieta Computer use na dolnym pasku pokazuje, kto czym steruje, a Testy > Computer use pokazuje ostatni zrzut ekranu i ostatnie akcje. Zatrzymaj kończy to natychmiast.
Kto decyduje i jak to wyłączyć
Computer use jest domyślnie włączony dla każdego agenta, ale prawdziwą bramką jest lista aplikacji każdego projektu, która na początku jest pusta. Dopóki nie dodasz aplikacji, żaden agent niczym nie steruje.
Możesz go wyłączyć dla całego konta w Ustawienia > Computer use, dla jednego projektu w Ustawienia projektu > Możliwości i uprawnienia > Computer use (Podążaj za kontem, Włączone albo Wyłączone), albo dla jednego agenta w Edytuj agenta > Możliwości. Włączyć możesz go tylko Ty: agent może jedynie wyłączyć własny dostęp.
Agenci zaplanowani i uruchamiani przez webhook też mogą z niego korzystać, z tym samym banerem i przyciskiem Zatrzymaj, więc nocne uruchomienie zatrzymasz z telefonu. Uruchomienie zasilane publiczną treścią, na przykład pull requestem od nieznajomego, nigdy go nie dostaje.
Ograniczenia
- Niektórymi aplikacjami nie da się sterować, nawet jeśli je dodasz: ustawienia systemowe, menedżery haseł, pęk kluczy albo menedżer poświadczeń, systemowe okna logowania i prośby o uprawnienia oraz sam AgentsRoom.
- Agenci nigdy nie wpisują danych logowania: pola haseł są odrzucane.
- Jedno okno naraz: bez całego ekranu i bez przeciągania i upuszczania. Jeden agent naraz na aplikację i jeden agent naraz na myszy.
- Linux: potrzebna jest sesja X11 albo XWayland. Aplikacjami rysowanymi natywnie w Wayland nie da się sterować. Windows: aplikacją uruchomioną jako administrator nie da się sterować.
- Zablokowana sesja albo uśpiony ekran: nic nie jest sterowane, a agent dowiaduje się dlaczego. Zaplanowany agent w nocy potrzebuje odblokowanego komputera.
- Agenci działający na hoście SSH nie mogą sterować aplikacjami Twojego komputera.
- Nie na telefonie: aplikacja mobilna pokazuje, który agent steruje którą aplikacją, z przyciskiem Zatrzymaj, ale nigdy nie nadaje dostępu, nie edytuje listy i nie pokazuje zrzutów ekranu.
Najczęściej zadawane pytania
Zapytaj nas o coś innegoCzy Claude Code może użyć computer use do testowania mojej aplikacji desktopowej?
Czy jest computer use dla Codex, Cursor i innych CLI?
Czy to działa na Windows i Linux?
Czy agent może przejąć cały mój komputer?
Czy agent będzie ruszał moją myszą, kiedy pracuję?
Jak zatrzymać agenta, który steruje aplikacją?
Dlaczego macOS pyta o AgentsRoom App Control, a nie o AgentsRoom?
Czy mogę testować aplikację Electron, którą tworzę?
Czy zaplanowany agent może używać computer use w nocy?
Czym to się różni od automatyzacji przeglądarki?
Warto przeczytać
Pętle agentów AI: jak samokorygujący się agent kodujący doprowadza robotę do końca
Pętla agenta AI zamienia prompt-i-popraw w cykl, który sam się koryguje: agent pisze plan, buduje go, sprawdza własną pracę względem planu i pętli, aż skończy. Jak działa pętla w Claude Code, Codex, Antigravity CLI, Cursor i Ralph loop.
Jak zmniejszyć zużycie tokenów przez MCP: skróciliśmy definicje naszych narzędzi o 60%
Każde narzędzie MCP, które twój agent może wywołać, to blok JSON-a, który model może czytać przy każdym żądaniu. Nasze ważyły około 95 000 tokenów. Jak zmierzyć swoje w dwie minuty, co wycięliśmy bez usuwania choćby jednego narzędzia i jaka kontrola budżetu nie pozwala im znowu urosnąć.
Może Ci się również spodobać
Browser MCP : Wbudowany Chromium : QA sterowane agentami
Twój agent QA otwiera prawdziwy Chromium na Twoim localhost, klika, pisze, robi zrzuty ekranu, czyta konsolę i potwierdza, że funkcja działa. Bez konfiguracji Playwright.
Symulator iOS i emulator Androida
Pozwól Claude Code, Codex lub Cursor testować Twoją aplikację mobilną na symulatorze iOS lub emulatorze Androida: instalacja buildu, dotyk, pisanie, zrzuty i logi.
Delegowanie agenta: dev do QA: tańszy model na teście
Twój agent dev przekazuje uruchomienie testów tańszemu agentowi QA przez MCP. Drogi model zostaje przy kodzie, a rachunek za tokeny i kontekst pozostają małe.
Niech agent sam sprawdza swoje okna.
Computer use jest w AgentsRoom na macOS, Windows i Linux, dla każdego CLI agentów. Ty decydujesz, które aplikacje.
Aplikacja towarzysząca: monitoruj agentów w podróży
Użyj Claude, Codex, Antigravity CLI lub innego dostawcy AI.
Wysyłaj bugi i prośby bezpośrednio do swojego publicznego backlogu.
