Computer use

Twoi agenci AI testują aplikację desktopową,
którą właśnie zbudowali

Twój agent zmienił okno ustawień Twojej aplikacji Electron, ale nigdy go nie otworzył. Z Computer use w AgentsRoom uruchamia aplikację, patrzy na okno, przeklikuje się przez nie i wysyła Ci zrzut ekranu, zanim powie, że skończył.

Computer use to serwer MCP, który AgentsRoom daje Claude Code, Codex, Cursor i innym CLI agentów. Agent widzi jedno okno aplikacji, na którą pozwoliłeś, jako obraz wraz z listą jej przycisków i pól, i działa w nim: klika, pisze, naciska klawisz, przewija. Sprawdza się przy aplikacji, którą tworzysz, przy narzędziu wewnętrznym albo przy przeglądarce innej niż Chrome, na macOS, Windows i Linux.

Zrzuty ekranu

Prawdziwe zrzuty z aplikacji, dodawane w miarę rozwoju tej funkcji.

  • Strona użycia Komputera AgentsRoom wyjaśniająca, jak agenci testują aplikację desktopową
    Nowa strona wyjaśnia, jak twoi agenci sprawdzają swoją pracę w aplikacji desktopowej.
Computer use

Agent

Sprawdź nowe okno ustawień

Narzędzia aplikacji

  • app_launch
  • app_snapshot
  • app_click
  • app_type
Agent QA steruje aplikacją Mój build ElectronZatrzymaj
Mój build Electron

Agent kodujący potrafi w kilka minut napisać nowe okno Twojej aplikacji Electron, natywny widok macOS albo formularz Windows. Sprawdzenie go to wciąż Twoja robota: zbudować, otworzyć aplikację, przeklikać ekran, zauważyć przycisk, który nic nie robi, a potem opisać to agentowi.

Aplikacje webowe mają narzędzia przeglądarki, aplikacje mobilne mają symulatory. Aplikacja desktopowa nie ma ani CLI, ani API, przez które dałoby się ją przetestować. Computer use oferowany przez niektórych dostawców AI działa tylko z ich własnym agentem i zwykle na całym Twoim ekranie.

AgentsRoom daje Computer use każdemu CLI agentów. Ty wybierasz, którymi aplikacjami projektu można sterować, i tylko nimi. Agent widzi jedno okno naraz, każda akcja pojawia się w jego konsoli, a baner z przyciskiem Zatrzymaj zostaje na ekranie, dopóki agent pracuje.

Co Twoi agenci mogą zrobić w aplikacji desktopowej

Sprawdzenia, które robisz ręcznie po każdej zmianie, wykonuje agent, który ją wprowadził.

Otworzyć właściwą aplikację

Agent wyświetla listę aplikacji dozwolonych dla projektu na tym komputerze, uruchomionych lub nie, otwiera jedną albo wysuwa ją na wierzch i wybiera potrzebne okno.

Zobaczyć jedno okno

Dostaje obraz okna i listę jego przycisków, pól i menu z ich nazwami. Nigdy cały Twój ekran, nigdy inna aplikacja.

Klikać, pisać, przewijać

Klika przycisk, wpisuje tekst w pole, naciska klawisz z modyfikatorami i przewija listę, a potem patrzy jeszcze raz, żeby sprawdzić wynik.

Twoja mysz zostaje Twoja

Kliknięcie w nazwany przycisk przechodzi przez systemową dostępność: kursor się nie rusza i dalej pracujesz. Tylko kliknięcie w konkretne miejsce zajmuje mysz, i czeka, aż przestaniesz jej używać.

Tylko aplikacje z Twojej listy

Każdy projekt ma własną listę aplikacji, na początku pustą. Bez aplikacji na liście żaden agent niczym nie steruje. Agent może usunąć aplikację albo własny dostęp, nigdy niczego dodać.

Zawsze na widoku, zawsze do zatrzymania

Baner pokazuje, który agent steruje którą aplikacją, z przyciskiem Zatrzymaj. Globalny skrót (Ctrl+Alt+Shift+Esc) zatrzymuje wszystkich agentów naraz, a każda akcja trafia do konsoli agenta.

Jak to działa

Dodaj aplikację raz, a sprawdzanie zostaw agentowi.

  1. 1

    Dodaj aplikację do projektu

    Otwórz Ustawienia projektu > Możliwości i uprawnienia > Computer use i kliknij Dodaj: wybierz otwartą aplikację, zainstalowaną aplikację albo plik wykonywalny w folderze projektu, na przykład swój build Electron.

  2. 2

    Nadaj komputerowi uprawnienia

    Na macOS zezwól AgentsRoom App Control w Ustawienia systemowe > Prywatność i ochrona > Dostępność oraz Nagrywanie ekranu. AgentsRoom sam otwiera właściwy panel. Na Windows nie trzeba niczego nadawać.

  3. 3

    Poproś o sprawdzenie

    Poproś agenta, żeby sprawdził swoją zmianę w aplikacji. Otwiera aplikację, patrzy na okno, klika i pisze jak tester, poprawia kod, gdy coś jest nie tak, a potem wysyła Ci zrzut ekranu z wynikiem.

  4. 4

    Obserwuj albo zatrzymaj

    Baner pokazuje agenta przy pracy, etykieta Computer use na dolnym pasku pokazuje, kto czym steruje, a Testy > Computer use pokazuje ostatni zrzut ekranu i ostatnie akcje. Zatrzymaj kończy to natychmiast.

Kto decyduje i jak to wyłączyć

Computer use jest domyślnie włączony dla każdego agenta, ale prawdziwą bramką jest lista aplikacji każdego projektu, która na początku jest pusta. Dopóki nie dodasz aplikacji, żaden agent niczym nie steruje.

Możesz go wyłączyć dla całego konta w Ustawienia > Computer use, dla jednego projektu w Ustawienia projektu > Możliwości i uprawnienia > Computer use (Podążaj za kontem, Włączone albo Wyłączone), albo dla jednego agenta w Edytuj agenta > Możliwości. Włączyć możesz go tylko Ty: agent może jedynie wyłączyć własny dostęp.

Agenci zaplanowani i uruchamiani przez webhook też mogą z niego korzystać, z tym samym banerem i przyciskiem Zatrzymaj, więc nocne uruchomienie zatrzymasz z telefonu. Uruchomienie zasilane publiczną treścią, na przykład pull requestem od nieznajomego, nigdy go nie dostaje.

Ograniczenia

  • Niektórymi aplikacjami nie da się sterować, nawet jeśli je dodasz: ustawienia systemowe, menedżery haseł, pęk kluczy albo menedżer poświadczeń, systemowe okna logowania i prośby o uprawnienia oraz sam AgentsRoom.
  • Agenci nigdy nie wpisują danych logowania: pola haseł są odrzucane.
  • Jedno okno naraz: bez całego ekranu i bez przeciągania i upuszczania. Jeden agent naraz na aplikację i jeden agent naraz na myszy.
  • Linux: potrzebna jest sesja X11 albo XWayland. Aplikacjami rysowanymi natywnie w Wayland nie da się sterować. Windows: aplikacją uruchomioną jako administrator nie da się sterować.
  • Zablokowana sesja albo uśpiony ekran: nic nie jest sterowane, a agent dowiaduje się dlaczego. Zaplanowany agent w nocy potrzebuje odblokowanego komputera.
  • Agenci działający na hoście SSH nie mogą sterować aplikacjami Twojego komputera.
  • Nie na telefonie: aplikacja mobilna pokazuje, który agent steruje którą aplikacją, z przyciskiem Zatrzymaj, ale nigdy nie nadaje dostępu, nie edytuje listy i nie pokazuje zrzutów ekranu.

Najczęściej zadawane pytania

Zapytaj nas o coś innego
Czy Claude Code może użyć computer use do testowania mojej aplikacji desktopowej?
Tak. W AgentsRoom dodaj aplikację do listy projektu w Ustawienia projektu > Możliwości i uprawnienia > Computer use. Twój agent Claude Code dostaje wtedy narzędzia aplikacji: otwiera aplikację, patrzy na jedno okno, klika, pisze i wysyła Ci zrzut ekranu. Nie opiera się na computer use od Anthropic, więc działa tak samo z Twoimi innymi agentami.
Czy jest computer use dla Codex, Cursor i innych CLI?
Tak, ten sam. Computer use w AgentsRoom to serwer MCP, który dostaje każde CLI agentów otrzymujące narzędzia AgentsRoom: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity i pozostałe. Nic do konfigurowania dla każdego CLI osobno. Aider nie ma klienta MCP, a Hermes Agent, Goose, Qwen Code, Kiro i Rovo Dev, dodane w listopadzie 2026, jeszcze nie dostają narzędzi AgentsRoom.
Czy to działa na Windows i Linux?
Tak. Na Windows nie trzeba niczego nadawać. Na Linux potrzebna jest sesja X11 albo XWayland; aplikacjami rysowanymi natywnie w Wayland nie da się sterować, a przyciski są odczytywane po nazwie, gdy włączona jest magistrala dostępności (AT-SPI), w przeciwnym razie agent klika w wybrane miejsce. Na macOS nadajesz dwa uprawnienia AgentsRoom App Control.
Czy agent może przejąć cały mój komputer?
Nie. Widzi i steruje tylko aplikacjami z listy projektu, jednym oknem naraz. Ustawienia systemowe, menedżery haseł, pęk kluczy, okna logowania i sam AgentsRoom pozostają zablokowane, nawet jeśli je dodasz, a pola haseł też są odrzucane. Każda akcja jest widoczna na banerze i w konsoli agenta.
Czy agent będzie ruszał moją myszą, kiedy pracuję?
Zwykle nie. Kliknięcie w nazwany przycisk przechodzi przez systemową dostępność, więc kursor się nie rusza, a aplikacja nie wyskakuje na wierzch. Tylko kliknięcie w konkretne miejsce zajmuje mysz, i czeka, aż przestaniesz używać myszy i klawiatury.
Jak zatrzymać agenta, który steruje aplikacją?
Kliknij Zatrzymaj na banerze, w konsoli agenta, w etykiecie Computer use na dolnym pasku albo w Testy > Computer use, albo naciśnij Ctrl+Alt+Shift+Esc, co zatrzymuje wszystkich agentów naraz. Agent pozostaje zatrzymany, dopóki nie klikniesz Zezwól ponownie albo nie uruchomisz ponownie jego konsoli. Na telefonie pasek u góry też ma przycisk Zatrzymaj.
Dlaczego macOS pyta o AgentsRoom App Control, a nie o AgentsRoom?
Oba uprawnienia, Dostępność i Nagrywanie ekranu, trafiają do osobnego programu pomocniczego. Dzięki temu polecenie, które agent uruchamia w swoim terminalu, ich nie dziedziczy. macOS 15 i nowsze mogą od czasu do czasu ponownie pytać o Nagrywanie ekranu.
Czy mogę testować aplikację Electron, którą tworzę?
Tak. Na liście aplikacji wybierz Aplikacja tego projektu i wskaż plik wykonywalny swojego buildu w folderze projektu. Agent może wtedy przebudować aplikację, otworzyć nową wersję i sprawdzić zmianę. Działa to też z aplikacją natywną, narzędziem wewnętrznym albo przeglądarką inną niż Chrome.
Czy zaplanowany agent może używać computer use w nocy?
Tak, jak każdy agent, z tym samym banerem i przyciskiem Zatrzymaj, a telefon pokazuje, którą aplikacją steruje. Komputer musi pozostać odblokowany, bo w zablokowanej sesji nic nie jest sterowane. Uruchomienie zasilane publiczną treścią nigdy nie dostaje Computer use.
Czym to się różni od automatyzacji przeglądarki?
Automatyzacja przeglądarki steruje stronami internetowymi we wbudowanej przeglądarce AgentsRoom albo w Twoim własnym Chrome, przez narzędzia stron. Computer use jest dla aplikacji, które nie są stronami internetowymi: aplikacji desktopowej, natywnego narzędzia, okna bez API. Symulatory i emulatory też mają własne narzędzia.

Warto przeczytać

Może Ci się również spodobać

Niech agent sam sprawdza swoje okna.

Computer use jest w AgentsRoom na macOS, Windows i Linux, dla każdego CLI agentów. Ty decydujesz, które aplikacje.

Pobierz AgentsRoomZa darmo

Aplikacja towarzysząca: monitoruj agentów w podróży

Użyj Claude, Codex, Antigravity CLI lub innego dostawcy AI.

Wysyłaj bugi i prośby bezpośrednio do swojego publicznego backlogu.