Computer use

Deine KI-Agenten testen die Desktop-App,
die sie gerade gebaut haben

Dein Agent hat das Einstellungsfenster deiner Electron-App geändert, es aber nie geöffnet. Mit Computer use in AgentsRoom startet er die App, schaut sich das Fenster an, klickt sich hindurch und schickt dir eine Aufnahme, bevor er sagt, dass er fertig ist.

Computer use ist ein MCP-Server, den AgentsRoom Claude Code, Codex, Cursor und den anderen Agent-CLIs gibt. Ein Agent sieht ein Fenster einer App, die du erlaubt hast, als Bild samt der Liste seiner Schaltflächen und Felder, und handelt darin: klicken, tippen, eine Taste drücken, scrollen. Das funktioniert für die App, die du entwickelst, ein internes Tool oder einen anderen Browser als Chrome, unter macOS, Windows und Linux.

Screenshots

Echte Aufnahmen der App, ergänzt, wenn sich diese Funktion weiterentwickelt.

  • AgentsRoom Computer-Nutzungsseite erklärt, wie Agenten eine Desktop-App testen
    Eine neue Seite erklärt, wie Ihre Agenten ihre Arbeit in einer Desktop-App überprüfen.
Computer use

Agent

Das neue Einstellungsfenster prüfen

App-Tools

  • app_launch
  • app_snapshot
  • app_click
  • app_type
QA-Agent steuert Meine Electron-AppStopp
Meine Electron-App

Ein Coding-Agent schreibt in ein paar Minuten ein neues Fenster für deine Electron-App, eine native macOS-Ansicht oder ein Windows-Formular. Es zu prüfen bleibt deine Aufgabe: bauen, die App öffnen, sich durch den Bildschirm klicken, den Button bemerken, der nichts tut, und ihn dann dem Agenten beschreiben.

Web-Apps haben Browser-Tools, mobile Apps haben Simulatoren. Eine Desktop-App hat weder ein CLI noch eine API, über die man sie testen könnte. Das Computer use, das manche KI-Anbieter mitliefern, funktioniert nur mit ihrem eigenen Agenten und meist auf deinem ganzen Bildschirm.

AgentsRoom liefert Computer use für jedes Agent-CLI. Du wählst, welche Apps eines Projekts gesteuert werden dürfen, und nur diese. Der Agent sieht immer nur ein Fenster, jede Aktion erscheint in seiner Konsole, und ein Banner mit einer Stopp-Schaltfläche bleibt sichtbar, solange er arbeitet.

Was deine Agenten in einer Desktop-App tun können

Die Prüfungen, die du nach jeder Änderung von Hand machst, erledigt von dem Agenten, der sie vorgenommen hat.

Die richtige App öffnen

Der Agent listet die Apps auf, die für das Projekt auf diesem Computer erlaubt sind, ob sie laufen oder nicht, öffnet eine davon oder holt sie nach vorne und wählt das Fenster, das er braucht.

Ein Fenster sehen

Er bekommt ein Bild des Fensters und die Liste seiner Schaltflächen, Felder und Menüs mit ihren Namen. Nie deinen ganzen Bildschirm, nie eine andere App.

Klicken, tippen, scrollen

Er klickt auf eine Schaltfläche, tippt in ein Feld, drückt eine Taste mit Modifikatortasten und scrollt durch eine Liste, dann schaut er erneut hin, um das Ergebnis zu prüfen.

Deine Maus bleibt deine

Ein Klick auf eine benannte Schaltfläche läuft über die Bedienungshilfen des Systems: Dein Zeiger bewegt sich nicht und du arbeitest weiter. Nur ein Klick auf eine Position übernimmt die Maus, und er wartet, bis du sie nicht mehr benutzt.

Nur die Apps auf deiner Liste

Jedes Projekt hat seine eigene App-Liste, anfangs leer. Steht keine App darauf, kann kein Agent etwas steuern. Ein Agent kann eine App oder seinen eigenen Zugriff entfernen, aber nie etwas hinzufügen.

Immer sichtbar, immer stoppbar

Ein Banner zeigt, welcher Agent welche App steuert, mit einer Stopp-Schaltfläche. Ein globales Tastenkürzel (Ctrl+Alt+Shift+Esc) stoppt alle Agenten auf einmal, und jede Aktion wird in der Konsole des Agenten festgehalten.

So funktioniert es

Füge die App einmal hinzu, dann übernimmt der Agent das Prüfen.

  1. 1

    Die App zum Projekt hinzufügen

    Öffne Projekteinstellungen > Fähigkeiten > Computer use und klicke auf Hinzufügen: Wähle eine geöffnete App, eine installierte App oder eine ausführbare Datei im Projektordner, etwa deinen Electron-Build.

  2. 2

    Dem Computer die Berechtigungen geben

    Erlaube unter macOS AgentsRoom App Control in Systemeinstellungen > Datenschutz & Sicherheit > Bedienungshilfen und Bildschirmaufnahme. AgentsRoom öffnet dir den richtigen Bereich. Unter Windows muss nichts erteilt werden.

  3. 3

    Um eine Prüfung bitten

    Bitte den Agenten, seine Änderung in der App zu prüfen. Er öffnet die App, schaut sich das Fenster an, klickt und tippt wie ein Tester, korrigiert seinen Code, wenn etwas nicht stimmt, und schickt dir dann eine Aufnahme des Ergebnisses.

  4. 4

    Zuschauen oder stoppen

    Das Banner zeigt den Agenten bei der Arbeit, der Chip Computer use in der unteren Leiste zeigt, wer was steuert, und Tests > Computer use zeigt die letzte Aufnahme und die letzten Aktionen. Stopp beendet alles sofort.

Wer entscheidet, und wie man es abschaltet

Computer use ist standardmäßig für jeden Agenten an, aber die eigentliche Schranke ist die App-Liste jedes Projekts, die leer beginnt. Solange du keine App hinzufügst, kann kein Agent etwas steuern.

Du kannst es für das ganze Konto in Einstellungen > Computer use abschalten, für ein Projekt in Projekteinstellungen > Fähigkeiten > Computer use (Dem Konto folgen, An oder Aus) oder für einen Agenten in Agent bearbeiten > Fähigkeiten. Nur du kannst es einschalten: Ein Agent kann nur seinen eigenen Zugriff abschalten.

Geplante Agenten und Webhook-Agenten können es ebenfalls nutzen, mit demselben Banner und derselben Stopp-Schaltfläche, sodass du einen nächtlichen Lauf vom Handy aus stoppen kannst. Ein Lauf, der mit öffentlichen Inhalten gefüttert wird, etwa dem Pull Request eines Fremden, bekommt es nie.

Grenzen

  • Manche Apps werden nie gesteuert, auch wenn du sie hinzufügst: Systemeinstellungen, Passwortmanager, der Schlüsselbund oder die Anmeldeinformationsverwaltung, Anmelde- und Berechtigungsdialoge des Systems sowie AgentsRoom selbst.
  • Agenten tippen nie Zugangsdaten: Passwortfelder werden verweigert.
  • Ein Fenster nach dem anderen: kein ganzer Bildschirm und kein Drag-and-Drop. Pro App steuert nur ein Agent gleichzeitig, und nur ein Agent gleichzeitig nutzt die Maus.
  • Linux: Es braucht eine X11- oder XWayland-Sitzung. Nativ unter Wayland gezeichnete Apps können nicht gesteuert werden. Windows: Eine als Administrator gestartete App kann nicht gesteuert werden.
  • Gesperrte Sitzung oder schlafender Bildschirm: Es wird nichts gesteuert und der Agent erfährt, warum. Ein geplanter Agent braucht nachts einen entsperrten Computer.
  • Agenten, die auf einem SSH-Host laufen, können die Apps deines Computers nicht steuern.
  • Nicht auf dem Handy: Die mobile App zeigt, welcher Agent welche App steuert, mit Stopp, erteilt aber nie Zugriff, ändert nie die Liste und zeigt keine Aufnahmen.

Häufige Fragen

Frag uns etwas anderes
Kann Claude Code mit Computer use meine Desktop-App testen?
Ja. Füge deine App in AgentsRoom unter Projekteinstellungen > Fähigkeiten > Computer use zur Liste des Projekts hinzu. Dein Claude-Code-Agent bekommt dann die App-Tools: Er öffnet die App, schaut sich ein Fenster an, klickt, tippt und schickt dir eine Aufnahme. Er ist dabei nicht auf das Computer use von Anthropic angewiesen, deshalb funktioniert es genauso mit deinen anderen Agenten.
Gibt es Computer use für Codex, Cursor und die anderen CLIs?
Ja, dasselbe. Computer use in AgentsRoom ist ein MCP-Server, den jedes Agent-CLI bekommt, das die Tools von AgentsRoom erhält: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity und die anderen. Pro CLI ist nichts einzurichten. Aider hat keinen MCP-Client, und Hermes Agent, Goose, Qwen Code, Kiro und Rovo Dev, im November 2026 hinzugekommen, bekommen die Tools von AgentsRoom noch nicht.
Funktioniert es unter Windows und Linux?
Ja. Unter Windows muss nichts erteilt werden. Unter Linux braucht es eine X11- oder XWayland-Sitzung; nativ unter Wayland gezeichnete Apps können nicht gesteuert werden, und Schaltflächen werden über ihren Namen gelesen, wenn der Accessibility-Bus (AT-SPI) aktiv ist, sonst klickt der Agent auf eine Position. Unter macOS erteilst du AgentsRoom App Control zwei Berechtigungen.
Kann ein Agent meinen ganzen Computer übernehmen?
Nein. Er sieht und steuert nur die Apps auf der Liste des Projekts, ein Fenster nach dem anderen. Systemeinstellungen, Passwortmanager, der Schlüsselbund, Anmeldedialoge und AgentsRoom selbst bleiben gesperrt, auch wenn du sie hinzufügst, und Passwortfelder werden ebenfalls verweigert. Jede Aktion erscheint im Banner und in der Konsole des Agenten.
Bewegt der Agent meine Maus, während ich arbeite?
Meistens nicht. Ein Klick auf eine benannte Schaltfläche läuft über die Bedienungshilfen des Systems, sodass sich dein Zeiger nicht bewegt und die App nicht in den Vordergrund springt. Nur ein Klick auf eine Position übernimmt die Maus, und er wartet, bis du Maus und Tastatur nicht mehr benutzt.
Wie stoppe ich einen Agenten, der eine App steuert?
Klicke auf Stopp im Banner, in der Konsole des Agenten, im Chip Computer use der unteren Leiste oder in Tests > Computer use, oder drücke Ctrl+Alt+Shift+Esc, das alle Agenten auf einmal stoppt. Der Agent bleibt gestoppt, bis du auf Wieder erlauben klickst oder seine Konsole neu startest. Auf deinem Handy hat die Leiste oben ebenfalls eine Stopp-Schaltfläche.
Warum fragt macOS nach AgentsRoom App Control und nicht nach AgentsRoom?
Die beiden Berechtigungen, Bedienungshilfen und Bildschirmaufnahme, gehen an ein separates Hilfsprogramm. So erbt ein Befehl, den ein Agent in seinem Terminal ausführt, sie nicht. Ab macOS 15 kann das System von Zeit zu Zeit erneut nach der Bildschirmaufnahme fragen.
Kann ich die Electron-App testen, die ich gerade entwickle?
Ja. Wähle in der App-Liste App dieses Projekts und dann die ausführbare Datei deines Builds im Projektordner. Der Agent kann dann neu bauen, die neue Version öffnen und die Änderung prüfen. Das funktioniert auch für eine native App, ein internes Tool oder einen anderen Browser als Chrome.
Kann ein geplanter Agent nachts Computer use nutzen?
Ja, wie jeder Agent, mit demselben Banner und derselben Stopp-Schaltfläche, und das Handy zeigt, welche App er steuert. Der Computer muss entsperrt bleiben, denn in einer gesperrten Sitzung wird nichts gesteuert. Ein Lauf, der mit öffentlichen Inhalten gefüttert wird, bekommt nie Computer use.
Was ist der Unterschied zur Browser-Automatisierung?
Die Browser-Automatisierung steuert Webseiten im in AgentsRoom eingebauten Browser oder in deinem eigenen Chrome, über Seiten-Tools. Computer use ist für Apps, die keine Webseiten sind: eine Desktop-App, ein natives Tool, ein Fenster ohne API. Simulatoren und Emulatoren haben ebenfalls ihre eigenen Tools.

Mehr zum Thema

Das könnte dich auch interessieren

Lass den Agenten seine eigenen Fenster prüfen.

Computer use steckt in AgentsRoom, unter macOS, Windows und Linux, für jedes Agent-CLI. Du entscheidest, welche Apps.

AgentsRoom herunterladenKostenlos

Companion-App: Agenten auch unterwegs im Blick behalten

Nutze Claude, Codex, Antigravity CLI oder einen anderen KI-Anbieter.

Bugs und Wünsche direkt in dein öffentliches Backlog schicken.