Deine KI-Agenten testen die Desktop-App,
die sie gerade gebaut haben
Dein Agent hat das Einstellungsfenster deiner Electron-App geändert, es aber nie geöffnet. Mit Computer use in AgentsRoom startet er die App, schaut sich das Fenster an, klickt sich hindurch und schickt dir eine Aufnahme, bevor er sagt, dass er fertig ist.
Computer use ist ein MCP-Server, den AgentsRoom Claude Code, Codex, Cursor und den anderen Agent-CLIs gibt. Ein Agent sieht ein Fenster einer App, die du erlaubt hast, als Bild samt der Liste seiner Schaltflächen und Felder, und handelt darin: klicken, tippen, eine Taste drücken, scrollen. Das funktioniert für die App, die du entwickelst, ein internes Tool oder einen anderen Browser als Chrome, unter macOS, Windows und Linux.
Screenshots
Echte Aufnahmen der App, ergänzt, wenn sich diese Funktion weiterentwickelt.
Agent
App-Tools
- app_launch
- app_snapshot
- app_click
- app_type
Ein Coding-Agent schreibt in ein paar Minuten ein neues Fenster für deine Electron-App, eine native macOS-Ansicht oder ein Windows-Formular. Es zu prüfen bleibt deine Aufgabe: bauen, die App öffnen, sich durch den Bildschirm klicken, den Button bemerken, der nichts tut, und ihn dann dem Agenten beschreiben.
Web-Apps haben Browser-Tools, mobile Apps haben Simulatoren. Eine Desktop-App hat weder ein CLI noch eine API, über die man sie testen könnte. Das Computer use, das manche KI-Anbieter mitliefern, funktioniert nur mit ihrem eigenen Agenten und meist auf deinem ganzen Bildschirm.
AgentsRoom liefert Computer use für jedes Agent-CLI. Du wählst, welche Apps eines Projekts gesteuert werden dürfen, und nur diese. Der Agent sieht immer nur ein Fenster, jede Aktion erscheint in seiner Konsole, und ein Banner mit einer Stopp-Schaltfläche bleibt sichtbar, solange er arbeitet.
Was deine Agenten in einer Desktop-App tun können
Die Prüfungen, die du nach jeder Änderung von Hand machst, erledigt von dem Agenten, der sie vorgenommen hat.
Die richtige App öffnen
Der Agent listet die Apps auf, die für das Projekt auf diesem Computer erlaubt sind, ob sie laufen oder nicht, öffnet eine davon oder holt sie nach vorne und wählt das Fenster, das er braucht.
Ein Fenster sehen
Er bekommt ein Bild des Fensters und die Liste seiner Schaltflächen, Felder und Menüs mit ihren Namen. Nie deinen ganzen Bildschirm, nie eine andere App.
Klicken, tippen, scrollen
Er klickt auf eine Schaltfläche, tippt in ein Feld, drückt eine Taste mit Modifikatortasten und scrollt durch eine Liste, dann schaut er erneut hin, um das Ergebnis zu prüfen.
Deine Maus bleibt deine
Ein Klick auf eine benannte Schaltfläche läuft über die Bedienungshilfen des Systems: Dein Zeiger bewegt sich nicht und du arbeitest weiter. Nur ein Klick auf eine Position übernimmt die Maus, und er wartet, bis du sie nicht mehr benutzt.
Nur die Apps auf deiner Liste
Jedes Projekt hat seine eigene App-Liste, anfangs leer. Steht keine App darauf, kann kein Agent etwas steuern. Ein Agent kann eine App oder seinen eigenen Zugriff entfernen, aber nie etwas hinzufügen.
Immer sichtbar, immer stoppbar
Ein Banner zeigt, welcher Agent welche App steuert, mit einer Stopp-Schaltfläche. Ein globales Tastenkürzel (Ctrl+Alt+Shift+Esc) stoppt alle Agenten auf einmal, und jede Aktion wird in der Konsole des Agenten festgehalten.
So funktioniert es
Füge die App einmal hinzu, dann übernimmt der Agent das Prüfen.
- 1
Die App zum Projekt hinzufügen
Öffne Projekteinstellungen > Fähigkeiten > Computer use und klicke auf Hinzufügen: Wähle eine geöffnete App, eine installierte App oder eine ausführbare Datei im Projektordner, etwa deinen Electron-Build.
- 2
Dem Computer die Berechtigungen geben
Erlaube unter macOS AgentsRoom App Control in Systemeinstellungen > Datenschutz & Sicherheit > Bedienungshilfen und Bildschirmaufnahme. AgentsRoom öffnet dir den richtigen Bereich. Unter Windows muss nichts erteilt werden.
- 3
Um eine Prüfung bitten
Bitte den Agenten, seine Änderung in der App zu prüfen. Er öffnet die App, schaut sich das Fenster an, klickt und tippt wie ein Tester, korrigiert seinen Code, wenn etwas nicht stimmt, und schickt dir dann eine Aufnahme des Ergebnisses.
- 4
Zuschauen oder stoppen
Das Banner zeigt den Agenten bei der Arbeit, der Chip Computer use in der unteren Leiste zeigt, wer was steuert, und Tests > Computer use zeigt die letzte Aufnahme und die letzten Aktionen. Stopp beendet alles sofort.
Wer entscheidet, und wie man es abschaltet
Computer use ist standardmäßig für jeden Agenten an, aber die eigentliche Schranke ist die App-Liste jedes Projekts, die leer beginnt. Solange du keine App hinzufügst, kann kein Agent etwas steuern.
Du kannst es für das ganze Konto in Einstellungen > Computer use abschalten, für ein Projekt in Projekteinstellungen > Fähigkeiten > Computer use (Dem Konto folgen, An oder Aus) oder für einen Agenten in Agent bearbeiten > Fähigkeiten. Nur du kannst es einschalten: Ein Agent kann nur seinen eigenen Zugriff abschalten.
Geplante Agenten und Webhook-Agenten können es ebenfalls nutzen, mit demselben Banner und derselben Stopp-Schaltfläche, sodass du einen nächtlichen Lauf vom Handy aus stoppen kannst. Ein Lauf, der mit öffentlichen Inhalten gefüttert wird, etwa dem Pull Request eines Fremden, bekommt es nie.
Grenzen
- Manche Apps werden nie gesteuert, auch wenn du sie hinzufügst: Systemeinstellungen, Passwortmanager, der Schlüsselbund oder die Anmeldeinformationsverwaltung, Anmelde- und Berechtigungsdialoge des Systems sowie AgentsRoom selbst.
- Agenten tippen nie Zugangsdaten: Passwortfelder werden verweigert.
- Ein Fenster nach dem anderen: kein ganzer Bildschirm und kein Drag-and-Drop. Pro App steuert nur ein Agent gleichzeitig, und nur ein Agent gleichzeitig nutzt die Maus.
- Linux: Es braucht eine X11- oder XWayland-Sitzung. Nativ unter Wayland gezeichnete Apps können nicht gesteuert werden. Windows: Eine als Administrator gestartete App kann nicht gesteuert werden.
- Gesperrte Sitzung oder schlafender Bildschirm: Es wird nichts gesteuert und der Agent erfährt, warum. Ein geplanter Agent braucht nachts einen entsperrten Computer.
- Agenten, die auf einem SSH-Host laufen, können die Apps deines Computers nicht steuern.
- Nicht auf dem Handy: Die mobile App zeigt, welcher Agent welche App steuert, mit Stopp, erteilt aber nie Zugriff, ändert nie die Liste und zeigt keine Aufnahmen.
Häufige Fragen
Frag uns etwas anderesKann Claude Code mit Computer use meine Desktop-App testen?
Gibt es Computer use für Codex, Cursor und die anderen CLIs?
Funktioniert es unter Windows und Linux?
Kann ein Agent meinen ganzen Computer übernehmen?
Bewegt der Agent meine Maus, während ich arbeite?
Wie stoppe ich einen Agenten, der eine App steuert?
Warum fragt macOS nach AgentsRoom App Control und nicht nach AgentsRoom?
Kann ich die Electron-App testen, die ich gerade entwickle?
Kann ein geplanter Agent nachts Computer use nutzen?
Was ist der Unterschied zur Browser-Automatisierung?
AI Agent Loops: Wie sich selbst korrigierende Coding-Agents die Arbeit zu Ende bringen
Ein AI Agent Loop macht aus Prompten-und-Korrigieren einen selbstkorrigierenden Kreislauf: Der Agent schreibt einen Plan, baut ihn, prüft seine eigene Arbeit gegen den Plan und loopt, bis es fertig ist. Wie der Loop in Claude Code, Codex, Antigravity CLI, Cursor und beim Ralph loop funktioniert.
MCP-Tokenverbrauch reduzieren: Wie wir unsere Tool-Definitionen um 60 % gekürzt haben
Jedes MCP-Tool, das dein Agent aufrufen kann, ist ein JSON-Block, den das Modell bei jeder Anfrage lesen kann. Unsere wogen etwa 95.000 Tokens. So misst du deine in zwei Minuten, das haben wir gekürzt, ohne ein einziges Tool zu entfernen, und so verhindert eine Budget-Prüfung, dass sie wieder wachsen.
Das könnte dich auch interessieren
Browser MCP • eingebettetes Chromium • Agent-getriebene QA
Dein QA-Agent öffnet ein echtes Chromium auf localhost, klickt, tippt, macht Screenshots, liest die Konsole und bestätigt, dass das Feature läuft. Ohne Playwright-Setup.
iOS-Simulator und Android-Emulator
Lass Claude Code, Codex oder Cursor deine mobile App im iOS-Simulator oder Android-Emulator testen: Build installieren, tippen, schreiben, Screenshots, Logs lesen.
Agent-Delegation : Dev zu QA : günstigeres Modell auf dem Test
Dein Dev-Agent gibt den Testlauf über MCP an einen günstigeren QA-Agenten ab. Das teure Modell bleibt am Code, und Tokenrechnung wie Kontext bleiben klein.
Lass den Agenten seine eigenen Fenster prüfen.
Computer use steckt in AgentsRoom, unter macOS, Windows und Linux, für jedes Agent-CLI. Du entscheidest, welche Apps.
Companion-App: Agenten auch unterwegs im Blick behalten
Nutze Claude, Codex, Antigravity CLI oder einen anderen KI-Anbieter.
Bugs und Wünsche direkt in dein öffentliches Backlog schicken.
