Je AI-agents testen de desktopapp
die ze net hebben gebouwd
Je agent heeft het instellingenvenster van je Electron-app aangepast, maar het nooit geopend. Met Computer use in AgentsRoom start hij de app, bekijkt het venster, klikt erdoorheen en stuurt je een screenshot voordat hij zegt dat hij klaar is.
Computer use is een MCP-server die AgentsRoom aan Claude Code, Codex, Cursor en de andere agent-CLI's geeft. Een agent ziet één venster van een app die je hebt toegestaan, als afbeelding plus de lijst van zijn knoppen en velden, en handelt erin: klikken, typen, een toets indrukken, scrollen. Het werkt voor de app die je bouwt, een intern hulpmiddel of een andere browser dan Chrome, op macOS, Windows en Linux.
Screenshots
Echte schermafbeeldingen van de app, toegevoegd naarmate deze functie zich ontwikkelt.
Agent
Apptools
- app_launch
- app_snapshot
- app_click
- app_type
Een coding-agent schrijft in een paar minuten een nieuw venster voor je Electron-app, een native macOS-weergave of een Windows-formulier. Controleren blijft jouw werk: bouwen, de app openen, door het scherm klikken, de knop vinden die niets doet en dat dan weer aan de agent uitleggen.
Webapps hebben browsertools, mobiele apps hebben simulators. Een desktopapp heeft geen CLI en geen API om hem mee te testen. De computer use die sommige AI-aanbieders bieden, werkt alleen met hun eigen agent, en meestal op je hele scherm.
AgentsRoom levert Computer use voor elke agent-CLI. Jij kiest welke apps van een project bediend mogen worden, en alleen die. De agent ziet één venster tegelijk, elke actie verschijnt in zijn console en zolang hij werkt, blijft er een banner met een Stop-knop op het scherm.
Wat je agents in een desktopapp kunnen doen
De controles die je na elke wijziging met de hand doet, gedaan door de agent die de wijziging maakte.
De juiste app openen
De agent ziet de apps die op deze computer voor het project zijn toegestaan, of ze nu draaien of niet, opent er een of haalt hem naar voren, en kiest het venster dat hij nodig heeft.
Eén venster zien
Hij krijgt een afbeelding van het venster en de lijst van zijn knoppen, velden en menu's met hun namen. Nooit je hele scherm, nooit een andere app.
Klikken, typen, scrollen
Hij klikt op een knop, typt in een veld, drukt een toets in met de bijbehorende modificatietoetsen en scrollt door een lijst, en kijkt daarna opnieuw om het resultaat te controleren.
Je muis blijft van jou
Een klik op een knop met een naam gaat via de toegankelijkheid van het systeem: je aanwijzer beweegt niet en je kunt gewoon doorwerken. Alleen een klik op een positie neemt de muis over, en die wacht tot je de muis niet meer gebruikt.
Alleen de apps op je lijst
Elk project heeft zijn eigen lijst met apps, die eerst leeg is. Zonder app op de lijst kan geen enkele agent iets bedienen. Een agent kan een app of zijn eigen toegang verwijderen, maar nooit iets toevoegen.
Altijd zichtbaar, altijd te stoppen
Een banner toont welke agent welke app bedient, met een Stop-knop. Een globale sneltoets (Ctrl+Alt+Shift+Esc) stopt alle agents tegelijk, en elke actie wordt in de console van de agent vastgelegd.
Hoe het werkt
Voeg de app één keer toe en laat het controleren aan de agent over.
- 1
Voeg de app toe aan het project
Open Projectinstellingen > Mogelijkheden > Computer use en klik op Toevoegen: kies een geopende app, een geïnstalleerde app of een uitvoerbaar bestand in de projectmap, zoals je Electron-build.
- 2
Geef de computer de toestemmingen
Sta op macOS AgentsRoom App Control toe in Systeeminstellingen > Privacy en beveiliging, onder Toegankelijkheid en Schermopname. AgentsRoom opent het juiste paneel voor je. Op Windows hoef je niets toe te staan.
- 3
Vraag om een controle
Vraag de agent zijn wijziging in de app te controleren. Hij opent de app, bekijkt het venster, klikt en typt als een tester, past zijn code aan als er iets mis is en stuurt je daarna een screenshot van het resultaat.
- 4
Kijk mee, of stop hem
De banner toont de agent aan het werk, de Computer use-chip in de onderbalk laat zien wie wat bedient, en Tests > Computer use toont de laatste screenshot en acties. Stop beëindigt het meteen.
Wie beslist, en hoe zet je het uit
Computer use staat standaard aan voor elke agent, maar de echte poort is de lijst met apps van elk project, die leeg begint. Zolang je geen app toevoegt, kan geen enkele agent iets bedienen.
Je zet het uit voor het hele account in Instellingen > Computer use, voor één project in Projectinstellingen > Mogelijkheden > Computer use (Het account volgen, Aan of Uit), of voor één agent in Agent bewerken > Mogelijkheden. Alleen jij kunt het aanzetten: een agent kan alleen zijn eigen toegang uitzetten.
Geplande agents en webhook-agents kunnen het ook gebruiken, met dezelfde banner en Stop-knop, zodat je een nachtelijke run vanaf je telefoon kunt stoppen. Een run die gevoed wordt door openbare inhoud, zoals een pull request van een onbekende, krijgt het nooit.
Beperkingen
- Sommige apps worden nooit bediend, ook niet als je ze toevoegt: systeeminstellingen, wachtwoordbeheerders, de sleutelhanger of het referentiebeheer, aanmeld- en toestemmingsvensters van het systeem, en AgentsRoom zelf.
- Agents typen nooit inloggegevens: wachtwoordvelden worden geweigerd.
- Eén venster tegelijk: geen heel scherm en geen slepen en neerzetten. Eén agent tegelijk per app, en één agent tegelijk op de muis.
- Linux: er is een X11- of XWayland-sessie nodig. Apps die native op Wayland worden getekend, kunnen niet worden bediend. Windows: een app die als administrator is gestart, kan niet worden bediend.
- Een vergrendelde sessie of een scherm in slaapstand: er wordt niets bediend en de agent hoort waarom. Een geplande agent heeft 's nachts een ontgrendelde computer nodig.
- Agents die op een SSH-host draaien, kunnen de apps van je computer niet bedienen.
- Niet op de telefoon: de mobiele app toont welke agent welke app bedient, met Stop, maar geeft nooit toegang, bewerkt de lijst niet en toont geen screenshots.
Veelgestelde vragen
Stel ons een andere vraagKan Claude Code computer use gebruiken om mijn desktopapp te testen?
Is er computer use voor Codex, Cursor en de andere CLI's?
Werkt het op Windows en Linux?
Kan een agent mijn hele computer overnemen?
Beweegt de agent mijn muis terwijl ik werk?
Hoe stop ik een agent die een app bedient?
Waarom vraagt macOS om AgentsRoom App Control en niet om AgentsRoom?
Kan ik de Electron-app testen die ik aan het bouwen ben?
Kan een geplande agent 's nachts computer use gebruiken?
Wat is het verschil met browserautomatisering?
Meer over dit onderwerp
AI Agent Lussen: Hoe Zelfcorrigerende Codingsagenten de Taak Voltooien
Een AI agent lus verandert prompt-en-fix in een zelfcorrigerende cyclus: de agent schrijft een plan, bouwt het, beoordeelt zijn eigen werk tegen het plan en blijft herhalen totdat het klaar is. Hoe de lus werkt in Claude Code, Codex, Antigravity CLI, Cursor en de Ralph lus.
MCP-tokengebruik verminderen: zo hebben we onze tooldefinities 60% kleiner gemaakt
Elke MCP-tool die je agent kan aanroepen is een blok JSON dat het model bij elk verzoek kan lezen. De onze wogen ongeveer 95.000 tokens. Zo meet je de jouwe in twee minuten, dit hebben we ingekort zonder één tool te verwijderen, en zo voorkomt een budgetcontrole dat ze weer groeien.
Misschien ook interessant
Browser MCP • Ingebouwde Chromium • Agent-gestuurde QA
Je QA-agent opent een echte Chromium op je localhost, klikt, typt, maakt schermafbeeldingen, leest de console en bevestigt dat de functie werkt. Geen Playwright-configuratie.
iOS-simulator en Android-emulator
Laat Claude Code, Codex of Cursor je mobiele app testen op een iOS-simulator of Android-emulator: build installeren, tikken, typen, screenshots maken, logs lezen.
Agentdelegatie: ontwikkeling naar QA: goedkoper model voor de test
Je ontwikkelagent geeft de testrun via MCP door aan een goedkopere QA-agent. Het dure model blijft bij de code, en zowel de tokenrekening als de context blijft klein.
Laat de agent zijn eigen vensters controleren.
Computer use zit in AgentsRoom op macOS, Windows en Linux, voor elke agent-CLI. Jij bepaalt welke apps.
Companion-app: houd je agents onderweg in de gaten
Breng je eigen: Claude, Codex, Antigravity CLI of andere AI-provider.
Stuur bugs en verzoeken direct naar je openbare backlog.
