Computer use

Je AI-agents testen de desktopapp
die ze net hebben gebouwd

Je agent heeft het instellingenvenster van je Electron-app aangepast, maar het nooit geopend. Met Computer use in AgentsRoom start hij de app, bekijkt het venster, klikt erdoorheen en stuurt je een screenshot voordat hij zegt dat hij klaar is.

Computer use is een MCP-server die AgentsRoom aan Claude Code, Codex, Cursor en de andere agent-CLI's geeft. Een agent ziet één venster van een app die je hebt toegestaan, als afbeelding plus de lijst van zijn knoppen en velden, en handelt erin: klikken, typen, een toets indrukken, scrollen. Het werkt voor de app die je bouwt, een intern hulpmiddel of een andere browser dan Chrome, op macOS, Windows en Linux.

Screenshots

Echte schermafbeeldingen van de app, toegevoegd naarmate deze functie zich ontwikkelt.

  • AgentsRoom Computer gebruikspagina die uitlegt hoe agents een desktop-app testen
    Een nieuwe pagina legt uit hoe je agents hun werk controleren in een desktop-app.
Computer use

Agent

Controleer het nieuwe instellingenvenster

Apptools

  • app_launch
  • app_snapshot
  • app_click
  • app_type
QA-agent bedient Mijn Electron-appStop
Mijn Electron-app

Een coding-agent schrijft in een paar minuten een nieuw venster voor je Electron-app, een native macOS-weergave of een Windows-formulier. Controleren blijft jouw werk: bouwen, de app openen, door het scherm klikken, de knop vinden die niets doet en dat dan weer aan de agent uitleggen.

Webapps hebben browsertools, mobiele apps hebben simulators. Een desktopapp heeft geen CLI en geen API om hem mee te testen. De computer use die sommige AI-aanbieders bieden, werkt alleen met hun eigen agent, en meestal op je hele scherm.

AgentsRoom levert Computer use voor elke agent-CLI. Jij kiest welke apps van een project bediend mogen worden, en alleen die. De agent ziet één venster tegelijk, elke actie verschijnt in zijn console en zolang hij werkt, blijft er een banner met een Stop-knop op het scherm.

Wat je agents in een desktopapp kunnen doen

De controles die je na elke wijziging met de hand doet, gedaan door de agent die de wijziging maakte.

De juiste app openen

De agent ziet de apps die op deze computer voor het project zijn toegestaan, of ze nu draaien of niet, opent er een of haalt hem naar voren, en kiest het venster dat hij nodig heeft.

Eén venster zien

Hij krijgt een afbeelding van het venster en de lijst van zijn knoppen, velden en menu's met hun namen. Nooit je hele scherm, nooit een andere app.

Klikken, typen, scrollen

Hij klikt op een knop, typt in een veld, drukt een toets in met de bijbehorende modificatietoetsen en scrollt door een lijst, en kijkt daarna opnieuw om het resultaat te controleren.

Je muis blijft van jou

Een klik op een knop met een naam gaat via de toegankelijkheid van het systeem: je aanwijzer beweegt niet en je kunt gewoon doorwerken. Alleen een klik op een positie neemt de muis over, en die wacht tot je de muis niet meer gebruikt.

Alleen de apps op je lijst

Elk project heeft zijn eigen lijst met apps, die eerst leeg is. Zonder app op de lijst kan geen enkele agent iets bedienen. Een agent kan een app of zijn eigen toegang verwijderen, maar nooit iets toevoegen.

Altijd zichtbaar, altijd te stoppen

Een banner toont welke agent welke app bedient, met een Stop-knop. Een globale sneltoets (Ctrl+Alt+Shift+Esc) stopt alle agents tegelijk, en elke actie wordt in de console van de agent vastgelegd.

Hoe het werkt

Voeg de app één keer toe en laat het controleren aan de agent over.

  1. 1

    Voeg de app toe aan het project

    Open Projectinstellingen > Mogelijkheden > Computer use en klik op Toevoegen: kies een geopende app, een geïnstalleerde app of een uitvoerbaar bestand in de projectmap, zoals je Electron-build.

  2. 2

    Geef de computer de toestemmingen

    Sta op macOS AgentsRoom App Control toe in Systeeminstellingen > Privacy en beveiliging, onder Toegankelijkheid en Schermopname. AgentsRoom opent het juiste paneel voor je. Op Windows hoef je niets toe te staan.

  3. 3

    Vraag om een controle

    Vraag de agent zijn wijziging in de app te controleren. Hij opent de app, bekijkt het venster, klikt en typt als een tester, past zijn code aan als er iets mis is en stuurt je daarna een screenshot van het resultaat.

  4. 4

    Kijk mee, of stop hem

    De banner toont de agent aan het werk, de Computer use-chip in de onderbalk laat zien wie wat bedient, en Tests > Computer use toont de laatste screenshot en acties. Stop beëindigt het meteen.

Wie beslist, en hoe zet je het uit

Computer use staat standaard aan voor elke agent, maar de echte poort is de lijst met apps van elk project, die leeg begint. Zolang je geen app toevoegt, kan geen enkele agent iets bedienen.

Je zet het uit voor het hele account in Instellingen > Computer use, voor één project in Projectinstellingen > Mogelijkheden > Computer use (Het account volgen, Aan of Uit), of voor één agent in Agent bewerken > Mogelijkheden. Alleen jij kunt het aanzetten: een agent kan alleen zijn eigen toegang uitzetten.

Geplande agents en webhook-agents kunnen het ook gebruiken, met dezelfde banner en Stop-knop, zodat je een nachtelijke run vanaf je telefoon kunt stoppen. Een run die gevoed wordt door openbare inhoud, zoals een pull request van een onbekende, krijgt het nooit.

Beperkingen

  • Sommige apps worden nooit bediend, ook niet als je ze toevoegt: systeeminstellingen, wachtwoordbeheerders, de sleutelhanger of het referentiebeheer, aanmeld- en toestemmingsvensters van het systeem, en AgentsRoom zelf.
  • Agents typen nooit inloggegevens: wachtwoordvelden worden geweigerd.
  • Eén venster tegelijk: geen heel scherm en geen slepen en neerzetten. Eén agent tegelijk per app, en één agent tegelijk op de muis.
  • Linux: er is een X11- of XWayland-sessie nodig. Apps die native op Wayland worden getekend, kunnen niet worden bediend. Windows: een app die als administrator is gestart, kan niet worden bediend.
  • Een vergrendelde sessie of een scherm in slaapstand: er wordt niets bediend en de agent hoort waarom. Een geplande agent heeft 's nachts een ontgrendelde computer nodig.
  • Agents die op een SSH-host draaien, kunnen de apps van je computer niet bedienen.
  • Niet op de telefoon: de mobiele app toont welke agent welke app bedient, met Stop, maar geeft nooit toegang, bewerkt de lijst niet en toont geen screenshots.

Veelgestelde vragen

Stel ons een andere vraag
Kan Claude Code computer use gebruiken om mijn desktopapp te testen?
Ja. Voeg in AgentsRoom je app toe aan de lijst van het project in Projectinstellingen > Mogelijkheden > Computer use. Je Claude Code-agent krijgt dan de apptools: hij opent de app, bekijkt één venster, klikt, typt en stuurt je een screenshot. Het leunt niet op de eigen computer use van Anthropic, dus het werkt op dezelfde manier met je andere agents.
Is er computer use voor Codex, Cursor en de andere CLI's?
Ja, dezelfde. Computer use in AgentsRoom is een MCP-server die elke agent-CLI krijgt die de tools van AgentsRoom ontvangt: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity en de andere. Per CLI hoef je niets in te stellen. Aider heeft geen MCP-client, en Hermes Agent, Goose, Qwen Code, Kiro en Rovo Dev, toegevoegd in november 2026, krijgen de tools van AgentsRoom nog niet.
Werkt het op Windows en Linux?
Ja. Op Windows hoef je niets toe te staan. Op Linux is een X11- of XWayland-sessie nodig; apps die native op Wayland worden getekend, kunnen niet worden bediend, en knoppen worden op naam gelezen als de toegankelijkheidsbus (AT-SPI) aan staat, anders klikt de agent op positie. Op macOS geef je AgentsRoom App Control twee toestemmingen.
Kan een agent mijn hele computer overnemen?
Nee. Hij ziet en bedient alleen de apps op de lijst van het project, één venster tegelijk. Systeeminstellingen, wachtwoordbeheerders, de sleutelhanger, aanmeldvensters en AgentsRoom zelf blijven geweigerd, ook als je ze toevoegt, en wachtwoordvelden worden ook geweigerd. Elke actie verschijnt in de banner en in de console van de agent.
Beweegt de agent mijn muis terwijl ik werk?
Meestal niet. Een klik op een knop met een naam gaat via de toegankelijkheid van het systeem, dus je aanwijzer beweegt niet en de app springt niet naar voren. Alleen een klik op een positie neemt de muis over, en die wacht tot je muis en toetsenbord niet meer gebruikt.
Hoe stop ik een agent die een app bedient?
Klik op Stop in de banner, in de console van de agent, in de Computer use-chip van de onderbalk of in Tests > Computer use, of druk op Ctrl+Alt+Shift+Esc, dat alle agents tegelijk stopt. De agent blijft gestopt tot je op Opnieuw toestaan klikt of zijn console herstart. Op je telefoon heeft de balk bovenaan ook een Stop-knop.
Waarom vraagt macOS om AgentsRoom App Control en niet om AgentsRoom?
De twee toestemmingen, Toegankelijkheid en Schermopname, gaan naar een apart hulpprogramma. Zo erft een commando dat een agent in zijn terminal uitvoert ze niet. macOS 15 en later kan af en toe opnieuw om Schermopname vragen.
Kan ik de Electron-app testen die ik aan het bouwen ben?
Ja. Kies in de lijst met apps App van dit project en selecteer het uitvoerbare bestand van je build in de projectmap. De agent kan dan opnieuw bouwen, de nieuwe versie openen en de wijziging controleren. Het werkt ook voor een native app, een intern hulpmiddel of een andere browser dan Chrome.
Kan een geplande agent 's nachts computer use gebruiken?
Ja, net als elke agent, met dezelfde banner en Stop-knop, en de telefoon laat zien welke app hij bedient. De computer moet ontgrendeld blijven, want in een vergrendelde sessie wordt niets bediend. Een run die gevoed wordt door openbare inhoud, krijgt nooit Computer use.
Wat is het verschil met browserautomatisering?
Browserautomatisering bedient webpagina's in de browser die in AgentsRoom is ingebouwd of in je eigen Chrome, via paginatools. Computer use is voor apps die geen webpagina zijn: een desktopapp, een native hulpmiddel, een venster zonder API. Simulators en emulators hebben ook hun eigen tools.

Meer over dit onderwerp

Misschien ook interessant

Laat de agent zijn eigen vensters controleren.

Computer use zit in AgentsRoom op macOS, Windows en Linux, voor elke agent-CLI. Jij bepaalt welke apps.

AgentsRoom downloadenGratis

Companion-app: houd je agents onderweg in de gaten

Breng je eigen: Claude, Codex, Antigravity CLI of andere AI-provider.

Stuur bugs en verzoeken direct naar je openbare backlog.