Vos agents IA testent l'app du bureau
qu'ils viennent de construire
Votre agent a modifié la fenêtre de réglages de votre app Electron, mais il ne l'a jamais ouverte. Avec Computer use dans AgentsRoom, il lance l'app, regarde la fenêtre, clique dedans et vous envoie une capture avant de dire qu'il a fini.
Computer use est un serveur MCP qu'AgentsRoom donne à Claude Code, Codex, Cursor et aux autres CLI d'agent. Un agent voit une fenêtre d'une app que vous avez autorisée, sous forme d'image accompagnée de la liste de ses boutons et de ses champs, et y agit : clic, saisie, touche, défilement. Cela marche pour l'app que vous développez, un outil interne ou un navigateur autre que Chrome, sur macOS, Windows et Linux.
Captures d'écran
De vraies captures de l'application, ajoutées au fil des évolutions de cette fonctionnalité.
Agent
Outils d'app
- app_launch
- app_snapshot
- app_click
- app_type
Un agent de code écrit en quelques minutes une nouvelle fenêtre pour votre app Electron, une vue macOS native ou un formulaire Windows. La vérification reste votre travail : compiler, ouvrir l'app, cliquer dans l'écran, remarquer le bouton qui ne fait rien, puis le décrire à l'agent.
Les apps web ont des outils de navigateur, les apps mobiles ont des simulateurs. Une app du bureau n'a ni CLI ni API par où la tester. Le computer use que proposent certains fournisseurs d'IA ne marche qu'avec leur propre agent, et le plus souvent sur tout votre écran.
AgentsRoom apporte Computer use à tous les CLI d'agent. Vous choisissez quelles apps d'un projet peuvent être pilotées, et seulement celles-là. L'agent voit une fenêtre à la fois, chaque action s'affiche dans sa console, et un bandeau avec un bouton Arrêter reste à l'écran tant qu'il travaille.
Ce que vos agents peuvent faire dans une app du bureau
Les vérifications que vous faites à la main après chaque changement, faites par l'agent qui l'a écrit.
Ouvrir la bonne app
L'agent liste les apps autorisées pour le projet sur cet ordinateur, lancées ou non, en ouvre une ou la passe au premier plan, et choisit la fenêtre dont il a besoin.
Voir une fenêtre
Il reçoit une image de la fenêtre et la liste de ses boutons, champs et menus avec leurs noms. Jamais tout votre écran, jamais une autre app.
Cliquer, taper, faire défiler
Il clique sur un bouton, tape dans un champ, appuie sur une touche avec ses modificateurs et fait défiler une liste, puis regarde de nouveau pour vérifier le résultat.
Votre souris reste à vous
Un clic sur un bouton nommé passe par l'accessibilité du système : votre pointeur ne bouge pas et vous continuez à travailler. Seul un clic à une position prend la souris, et il attend que vous ne vous en serviez plus.
Seulement les apps de votre liste
Chaque projet a sa propre liste d'apps, vide au départ. Sans app dans la liste, aucun agent ne peut rien piloter. Un agent peut retirer une app ou son propre accès, jamais en ajouter.
Toujours visible, toujours arrêtable
Un bandeau dit quel agent pilote quelle app, avec un bouton Arrêter. Un raccourci global (Ctrl+Alt+Shift+Échap) arrête tous les agents d'un coup, et chaque action est écrite dans la console de l'agent.
Comment ça marche
Ajoutez l'app une fois, puis laissez l'agent vérifier.
- 1
Ajoutez l'app au projet
Ouvrez Réglages du projet > Capacités > Computer use et cliquez sur Ajouter : choisissez une app ouverte, une app installée, ou un exécutable du dossier du projet, comme votre build Electron.
- 2
Donnez ses permissions à l'ordinateur
Sur macOS, autorisez AgentsRoom App Control dans Réglages Système > Confidentialité et sécurité > Accessibilité et Enregistrement de l'écran. AgentsRoom ouvre le bon panneau pour vous. Sur Windows, rien à accorder.
- 3
Demandez une vérification
Demandez à l'agent de vérifier son changement dans l'app. Il ouvre l'app, regarde la fenêtre, clique et tape comme un testeur, corrige son code quand quelque chose ne va pas, puis vous envoie une capture du résultat.
- 4
Suivez-le, ou arrêtez-le
Le bandeau montre l'agent au travail, la puce Computer use de la barre du bas liste qui pilote quoi, et Tests > Computer use montre la dernière capture et les dernières actions. Arrêter y met fin tout de suite.
Qui décide, et comment le couper
Computer use est activé par défaut pour tous les agents, mais le vrai garde-fou est la liste d'apps de chaque projet, vide au départ. Tant que vous n'ajoutez pas d'app, aucun agent ne peut rien piloter.
Vous pouvez le couper pour tout le compte dans Réglages > Computer use, pour un projet dans Réglages du projet > Capacités > Computer use (Suivre le compte, Activé ou Désactivé), ou pour un agent dans Modifier l'agent > Capacités. Vous seul pouvez l'activer : un agent peut seulement couper son propre accès.
Les agents programmés et les webhooks peuvent aussi s'en servir, avec le même bandeau et le même bouton Arrêter : vous pouvez arrêter un run de nuit depuis votre téléphone. Un run nourri de contenu public, comme la pull request d'un inconnu, n'y a jamais droit.
Limites
- Certaines apps ne sont jamais pilotées, même si vous les ajoutez : les réglages du système, les gestionnaires de mots de passe, le trousseau ou le gestionnaire d'identifiants, les fenêtres de connexion et de permission du système, et AgentsRoom lui-même.
- Les agents ne tapent jamais d'identifiants : les champs mot de passe sont refusés.
- Une fenêtre à la fois : pas d'écran entier et pas de glisser-déposer. Un seul agent à la fois par app, et un seul agent à la fois sur la souris.
- Linux : il faut une session X11 ou XWayland. Les apps dessinées nativement sous Wayland ne peuvent pas être pilotées. Windows : une app lancée en administrateur ne peut pas être pilotée.
- Session verrouillée ou écran en veille : rien n'est piloté et l'agent sait pourquoi. Un agent programmé la nuit a besoin d'un ordinateur déverrouillé.
- Les agents qui tournent sur un hôte SSH ne peuvent pas piloter les apps de votre ordinateur.
- Pas sur le téléphone : l'app mobile montre quel agent pilote quelle app, avec Arrêter, mais n'accorde jamais l'accès, ne modifie pas la liste et ne montre pas les captures.
Questions fréquentes
Posez-nous une autre questionClaude Code peut-il utiliser computer use pour tester mon app du bureau ?
Existe-t-il un computer use pour Codex, Cursor et les autres CLI ?
Est-ce que ça marche sur Windows et Linux ?
Un agent peut-il prendre le contrôle de tout mon ordinateur ?
L'agent va-t-il bouger ma souris pendant que je travaille ?
Comment arrêter un agent qui pilote une app ?
Pourquoi macOS demande-t-il AgentsRoom App Control et pas AgentsRoom ?
Puis-je tester l'app Electron que je développe ?
Un agent programmé peut-il utiliser computer use la nuit ?
Quelle différence avec l'automatisation du navigateur ?
Pour aller plus loin
Les loops d'agents IA : comment un agent de code s'auto-corrige tout seul
Un loop d'agent IA transforme le prompt-et-corrige en un cycle auto-correcteur : l'agent écrit un plan, le construit, vérifie son propre travail face au plan, et boucle jusqu'à ce que ce soit fini. Comment le loop marche dans Claude Code, Codex, Antigravity CLI, Cursor et le Ralph loop.
Réduire la consommation de tokens des outils MCP : comment on a allégé nos définitions de 60 %
Chaque outil MCP que ton agent peut appeler est un bloc de JSON que le modèle peut relire à chaque requête. Les nôtres pesaient environ 95 000 tokens. Comment mesurer les tiens en deux minutes, ce qu'on a coupé sans retirer un seul outil, et le contrôle de budget qui l'empêche de regrossir.
Vous aimerez aussi
Browser MCP • Chromium intégré • QA piloté par agent
Votre agent QA ouvre un vrai Chromium sur votre localhost, clique, saisit, capture, lit la console et confirme que la fonctionnalité marche. Sans configurer Playwright.
Simulateur iOS et émulateur Android
Laissez Claude Code, Codex ou Cursor tester votre app mobile sur un simulateur iOS ou un émulateur Android : installation, gestes, saisie, captures d'écran et logs.
Délégation d'agent : dev vers QA : modèle moins cher sur le test
Votre agent dev confie l'exécution des tests à un agent QA moins cher via MCP. Le modèle coûteux reste sur le code, la facture en tokens et le contexte restent légers.
Laissez l'agent vérifier ses propres fenêtres.
Computer use est dans AgentsRoom sur macOS, Windows et Linux, pour tous les CLI d'agent. Vous décidez quelles apps.
App companion : suivez vos agents en déplacement
Utilisez Claude, Codex, Antigravity CLI ou un autre fournisseur IA.
Remontez bugs et demandes directement dans votre backlog public.
