Computer use

Vos agents IA testent l'app du bureau
qu'ils viennent de construire

Votre agent a modifié la fenêtre de réglages de votre app Electron, mais il ne l'a jamais ouverte. Avec Computer use dans AgentsRoom, il lance l'app, regarde la fenêtre, clique dedans et vous envoie une capture avant de dire qu'il a fini.

Computer use est un serveur MCP qu'AgentsRoom donne à Claude Code, Codex, Cursor et aux autres CLI d'agent. Un agent voit une fenêtre d'une app que vous avez autorisée, sous forme d'image accompagnée de la liste de ses boutons et de ses champs, et y agit : clic, saisie, touche, défilement. Cela marche pour l'app que vous développez, un outil interne ou un navigateur autre que Chrome, sur macOS, Windows et Linux.

Captures d'écran

De vraies captures de l'application, ajoutées au fil des évolutions de cette fonctionnalité.

  • Page d'utilisation de l'ordinateur AgentsRoom expliquant comment les agents testent une app desktop
    Une nouvelle page explique comment vos agents vérifient leur travail dans une app desktop.
Computer use

Agent

Vérifier la nouvelle fenêtre de réglages

Outils d'app

  • app_launch
  • app_snapshot
  • app_click
  • app_type
L'agent QA pilote Mon app ElectronArrêter
Mon app Electron

Un agent de code écrit en quelques minutes une nouvelle fenêtre pour votre app Electron, une vue macOS native ou un formulaire Windows. La vérification reste votre travail : compiler, ouvrir l'app, cliquer dans l'écran, remarquer le bouton qui ne fait rien, puis le décrire à l'agent.

Les apps web ont des outils de navigateur, les apps mobiles ont des simulateurs. Une app du bureau n'a ni CLI ni API par où la tester. Le computer use que proposent certains fournisseurs d'IA ne marche qu'avec leur propre agent, et le plus souvent sur tout votre écran.

AgentsRoom apporte Computer use à tous les CLI d'agent. Vous choisissez quelles apps d'un projet peuvent être pilotées, et seulement celles-là. L'agent voit une fenêtre à la fois, chaque action s'affiche dans sa console, et un bandeau avec un bouton Arrêter reste à l'écran tant qu'il travaille.

Ce que vos agents peuvent faire dans une app du bureau

Les vérifications que vous faites à la main après chaque changement, faites par l'agent qui l'a écrit.

Ouvrir la bonne app

L'agent liste les apps autorisées pour le projet sur cet ordinateur, lancées ou non, en ouvre une ou la passe au premier plan, et choisit la fenêtre dont il a besoin.

Voir une fenêtre

Il reçoit une image de la fenêtre et la liste de ses boutons, champs et menus avec leurs noms. Jamais tout votre écran, jamais une autre app.

Cliquer, taper, faire défiler

Il clique sur un bouton, tape dans un champ, appuie sur une touche avec ses modificateurs et fait défiler une liste, puis regarde de nouveau pour vérifier le résultat.

Votre souris reste à vous

Un clic sur un bouton nommé passe par l'accessibilité du système : votre pointeur ne bouge pas et vous continuez à travailler. Seul un clic à une position prend la souris, et il attend que vous ne vous en serviez plus.

Seulement les apps de votre liste

Chaque projet a sa propre liste d'apps, vide au départ. Sans app dans la liste, aucun agent ne peut rien piloter. Un agent peut retirer une app ou son propre accès, jamais en ajouter.

Toujours visible, toujours arrêtable

Un bandeau dit quel agent pilote quelle app, avec un bouton Arrêter. Un raccourci global (Ctrl+Alt+Shift+Échap) arrête tous les agents d'un coup, et chaque action est écrite dans la console de l'agent.

Comment ça marche

Ajoutez l'app une fois, puis laissez l'agent vérifier.

  1. 1

    Ajoutez l'app au projet

    Ouvrez Réglages du projet > Capacités > Computer use et cliquez sur Ajouter : choisissez une app ouverte, une app installée, ou un exécutable du dossier du projet, comme votre build Electron.

  2. 2

    Donnez ses permissions à l'ordinateur

    Sur macOS, autorisez AgentsRoom App Control dans Réglages Système > Confidentialité et sécurité > Accessibilité et Enregistrement de l'écran. AgentsRoom ouvre le bon panneau pour vous. Sur Windows, rien à accorder.

  3. 3

    Demandez une vérification

    Demandez à l'agent de vérifier son changement dans l'app. Il ouvre l'app, regarde la fenêtre, clique et tape comme un testeur, corrige son code quand quelque chose ne va pas, puis vous envoie une capture du résultat.

  4. 4

    Suivez-le, ou arrêtez-le

    Le bandeau montre l'agent au travail, la puce Computer use de la barre du bas liste qui pilote quoi, et Tests > Computer use montre la dernière capture et les dernières actions. Arrêter y met fin tout de suite.

Qui décide, et comment le couper

Computer use est activé par défaut pour tous les agents, mais le vrai garde-fou est la liste d'apps de chaque projet, vide au départ. Tant que vous n'ajoutez pas d'app, aucun agent ne peut rien piloter.

Vous pouvez le couper pour tout le compte dans Réglages > Computer use, pour un projet dans Réglages du projet > Capacités > Computer use (Suivre le compte, Activé ou Désactivé), ou pour un agent dans Modifier l'agent > Capacités. Vous seul pouvez l'activer : un agent peut seulement couper son propre accès.

Les agents programmés et les webhooks peuvent aussi s'en servir, avec le même bandeau et le même bouton Arrêter : vous pouvez arrêter un run de nuit depuis votre téléphone. Un run nourri de contenu public, comme la pull request d'un inconnu, n'y a jamais droit.

Limites

  • Certaines apps ne sont jamais pilotées, même si vous les ajoutez : les réglages du système, les gestionnaires de mots de passe, le trousseau ou le gestionnaire d'identifiants, les fenêtres de connexion et de permission du système, et AgentsRoom lui-même.
  • Les agents ne tapent jamais d'identifiants : les champs mot de passe sont refusés.
  • Une fenêtre à la fois : pas d'écran entier et pas de glisser-déposer. Un seul agent à la fois par app, et un seul agent à la fois sur la souris.
  • Linux : il faut une session X11 ou XWayland. Les apps dessinées nativement sous Wayland ne peuvent pas être pilotées. Windows : une app lancée en administrateur ne peut pas être pilotée.
  • Session verrouillée ou écran en veille : rien n'est piloté et l'agent sait pourquoi. Un agent programmé la nuit a besoin d'un ordinateur déverrouillé.
  • Les agents qui tournent sur un hôte SSH ne peuvent pas piloter les apps de votre ordinateur.
  • Pas sur le téléphone : l'app mobile montre quel agent pilote quelle app, avec Arrêter, mais n'accorde jamais l'accès, ne modifie pas la liste et ne montre pas les captures.

Questions fréquentes

Posez-nous une autre question
Claude Code peut-il utiliser computer use pour tester mon app du bureau ?
Oui. Dans AgentsRoom, ajoutez votre app à la liste du projet dans Réglages du projet > Capacités > Computer use. Votre agent Claude Code reçoit alors les outils d'app : il ouvre l'app, regarde une fenêtre, clique, tape et vous envoie une capture. Il ne dépend pas du computer use d'Anthropic, et marche donc de la même façon avec vos autres agents.
Existe-t-il un computer use pour Codex, Cursor et les autres CLI ?
Oui, le même. Computer use dans AgentsRoom est un serveur MCP, donné à chaque CLI d'agent qui reçoit les outils d'AgentsRoom : Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity et les autres. Rien à configurer par CLI. Aider n'a pas de client MCP, et Hermes Agent, Goose, Qwen Code, Kiro et Rovo Dev, ajoutés en novembre 2026, ne reçoivent pas encore les outils d'AgentsRoom.
Est-ce que ça marche sur Windows et Linux ?
Oui. Sur Windows, rien à accorder. Sur Linux, il faut une session X11 ou XWayland ; les apps dessinées nativement sous Wayland ne peuvent pas être pilotées, et les boutons sont lus par leur nom quand le bus d'accessibilité (AT-SPI) est actif, sinon l'agent clique par position. Sur macOS, vous donnez deux permissions à AgentsRoom App Control.
Un agent peut-il prendre le contrôle de tout mon ordinateur ?
Non. Il ne voit et ne pilote que les apps de la liste du projet, une fenêtre à la fois. Les réglages du système, les gestionnaires de mots de passe, le trousseau, les fenêtres de connexion et AgentsRoom lui-même restent refusés même si vous les ajoutez, et les champs mot de passe aussi. Chaque action s'affiche dans le bandeau et dans la console de l'agent.
L'agent va-t-il bouger ma souris pendant que je travaille ?
La plupart du temps, non. Un clic sur un bouton nommé passe par l'accessibilité du système : votre pointeur ne bouge pas et l'app ne passe pas au premier plan. Seul un clic à une position prend la souris, et il attend que vous ne vous serviez plus de la souris ni du clavier.
Comment arrêter un agent qui pilote une app ?
Cliquez sur Arrêter dans le bandeau, dans la console de l'agent, dans la puce Computer use de la barre du bas ou dans Tests > Computer use, ou appuyez sur Ctrl+Alt+Shift+Échap, qui arrête tous les agents d'un coup. L'agent reste arrêté jusqu'à ce que vous cliquiez sur Autoriser à nouveau ou que vous relanciez sa console. Depuis votre téléphone, la barre du haut a aussi un bouton Arrêter.
Pourquoi macOS demande-t-il AgentsRoom App Control et pas AgentsRoom ?
Les deux permissions, Accessibilité et Enregistrement de l'écran, vont à un assistant séparé. Ainsi, une commande qu'un agent lance dans son terminal n'en hérite pas. macOS 15 et suivants peuvent redemander l'Enregistrement de l'écran de temps en temps.
Puis-je tester l'app Electron que je développe ?
Oui. Dans la liste d'apps, choisissez App de ce projet et sélectionnez l'exécutable de votre build dans le dossier du projet. L'agent peut alors recompiler, ouvrir la nouvelle version et vérifier son changement. Cela marche aussi pour une app native, un outil interne ou un navigateur autre que Chrome.
Un agent programmé peut-il utiliser computer use la nuit ?
Oui, comme tout agent, avec le même bandeau et le même bouton Arrêter, et le téléphone montre quelle app il pilote. L'ordinateur doit rester déverrouillé, car rien n'est piloté sur une session verrouillée. Un run nourri de contenu public n'a jamais Computer use.
Quelle différence avec l'automatisation du navigateur ?
L'automatisation du navigateur pilote des pages web dans le navigateur intégré à AgentsRoom ou dans votre propre Chrome, avec des outils de page. Computer use sert aux apps qui ne sont pas des pages web : une app du bureau, un outil natif, une fenêtre sans API. Les simulateurs et les émulateurs ont aussi leurs propres outils.

Pour aller plus loin

Vous aimerez aussi

Laissez l'agent vérifier ses propres fenêtres.

Computer use est dans AgentsRoom sur macOS, Windows et Linux, pour tous les CLI d'agent. Vous décidez quelles apps.

Télécharger AgentsRoomGratuit

App companion : suivez vos agents en déplacement

Utilisez Claude, Codex, Antigravity CLI ou un autre fournisseur IA.

Remontez bugs et demandes directement dans votre backlog public.