Computer use

I tuoi agenti IA testano l'app desktop
che hanno appena creato

Il tuo agente ha modificato la finestra delle impostazioni della tua app Electron, ma non l'ha mai aperta. Con Computer use in AgentsRoom avvia l'app, guarda la finestra, la percorre a colpi di clic e ti invia una cattura prima di dire che ha finito.

Computer use è un server MCP che AgentsRoom dà a Claude Code, Codex, Cursor e agli altri CLI di agenti. Un agente vede una finestra di un'app che hai autorizzato, come immagine più l'elenco dei suoi pulsanti e campi, e agisce al suo interno: clic, testo, un tasto, scorrimento. Funziona per l'app che stai sviluppando, uno strumento interno o un browser diverso da Chrome, su macOS, Windows e Linux.

Screenshot

Schermate reali dell'app, aggiunte man mano che questa funzione evolve.

  • Pagina di utilizzo di AgentsRoom Computer che spiega come gli agent testano un'app desktop
    Una nuova pagina spiega come i tuoi agent verificano il loro lavoro in un'app desktop.
Computer use

Agente

Controlla la nuova finestra delle impostazioni

Strumenti per le app

  • app_launch
  • app_snapshot
  • app_click
  • app_type
L'agente QA sta controllando La mia app ElectronFerma
La mia app Electron

Un agente di coding scrive in pochi minuti una nuova finestra per la tua app Electron, una view nativa macOS o un form Windows. Verificarla resta compito tuo: fare la build, aprire l'app, percorrere la schermata, accorgerti del pulsante che non fa nulla, poi descriverlo all'agente.

Le app web hanno gli strumenti del browser, le app mobile hanno i simulatori. Un'app desktop non ha né un CLI né un'API con cui testarla. Il computer use offerto da alcuni provider di IA funziona solo con il loro agente, e di solito su tutto lo schermo.

AgentsRoom porta Computer use a ogni CLI di agenti. Scegli quali app di un progetto possono essere pilotate, e solo quelle. L'agente vede una finestra alla volta, ogni azione compare nella sua console e un banner con un pulsante Ferma resta sullo schermo mentre lavora.

Cosa possono fare i tuoi agenti in un'app desktop

Le verifiche che fai a mano dopo ogni modifica, eseguite dall'agente che l'ha fatta.

Aprire l'app giusta

L'agente elenca le app autorizzate per il progetto su questo computer, aperte o no, ne apre una o la porta in primo piano e sceglie la finestra che gli serve.

Vedere una finestra

Riceve un'immagine della finestra e l'elenco dei suoi pulsanti, campi e menu con i loro nomi. Mai tutto lo schermo, mai un'altra app.

Cliccare, scrivere, scorrere

Clicca un pulsante, scrive in un campo, preme un tasto con i suoi modificatori e scorre un elenco, poi dà una nuova occhiata per verificare il risultato.

Il mouse resta tuo

Un clic su un pulsante con un nome passa dall'accessibilità del sistema: il puntatore non si muove e tu continui a lavorare. Solo un clic su una posizione prende il mouse, e aspetta che tu smetta di usarlo.

Solo le app che elenchi

Ogni progetto ha il proprio elenco di app, vuoto all'inizio. Senza un'app nell'elenco, nessun agente può pilotare nulla. Un agente può togliere un'app o il proprio accesso, mai aggiungerne uno.

Sempre in vista, sempre fermabile

Un banner indica quale agente pilota quale app, con un pulsante Ferma. Una scorciatoia globale (Ctrl+Alt+Shift+Esc) ferma tutti gli agenti in un colpo, e ogni azione viene scritta nella console dell'agente.

Come funziona

Aggiungi l'app una volta, poi la verifica la fa l'agente.

  1. 1

    Aggiungi l'app al progetto

    Apri Impostazioni del progetto > Capacità e autorizzazioni > Computer use e clicca Aggiungi: scegli un'app aperta, un'app installata o un eseguibile dentro la cartella del progetto, come la build della tua app Electron.

  2. 2

    Dai i permessi al computer

    Su macOS, autorizza AgentsRoom App Control in Impostazioni di Sistema > Privacy e sicurezza > Accessibilità e Registrazione schermo. AgentsRoom ti apre il pannello giusto. Su Windows non c'è nulla da concedere.

  3. 3

    Chiedi una verifica

    Chiedi all'agente di verificare la sua modifica nell'app. Apre l'app, guarda la finestra, clicca e scrive come un tester, corregge il codice quando qualcosa non va, poi ti invia una cattura del risultato.

  4. 4

    Guardalo o fermalo

    Il banner mostra l'agente al lavoro, il chip Computer use nella barra in basso elenca chi pilota cosa, e Test > Computer use mostra l'ultima cattura e le ultime azioni. Ferma lo interrompe subito.

Chi decide, e come disattivarlo

Computer use è attivo per ogni agente per impostazione predefinita, ma il vero cancello è l'elenco di app di ogni progetto, che parte vuoto. Finché non aggiungi un'app, nessun agente può pilotare nulla.

Puoi disattivarlo per tutto l'account in Impostazioni > Computer use, per un progetto in Impostazioni del progetto > Capacità e autorizzazioni > Computer use (Segui l'account, Attivo o Disattivato), oppure per un agente in Modifica agente > Capacità. Solo tu puoi attivarlo: un agente può solo togliersi il proprio accesso.

Anche gli agenti programmati e quelli avviati da webhook possono usarlo, con lo stesso banner e lo stesso pulsante Ferma, così puoi fermare un'esecuzione notturna dal telefono. Un'esecuzione alimentata da contenuti pubblici, come una pull request di uno sconosciuto, non lo riceve mai.

Limiti

  • Alcune app non vengono mai pilotate, anche se le aggiungi: le impostazioni di sistema, i gestori di password, il portachiavi o il gestore credenziali, le richieste di accesso e di autorizzazione del sistema, e AgentsRoom stesso.
  • Gli agenti non digitano mai credenziali: i campi password vengono rifiutati.
  • Una finestra alla volta: niente schermo intero e niente drag and drop. Un solo agente alla volta per app, e un solo agente alla volta sul mouse.
  • Linux: serve una sessione X11 o XWayland. Le app disegnate nativamente su Wayland non possono essere pilotate. Windows: un'app avviata come amministratore non può essere pilotata.
  • Sessione bloccata o schermo in stop: nulla viene pilotato e l'agente viene informato del motivo. Un agente programmato di notte ha bisogno di un computer sbloccato.
  • Gli agenti che girano su un host SSH non possono pilotare le app del tuo computer.
  • Non dal telefono: l'app mobile mostra quale agente pilota quale app, con Ferma, ma non concede mai l'accesso, non modifica l'elenco e non mostra le catture.

Domande frequenti

Chiedici altro
Claude Code può usare il computer use per testare la mia app desktop?
Sì. In AgentsRoom, aggiungi la tua app all'elenco del progetto in Impostazioni del progetto > Capacità e autorizzazioni > Computer use. Il tuo agente Claude Code riceve allora gli strumenti per le app: apre l'app, guarda una finestra, clicca, scrive e ti invia una cattura. Non si appoggia al computer use di Anthropic, quindi funziona allo stesso modo con gli altri tuoi agenti.
Esiste un computer use per Codex, Cursor e gli altri CLI?
Sì, lo stesso. Computer use in AgentsRoom è un server MCP, dato a ogni CLI di agenti che riceve gli strumenti di AgentsRoom: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity e gli altri. Niente da configurare per ogni CLI. Aider non ha un client MCP, e Hermes Agent, Goose, Qwen Code, Kiro e Rovo Dev, aggiunti a novembre 2026, non ricevono ancora gli strumenti di AgentsRoom.
Funziona su Windows e Linux?
Sì. Su Windows non c'è nulla da concedere. Su Linux serve una sessione X11 o XWayland: le app disegnate nativamente su Wayland non possono essere pilotate, e i pulsanti vengono letti per nome quando il bus di accessibilità (AT-SPI) è attivo, altrimenti l'agente clicca per posizione. Su macOS dai due permessi ad AgentsRoom App Control.
Un agente può prendere il controllo di tutto il mio computer?
No. Vede e pilota solo le app nell'elenco del progetto, una finestra alla volta. Impostazioni di sistema, gestori di password, portachiavi, richieste di accesso e AgentsRoom stesso restano esclusi anche se li aggiungi, e anche i campi password vengono rifiutati. Ogni azione compare nel banner e nella console dell'agente.
L'agente muoverà il mio mouse mentre lavoro?
Quasi sempre no. Un clic su un pulsante con un nome passa dall'accessibilità del sistema, quindi il puntatore non si muove e l'app non salta in primo piano. Solo un clic su una posizione prende il mouse, e aspetta che tu smetta di usare mouse e tastiera.
Come fermo un agente che sta pilotando un'app?
Clicca Ferma sul banner, nella console dell'agente, nel chip Computer use della barra in basso o in Test > Computer use, oppure premi Ctrl+Alt+Shift+Esc, che ferma tutti gli agenti in un colpo. L'agente resta fermo finché non clicchi Consenti di nuovo o non riavvii la sua console. Dal telefono, anche la barra in alto ha un pulsante Ferma.
Perché macOS chiede i permessi per AgentsRoom App Control e non per AgentsRoom?
I due permessi, Accessibilità e Registrazione schermo, vanno a un programma di supporto separato. Così un comando che un agente esegue nel suo terminale non li eredita. Da macOS 15 in poi, il permesso di Registrazione schermo può essere richiesto di nuovo di tanto in tanto.
Posso testare l'app Electron che sto sviluppando?
Sì. Nell'elenco delle app, scegli App di questo progetto e seleziona l'eseguibile della tua build dentro la cartella del progetto. L'agente può allora rifare la build, aprire la nuova versione e verificare la modifica. Funziona anche per un'app nativa, uno strumento interno o un browser diverso da Chrome.
Un agente programmato può usare il computer use di notte?
Sì, come qualsiasi agente, con lo stesso banner e lo stesso pulsante Ferma, e il telefono mostra quale app sta pilotando. Il computer deve restare sbloccato, perché su una sessione bloccata non viene pilotato nulla. Un'esecuzione alimentata da contenuti pubblici non riceve mai Computer use.
In cosa è diverso dalla browser automation?
La browser automation pilota pagine web nel browser integrato in AgentsRoom o nel tuo Chrome, tramite strumenti per le pagine. Computer use è per le app che non sono pagine web: un'app desktop, uno strumento nativo, una finestra senza API. Anche simulatori ed emulatori hanno i loro strumenti.

Approfondimenti

Potrebbe interessarti anche

Lascia che l'agente verifichi le proprie finestre.

Computer use è incluso in AgentsRoom su macOS, Windows e Linux, per ogni CLI di agenti. Le app le scegli tu.

Scarica AgentsRoomGratis

App companion: monitora i tuoi agenti in movimento

Usa Claude, Codex, Antigravity CLI o un altro provider IA.

Invia bug e richieste direttamente nel tuo backlog pubblico.