I tuoi agenti IA testano l'app desktop
che hanno appena creato
Il tuo agente ha modificato la finestra delle impostazioni della tua app Electron, ma non l'ha mai aperta. Con Computer use in AgentsRoom avvia l'app, guarda la finestra, la percorre a colpi di clic e ti invia una cattura prima di dire che ha finito.
Computer use è un server MCP che AgentsRoom dà a Claude Code, Codex, Cursor e agli altri CLI di agenti. Un agente vede una finestra di un'app che hai autorizzato, come immagine più l'elenco dei suoi pulsanti e campi, e agisce al suo interno: clic, testo, un tasto, scorrimento. Funziona per l'app che stai sviluppando, uno strumento interno o un browser diverso da Chrome, su macOS, Windows e Linux.
Screenshot
Schermate reali dell'app, aggiunte man mano che questa funzione evolve.
Agente
Strumenti per le app
- app_launch
- app_snapshot
- app_click
- app_type
Un agente di coding scrive in pochi minuti una nuova finestra per la tua app Electron, una view nativa macOS o un form Windows. Verificarla resta compito tuo: fare la build, aprire l'app, percorrere la schermata, accorgerti del pulsante che non fa nulla, poi descriverlo all'agente.
Le app web hanno gli strumenti del browser, le app mobile hanno i simulatori. Un'app desktop non ha né un CLI né un'API con cui testarla. Il computer use offerto da alcuni provider di IA funziona solo con il loro agente, e di solito su tutto lo schermo.
AgentsRoom porta Computer use a ogni CLI di agenti. Scegli quali app di un progetto possono essere pilotate, e solo quelle. L'agente vede una finestra alla volta, ogni azione compare nella sua console e un banner con un pulsante Ferma resta sullo schermo mentre lavora.
Cosa possono fare i tuoi agenti in un'app desktop
Le verifiche che fai a mano dopo ogni modifica, eseguite dall'agente che l'ha fatta.
Aprire l'app giusta
L'agente elenca le app autorizzate per il progetto su questo computer, aperte o no, ne apre una o la porta in primo piano e sceglie la finestra che gli serve.
Vedere una finestra
Riceve un'immagine della finestra e l'elenco dei suoi pulsanti, campi e menu con i loro nomi. Mai tutto lo schermo, mai un'altra app.
Cliccare, scrivere, scorrere
Clicca un pulsante, scrive in un campo, preme un tasto con i suoi modificatori e scorre un elenco, poi dà una nuova occhiata per verificare il risultato.
Il mouse resta tuo
Un clic su un pulsante con un nome passa dall'accessibilità del sistema: il puntatore non si muove e tu continui a lavorare. Solo un clic su una posizione prende il mouse, e aspetta che tu smetta di usarlo.
Solo le app che elenchi
Ogni progetto ha il proprio elenco di app, vuoto all'inizio. Senza un'app nell'elenco, nessun agente può pilotare nulla. Un agente può togliere un'app o il proprio accesso, mai aggiungerne uno.
Sempre in vista, sempre fermabile
Un banner indica quale agente pilota quale app, con un pulsante Ferma. Una scorciatoia globale (Ctrl+Alt+Shift+Esc) ferma tutti gli agenti in un colpo, e ogni azione viene scritta nella console dell'agente.
Come funziona
Aggiungi l'app una volta, poi la verifica la fa l'agente.
- 1
Aggiungi l'app al progetto
Apri Impostazioni del progetto > Capacità e autorizzazioni > Computer use e clicca Aggiungi: scegli un'app aperta, un'app installata o un eseguibile dentro la cartella del progetto, come la build della tua app Electron.
- 2
Dai i permessi al computer
Su macOS, autorizza AgentsRoom App Control in Impostazioni di Sistema > Privacy e sicurezza > Accessibilità e Registrazione schermo. AgentsRoom ti apre il pannello giusto. Su Windows non c'è nulla da concedere.
- 3
Chiedi una verifica
Chiedi all'agente di verificare la sua modifica nell'app. Apre l'app, guarda la finestra, clicca e scrive come un tester, corregge il codice quando qualcosa non va, poi ti invia una cattura del risultato.
- 4
Guardalo o fermalo
Il banner mostra l'agente al lavoro, il chip Computer use nella barra in basso elenca chi pilota cosa, e Test > Computer use mostra l'ultima cattura e le ultime azioni. Ferma lo interrompe subito.
Chi decide, e come disattivarlo
Computer use è attivo per ogni agente per impostazione predefinita, ma il vero cancello è l'elenco di app di ogni progetto, che parte vuoto. Finché non aggiungi un'app, nessun agente può pilotare nulla.
Puoi disattivarlo per tutto l'account in Impostazioni > Computer use, per un progetto in Impostazioni del progetto > Capacità e autorizzazioni > Computer use (Segui l'account, Attivo o Disattivato), oppure per un agente in Modifica agente > Capacità. Solo tu puoi attivarlo: un agente può solo togliersi il proprio accesso.
Anche gli agenti programmati e quelli avviati da webhook possono usarlo, con lo stesso banner e lo stesso pulsante Ferma, così puoi fermare un'esecuzione notturna dal telefono. Un'esecuzione alimentata da contenuti pubblici, come una pull request di uno sconosciuto, non lo riceve mai.
Limiti
- Alcune app non vengono mai pilotate, anche se le aggiungi: le impostazioni di sistema, i gestori di password, il portachiavi o il gestore credenziali, le richieste di accesso e di autorizzazione del sistema, e AgentsRoom stesso.
- Gli agenti non digitano mai credenziali: i campi password vengono rifiutati.
- Una finestra alla volta: niente schermo intero e niente drag and drop. Un solo agente alla volta per app, e un solo agente alla volta sul mouse.
- Linux: serve una sessione X11 o XWayland. Le app disegnate nativamente su Wayland non possono essere pilotate. Windows: un'app avviata come amministratore non può essere pilotata.
- Sessione bloccata o schermo in stop: nulla viene pilotato e l'agente viene informato del motivo. Un agente programmato di notte ha bisogno di un computer sbloccato.
- Gli agenti che girano su un host SSH non possono pilotare le app del tuo computer.
- Non dal telefono: l'app mobile mostra quale agente pilota quale app, con Ferma, ma non concede mai l'accesso, non modifica l'elenco e non mostra le catture.
Domande frequenti
Chiedici altroClaude Code può usare il computer use per testare la mia app desktop?
Esiste un computer use per Codex, Cursor e gli altri CLI?
Funziona su Windows e Linux?
Un agente può prendere il controllo di tutto il mio computer?
L'agente muoverà il mio mouse mentre lavoro?
Come fermo un agente che sta pilotando un'app?
Perché macOS chiede i permessi per AgentsRoom App Control e non per AgentsRoom?
Posso testare l'app Electron che sto sviluppando?
Un agente programmato può usare il computer use di notte?
In cosa è diverso dalla browser automation?
Approfondimenti
I loop degli agenti IA: come un agente di codice si auto-corregge da solo
Un loop di agente IA trasforma il prompt-e-correggi in un ciclo auto-correttivo: l'agente scrive un piano, lo costruisce, verifica il proprio lavoro rispetto al piano e cicla finché non è finito. Come funziona il loop in Claude Code, Codex, Antigravity CLI, Cursor e nel Ralph loop.
Ridurre il consumo di token di MCP: come abbiamo tagliato del 60% le definizioni dei nostri strumenti
Ogni strumento MCP che il tuo agente può chiamare è un blocco di JSON che il modello può leggere a ogni richiesta. I nostri pesavano circa 95.000 token. Ecco come misurare i tuoi in due minuti, cosa abbiamo tagliato senza togliere un solo strumento e il controllo di budget che impedisce loro di tornare a crescere.
Potrebbe interessarti anche
Browser MCP : Chromium integrato : QA guidato da agenti
Il tuo QA agent apre un vero Chromium sul tuo localhost, clicca, scrive, fa screenshot, legge la console e conferma che la feature funziona. Zero config Playwright.
Simulatore iOS ed emulatore Android
Claude Code, Codex o Cursor testano la tua app mobile su simulatore iOS o emulatore Android: installano la build, toccano, scrivono, fanno screenshot, leggono i log.
Delega di agente : dev verso QA : modello più economico sul test
Il tuo agente dev affida l'esecuzione dei test a un agente QA più economico via MCP. Il modello costoso resta sul codice, e bolletta dei token e contesto restano leggeri.
Lascia che l'agente verifichi le proprie finestre.
Computer use è incluso in AgentsRoom su macOS, Windows e Linux, per ogni CLI di agenti. Le app le scegli tu.
App companion: monitora i tuoi agenti in movimento
Usa Claude, Codex, Antigravity CLI o un altro provider IA.
Invia bug e richieste direttamente nel tuo backlog pubblico.
