Seus agentes de IA testam o app de desktop
que acabaram de criar
Seu agente mudou a janela de configurações do seu app Electron, mas nunca a abriu. Com o Computer use no AgentsRoom, ele abre o app, olha a janela, clica nela e envia uma captura para você antes de dizer que terminou.
Computer use é um servidor MCP que o AgentsRoom dá ao Claude Code, ao Codex, ao Cursor e aos outros CLIs de agentes. Um agente vê uma janela de um app que você autorizou, como uma imagem acompanhada da lista de botões e campos, e age nela: clica, digita, aperta uma tecla, rola. Funciona com o app que você está criando, uma ferramenta interna ou um navegador que não seja o Chrome, no macOS, Windows e Linux.
Capturas de tela
Capturas reais do app, adicionadas conforme este recurso evolui.
Agente
Ferramentas de app
- app_launch
- app_snapshot
- app_click
- app_type
Um agente de código escreve uma nova janela do seu app Electron, uma view nativa do macOS ou um formulário do Windows em poucos minutos. Conferir ainda é trabalho seu: fazer o build, abrir o app, clicar pela tela, notar o botão que não faz nada e depois descrever tudo isso para o agente.
Apps web têm ferramentas de navegador, apps mobile têm simuladores. Um app de desktop não tem nem CLI nem API para ser testado. O computer use que alguns provedores de IA oferecem só funciona com o próprio agente deles, e geralmente na sua tela inteira.
O AgentsRoom traz o Computer use para todo CLI de agente. Você escolhe quais apps de um projeto podem ser controlados, e só esses. O agente vê uma janela por vez, cada ação aparece no console dele, e um banner com um botão Parar fica na tela enquanto ele trabalha.
O que seus agentes podem fazer em um app de desktop
As verificações que você faz à mão depois de cada mudança, feitas pelo agente que fez a mudança.
Abrir o app certo
O agente lista os apps autorizados para o projeto neste computador, abertos ou não, abre um deles ou o traz para a frente e escolhe a janela de que precisa.
Ver uma janela
Ele recebe uma imagem da janela e a lista dos botões, campos e menus com seus nomes. Nunca a sua tela inteira, nunca outro app.
Clicar, digitar, rolar
Ele clica em um botão, digita em um campo, aperta uma tecla com seus modificadores e rola uma lista, depois olha de novo para conferir o resultado.
Seu mouse continua seu
Um clique em um botão com nome passa pela acessibilidade do sistema: seu ponteiro não se mexe e você continua trabalhando. Só um clique em uma posição usa o mouse, e ele espera você parar de usá-lo.
Só os apps da sua lista
Cada projeto tem sua própria lista de apps, vazia no início. Sem um app nela, nenhum agente controla nada. Um agente pode remover um app ou o próprio acesso, nunca adicionar.
Sempre à vista, sempre dá para parar
Um banner mostra qual agente controla qual app, com um botão Parar. Um atalho global (Ctrl+Alt+Shift+Esc) para todos os agentes de uma vez, e cada ação fica registrada no console do agente.
Como funciona
Adicione o app uma vez e deixe a conferência com o agente.
- 1
Adicione o app ao projeto
Abra Configurações do projeto > Capacidades e permissões > Computer use e clique em Adicionar: escolha um app aberto, um app instalado ou um executável dentro da pasta do projeto, como o seu build Electron.
- 2
Dê as permissões ao computador
No macOS, autorize o AgentsRoom App Control em Ajustes do Sistema > Privacidade e Segurança > Acessibilidade e Gravação de Tela. O AgentsRoom abre o painel certo para você. No Windows não há nada a autorizar.
- 3
Peça uma verificação
Peça ao agente que confira a mudança dele no app. Ele abre o app, olha a janela, clica e digita como um testador, corrige o código quando algo está errado e depois envia para você uma captura do resultado.
- 4
Acompanhe, ou pare
O banner mostra o agente trabalhando, o selo Computer use na barra inferior lista quem controla o quê, e Testes > Computer use mostra a última captura e as últimas ações. Parar encerra tudo na hora.
Quem decide, e como desligar
O Computer use vem ativado para todo agente, mas a barreira de verdade é a lista de apps de cada projeto, que começa vazia. Enquanto você não adicionar um app, nenhum agente controla nada.
Você pode desligá-lo para a conta inteira em Configurações > Computer use, para um projeto em Configurações do projeto > Capacidades e permissões > Computer use (Seguir a conta, Ativado ou Desativado), ou para um agente em Editar agente > Capacidades. Só você pode ligá-lo: um agente só pode desligar o próprio acesso.
Agentes agendados e acionados por webhook também podem usá-lo, com o mesmo banner e o mesmo botão Parar, então você pode parar uma execução noturna pelo celular. Uma execução alimentada por conteúdo público, como um pull request de um desconhecido, nunca o recebe.
Limites
- Alguns apps nunca são controlados, mesmo que você os adicione: os ajustes do sistema, os gerenciadores de senhas, o chaveiro ou o gerenciador de credenciais, as janelas de login e de permissão do sistema, e o próprio AgentsRoom.
- Os agentes nunca digitam credenciais: campos de senha são recusados.
- Uma janela por vez: nada de tela inteira nem de arrastar e soltar. Um agente por vez em cada app, e um agente por vez no mouse.
- Linux: é preciso uma sessão X11 ou XWayland. Apps desenhados nativamente no Wayland não podem ser controlados. Windows: um app iniciado como administrador não pode ser controlado.
- Sessão bloqueada ou tela em repouso: nada é controlado e o agente é avisado do motivo. Um agente agendado à noite precisa de um computador desbloqueado.
- Agentes que rodam em um host SSH não podem controlar os apps do seu computador.
- Não no celular: o app mobile mostra qual agente controla qual app, com Parar, mas nunca concede acesso, nunca edita a lista e nunca mostra capturas.
Perguntas frequentes
Faça outra perguntaO Claude Code pode usar computer use para testar meu app de desktop?
Existe computer use para Codex, Cursor e os outros CLIs?
Funciona no Windows e no Linux?
Um agente pode tomar conta do meu computador inteiro?
O agente vai mexer no meu mouse enquanto eu trabalho?
Como paro um agente que está controlando um app?
Por que o macOS pede permissão para o AgentsRoom App Control e não para o AgentsRoom?
Posso testar o app Electron que estou criando?
Um agente agendado pode usar computer use à noite?
Qual a diferença para a automação de navegador?
Para se aprofundar
Loops de agentes de IA: como um agente de código se autocorrige sozinho
Um loop de agente de IA transforma o prompt-e-corrige em um ciclo autocorretivo: o agente escreve um plano, constrói, revisa o próprio trabalho contra o plano e repete até terminar. Como o loop funciona no Claude Code, Codex, Antigravity CLI, Cursor e no Ralph loop.
Reduzir o consumo de tokens do MCP: como cortamos 60% das nossas definições de ferramentas
Cada ferramenta MCP que seu agente pode chamar é um bloco de JSON que o modelo pode ler a cada requisição. As nossas pesavam cerca de 95.000 tokens. Veja como medir as suas em dois minutos, o que cortamos sem remover uma única ferramenta e o controle de orçamento que impede que elas voltem a crescer.
Você também pode gostar
Browser MCP • Chromium integrado • QA dirigida por agente
O teu agente QA abre um Chromium real no teu localhost, clica, escreve, tira screenshots, lê a consola e confirma que a feature funciona. Sem configuração Playwright.
Simulador iOS e emulador Android
Claude Code, Codex ou Cursor testam seu app mobile em um simulador iOS ou emulador Android: instalam o build, tocam, digitam, capturam a tela e leem os logs.
Delegação de agente : dev para QA : modelo mais barato no teste
Seu agente de dev passa a execução dos testes a um agente de QA mais barato via MCP. O modelo caro fica no código, e a conta de tokens e o contexto ficam enxutos.
Deixe o agente conferir as próprias janelas.
O Computer use está no AgentsRoom no macOS, Windows e Linux, para todo CLI de agente. Você decide quais apps.
App complementar: acompanhe seus agentes em qualquer lugar
Use Claude, Codex, Antigravity CLI ou outro provedor de IA.
Envie bugs e pedidos direto para o seu backlog público.
