Tus agentes de IA prueban la app de escritorio
que acaban de crear
Tu agente cambió la ventana de ajustes de tu app Electron, pero nunca la abrió. Con Computer use en AgentsRoom, lanza la app, mira la ventana, la recorre con clics y te envía una captura antes de decir que ha terminado.
Computer use es un servidor MCP que AgentsRoom da a Claude Code, Codex, Cursor y los demás CLI de agentes. Un agente ve una ventana de una app que has permitido, como una imagen junto con la lista de sus botones y campos, y actúa en ella: hacer clic, escribir, pulsar una tecla, desplazarse. Sirve para la app que estás desarrollando, una herramienta interna o un navegador distinto de Chrome, en macOS, Windows y Linux.
Capturas de pantalla
Capturas reales de la aplicación, añadidas a medida que evoluciona esta función.
Agente
Herramientas de app
- app_launch
- app_snapshot
- app_click
- app_type
Un agente de código escribe en pocos minutos una nueva ventana para tu app Electron, una vista nativa de macOS o un formulario de Windows. Comprobarla sigue siendo cosa tuya: compilar, abrir la app, recorrer la pantalla con clics, darte cuenta del botón que no hace nada y luego describírselo al agente.
Las apps web tienen herramientas de navegador, las apps móviles tienen simuladores. Una app de escritorio no tiene ni CLI ni API con la que probarla. El Computer use que ofrecen algunos proveedores de IA solo funciona con su propio agente, y normalmente sobre toda tu pantalla.
AgentsRoom incluye Computer use para todos los CLI de agentes. Tú eliges qué apps de un proyecto se pueden controlar, y solo esas. El agente ve una sola ventana a la vez, cada acción aparece en su consola y un banner con un botón Detener permanece en pantalla mientras trabaja.
Lo que tus agentes pueden hacer en una app de escritorio
Las comprobaciones que haces a mano después de cada cambio, hechas por el agente que lo hizo.
Abrir la app correcta
El agente lista las apps permitidas para el proyecto en este ordenador, estén abiertas o no, abre una o la trae al frente y elige la ventana que necesita.
Ver una ventana
Recibe una imagen de la ventana y la lista de sus botones, campos y menús con sus nombres. Nunca toda tu pantalla, nunca otra app.
Hacer clic, escribir, desplazarse
Hace clic en un botón, escribe en un campo, pulsa una tecla con sus modificadores y desplaza una lista, y luego vuelve a mirar para comprobar el resultado.
Tu ratón sigue siendo tuyo
Un clic en un botón con nombre pasa por la accesibilidad del sistema: tu puntero no se mueve y sigues trabajando. Solo un clic en una posición toma el ratón, y espera a que dejes de usarlo.
Solo las apps de tu lista
Cada proyecto tiene su propia lista de apps, vacía al principio. Sin ninguna app en ella, ningún agente puede controlar nada. Un agente puede quitar una app o su propio acceso, nunca añadir uno.
Siempre a la vista, siempre se puede detener
Un banner indica qué agente controla qué app, con un botón Detener. Un atajo global (Ctrl+Alt+Shift+Esc) detiene a todos los agentes a la vez, y cada acción queda escrita en la consola del agente.
Cómo funciona
Añade la app una vez y deja que el agente se encargue de comprobar.
- 1
Añade la app al proyecto
Abre Ajustes del proyecto > Capacidades > Computer use y haz clic en Añadir: elige una app abierta, una app instalada o un ejecutable dentro de la carpeta del proyecto, como tu build de Electron.
- 2
Da los permisos al ordenador
En macOS, permite AgentsRoom App Control en Ajustes del Sistema > Privacidad y seguridad > Accesibilidad y Grabación de pantalla. AgentsRoom te abre el panel correcto. En Windows no hay nada que conceder.
- 3
Pide una comprobación
Pide al agente que compruebe su cambio en la app. Abre la app, mira la ventana, hace clic y escribe como un tester, corrige su código cuando algo falla y luego te envía una captura del resultado.
- 4
Obsérvalo o detenlo
El banner muestra al agente trabajando, el chip Computer use de la barra inferior indica quién controla qué, y Pruebas > Computer use muestra la última captura y las últimas acciones. Detener lo termina al instante.
Quién decide y cómo desactivarlo
Computer use está activado por defecto para todos los agentes, pero la verdadera barrera es la lista de apps de cada proyecto, que empieza vacía. Mientras no añadas una app, ningún agente puede controlar nada.
Puedes desactivarlo para toda la cuenta en Ajustes > Computer use, para un proyecto en Ajustes del proyecto > Capacidades > Computer use (Seguir la cuenta, Activado o Desactivado) o para un agente en Editar agente > Capacidades. Solo tú puedes activarlo: un agente solo puede desactivar su propio acceso.
Los agentes programados y los de webhook también pueden usarlo, con el mismo banner y el mismo botón Detener, así que puedes detener una ejecución nocturna desde tu teléfono. Una ejecución alimentada con contenido público, como un pull request de un desconocido, nunca lo recibe.
Límites
- Algunas apps nunca se controlan, aunque las añadas: los ajustes del sistema, los gestores de contraseñas, el llavero o el administrador de credenciales, las ventanas de inicio de sesión y de permisos del sistema, y el propio AgentsRoom.
- Los agentes nunca escriben credenciales: los campos de contraseña se rechazan.
- Una ventana a la vez: nada de pantalla completa ni de arrastrar y soltar. Un solo agente a la vez por app, y un solo agente a la vez con el ratón.
- Linux: se necesita una sesión X11 o XWayland. Las apps dibujadas de forma nativa en Wayland no se pueden controlar. Windows: una app iniciada como administrador no se puede controlar.
- Sesión bloqueada o pantalla en reposo: no se controla nada y se le explica el motivo al agente. Un agente programado de noche necesita un ordenador desbloqueado.
- Los agentes que se ejecutan en un host SSH no pueden controlar las apps de tu ordenador.
- No desde el teléfono: la app móvil muestra qué agente controla qué app, con Detener, pero nunca concede acceso, no edita la lista ni muestra capturas.
Preguntas frecuentes
Pregúntanos otra cosa¿Puede Claude Code usar Computer use para probar mi app de escritorio?
¿Hay Computer use para Codex, Cursor y los demás CLI?
¿Funciona en Windows y Linux?
¿Puede un agente tomar el control de todo mi ordenador?
¿Moverá el agente mi ratón mientras trabajo?
¿Cómo detengo a un agente que está controlando una app?
¿Por qué macOS pide permiso para AgentsRoom App Control y no para AgentsRoom?
¿Puedo probar la app Electron que estoy desarrollando?
¿Puede un agente programado usar Computer use por la noche?
¿En qué se diferencia de la automatización del navegador?
Para profundizar
Loops de agentes de IA: cómo un agente de código se autocorrige solo
Un loop de agente de IA convierte el prompt-y-corrige en un ciclo autocorrectivo: el agente escribe un plan, lo construye, revisa su propio trabajo frente al plan y repite el loop hasta que esté listo. Cómo funciona el loop en Claude Code, Codex, Antigravity CLI, Cursor y el Ralph loop.
Reducir el consumo de tokens de MCP: cómo recortamos un 60 % nuestras definiciones de herramientas
Cada herramienta MCP que tu agente puede llamar es un bloque de JSON que el modelo puede leer en cada solicitud. Las nuestras pesaban unos 95.000 tokens. Cómo medir las tuyas en dos minutos, qué recortamos sin quitar una sola herramienta y el control de presupuesto que impide que vuelvan a crecer.
También te puede interesar
Browser MCP • Chromium integrado • QA dirigida por agente
Tu agente QA abre un Chromium real en tu localhost, hace clic, escribe, toma capturas, lee la consola y confirma que la feature funciona. Sin configurar Playwright.
Simulador iOS y emulador Android
Deja que Claude Code, Codex o Cursor prueben tu app móvil en un simulador iOS o un emulador Android: instalan el build, tocan, escriben, capturan y leen los logs.
Delegación de agente : dev a QA : modelo más barato en el test
Tu agente dev pasa la ejecución de los tests a un agente QA más barato vía MCP. El modelo caro se queda en el código, y la factura de tokens y el contexto siguen bajos.
Deja que el agente compruebe sus propias ventanas.
Computer use está en AgentsRoom en macOS, Windows y Linux, para todos los CLI de agentes. Tú decides qué apps.
App complementaria: supervisa tus agentes en movimiento
Usa Claude, Codex, Antigravity CLI u otro proveedor de IA.
Envía bugs y peticiones directamente a tu backlog público.
