Computer use

Tus agentes de IA prueban la app de escritorio
que acaban de crear

Tu agente cambió la ventana de ajustes de tu app Electron, pero nunca la abrió. Con Computer use en AgentsRoom, lanza la app, mira la ventana, la recorre con clics y te envía una captura antes de decir que ha terminado.

Computer use es un servidor MCP que AgentsRoom da a Claude Code, Codex, Cursor y los demás CLI de agentes. Un agente ve una ventana de una app que has permitido, como una imagen junto con la lista de sus botones y campos, y actúa en ella: hacer clic, escribir, pulsar una tecla, desplazarse. Sirve para la app que estás desarrollando, una herramienta interna o un navegador distinto de Chrome, en macOS, Windows y Linux.

Capturas de pantalla

Capturas reales de la aplicación, añadidas a medida que evoluciona esta función.

  • Página de uso de AgentsRoom Computer explicando cómo los agents prueban una app de escritorio
    Una nueva página explica cómo tus agents verifican su trabajo en una app de escritorio.
Computer use

Agente

Comprobar la nueva ventana de ajustes

Herramientas de app

  • app_launch
  • app_snapshot
  • app_click
  • app_type
Agente QA está controlando Mi app ElectronDetener
Mi app Electron

Un agente de código escribe en pocos minutos una nueva ventana para tu app Electron, una vista nativa de macOS o un formulario de Windows. Comprobarla sigue siendo cosa tuya: compilar, abrir la app, recorrer la pantalla con clics, darte cuenta del botón que no hace nada y luego describírselo al agente.

Las apps web tienen herramientas de navegador, las apps móviles tienen simuladores. Una app de escritorio no tiene ni CLI ni API con la que probarla. El Computer use que ofrecen algunos proveedores de IA solo funciona con su propio agente, y normalmente sobre toda tu pantalla.

AgentsRoom incluye Computer use para todos los CLI de agentes. Tú eliges qué apps de un proyecto se pueden controlar, y solo esas. El agente ve una sola ventana a la vez, cada acción aparece en su consola y un banner con un botón Detener permanece en pantalla mientras trabaja.

Lo que tus agentes pueden hacer en una app de escritorio

Las comprobaciones que haces a mano después de cada cambio, hechas por el agente que lo hizo.

Abrir la app correcta

El agente lista las apps permitidas para el proyecto en este ordenador, estén abiertas o no, abre una o la trae al frente y elige la ventana que necesita.

Ver una ventana

Recibe una imagen de la ventana y la lista de sus botones, campos y menús con sus nombres. Nunca toda tu pantalla, nunca otra app.

Hacer clic, escribir, desplazarse

Hace clic en un botón, escribe en un campo, pulsa una tecla con sus modificadores y desplaza una lista, y luego vuelve a mirar para comprobar el resultado.

Tu ratón sigue siendo tuyo

Un clic en un botón con nombre pasa por la accesibilidad del sistema: tu puntero no se mueve y sigues trabajando. Solo un clic en una posición toma el ratón, y espera a que dejes de usarlo.

Solo las apps de tu lista

Cada proyecto tiene su propia lista de apps, vacía al principio. Sin ninguna app en ella, ningún agente puede controlar nada. Un agente puede quitar una app o su propio acceso, nunca añadir uno.

Siempre a la vista, siempre se puede detener

Un banner indica qué agente controla qué app, con un botón Detener. Un atajo global (Ctrl+Alt+Shift+Esc) detiene a todos los agentes a la vez, y cada acción queda escrita en la consola del agente.

Cómo funciona

Añade la app una vez y deja que el agente se encargue de comprobar.

  1. 1

    Añade la app al proyecto

    Abre Ajustes del proyecto > Capacidades > Computer use y haz clic en Añadir: elige una app abierta, una app instalada o un ejecutable dentro de la carpeta del proyecto, como tu build de Electron.

  2. 2

    Da los permisos al ordenador

    En macOS, permite AgentsRoom App Control en Ajustes del Sistema > Privacidad y seguridad > Accesibilidad y Grabación de pantalla. AgentsRoom te abre el panel correcto. En Windows no hay nada que conceder.

  3. 3

    Pide una comprobación

    Pide al agente que compruebe su cambio en la app. Abre la app, mira la ventana, hace clic y escribe como un tester, corrige su código cuando algo falla y luego te envía una captura del resultado.

  4. 4

    Obsérvalo o detenlo

    El banner muestra al agente trabajando, el chip Computer use de la barra inferior indica quién controla qué, y Pruebas > Computer use muestra la última captura y las últimas acciones. Detener lo termina al instante.

Quién decide y cómo desactivarlo

Computer use está activado por defecto para todos los agentes, pero la verdadera barrera es la lista de apps de cada proyecto, que empieza vacía. Mientras no añadas una app, ningún agente puede controlar nada.

Puedes desactivarlo para toda la cuenta en Ajustes > Computer use, para un proyecto en Ajustes del proyecto > Capacidades > Computer use (Seguir la cuenta, Activado o Desactivado) o para un agente en Editar agente > Capacidades. Solo tú puedes activarlo: un agente solo puede desactivar su propio acceso.

Los agentes programados y los de webhook también pueden usarlo, con el mismo banner y el mismo botón Detener, así que puedes detener una ejecución nocturna desde tu teléfono. Una ejecución alimentada con contenido público, como un pull request de un desconocido, nunca lo recibe.

Límites

  • Algunas apps nunca se controlan, aunque las añadas: los ajustes del sistema, los gestores de contraseñas, el llavero o el administrador de credenciales, las ventanas de inicio de sesión y de permisos del sistema, y el propio AgentsRoom.
  • Los agentes nunca escriben credenciales: los campos de contraseña se rechazan.
  • Una ventana a la vez: nada de pantalla completa ni de arrastrar y soltar. Un solo agente a la vez por app, y un solo agente a la vez con el ratón.
  • Linux: se necesita una sesión X11 o XWayland. Las apps dibujadas de forma nativa en Wayland no se pueden controlar. Windows: una app iniciada como administrador no se puede controlar.
  • Sesión bloqueada o pantalla en reposo: no se controla nada y se le explica el motivo al agente. Un agente programado de noche necesita un ordenador desbloqueado.
  • Los agentes que se ejecutan en un host SSH no pueden controlar las apps de tu ordenador.
  • No desde el teléfono: la app móvil muestra qué agente controla qué app, con Detener, pero nunca concede acceso, no edita la lista ni muestra capturas.

Preguntas frecuentes

Pregúntanos otra cosa
¿Puede Claude Code usar Computer use para probar mi app de escritorio?
Sí. En AgentsRoom, añade tu app a la lista del proyecto en Ajustes del proyecto > Capacidades > Computer use. Tu agente Claude Code recibe entonces las herramientas de app: abre la app, mira una ventana, hace clic, escribe y te envía una captura. No depende del Computer use de Anthropic, así que funciona igual con tus otros agentes.
¿Hay Computer use para Codex, Cursor y los demás CLI?
Sí, el mismo. Computer use en AgentsRoom es un servidor MCP que se da a todos los CLI de agentes que reciben las herramientas de AgentsRoom: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity y los demás. No hay nada que configurar por CLI. Aider no tiene cliente MCP, y Hermes Agent, Goose, Qwen Code, Kiro y Rovo Dev, añadidos en noviembre de 2026, todavía no reciben las herramientas de AgentsRoom.
¿Funciona en Windows y Linux?
Sí. En Windows no hay nada que conceder. En Linux necesita una sesión X11 o XWayland; las apps dibujadas de forma nativa en Wayland no se pueden controlar, y los botones se leen por su nombre cuando el bus de accesibilidad (AT-SPI) está activado; si no, el agente hace clic por posición. En macOS das dos permisos a AgentsRoom App Control.
¿Puede un agente tomar el control de todo mi ordenador?
No. Solo ve y controla las apps de la lista del proyecto, una ventana a la vez. Los ajustes del sistema, los gestores de contraseñas, el llavero, las ventanas de inicio de sesión y el propio AgentsRoom siguen rechazados aunque los añadas, y los campos de contraseña también se rechazan. Cada acción aparece en el banner y en la consola del agente.
¿Moverá el agente mi ratón mientras trabajo?
Casi nunca. Un clic en un botón con nombre pasa por la accesibilidad del sistema, así que tu puntero no se mueve y la app no salta al frente. Solo un clic en una posición toma el ratón, y espera a que dejes de usar el ratón y el teclado.
¿Cómo detengo a un agente que está controlando una app?
Haz clic en Detener en el banner, en la consola del agente, en el chip Computer use de la barra inferior o en Pruebas > Computer use, o pulsa Ctrl+Alt+Shift+Esc, que detiene a todos los agentes a la vez. El agente sigue detenido hasta que haces clic en Permitir de nuevo o reinicias su consola. Desde tu teléfono, la barra superior también tiene un botón Detener.
¿Por qué macOS pide permiso para AgentsRoom App Control y no para AgentsRoom?
Los dos permisos, Accesibilidad y Grabación de pantalla, van a un ayudante aparte. Así, un comando que un agente ejecuta en su terminal no los hereda. A partir de macOS 15, el sistema puede volver a pedir Grabación de pantalla de vez en cuando.
¿Puedo probar la app Electron que estoy desarrollando?
Sí. En la lista de apps, elige App de este proyecto y selecciona el ejecutable de tu build dentro de la carpeta del proyecto. El agente puede entonces recompilar, abrir la nueva versión y comprobar el cambio. También sirve para una app nativa, una herramienta interna o un navegador distinto de Chrome.
¿Puede un agente programado usar Computer use por la noche?
Sí, como cualquier agente, con el mismo banner y el mismo botón Detener, y el teléfono muestra qué app controla. El ordenador debe seguir desbloqueado, porque en una sesión bloqueada no se controla nada. Una ejecución alimentada con contenido público nunca recibe Computer use.
¿En qué se diferencia de la automatización del navegador?
La automatización del navegador controla páginas web en el navegador integrado en AgentsRoom o en tu propio Chrome, mediante herramientas de página. Computer use es para apps que no son páginas web: una app de escritorio, una herramienta nativa, una ventana sin API. Los simuladores y emuladores también tienen sus propias herramientas.

Para profundizar

También te puede interesar

Deja que el agente compruebe sus propias ventanas.

Computer use está en AgentsRoom en macOS, Windows y Linux, para todos los CLI de agentes. Tú decides qué apps.

Descargar AgentsRoomGratis

App complementaria: supervisa tus agentes en movimiento

Usa Claude, Codex, Antigravity CLI u otro proveedor de IA.

Envía bugs y peticiones directamente a tu backlog público.