Computer use

AI 에이전트가 방금 만든
데스크톱 앱을 테스트합니다

에이전트가 Electron 앱의 설정 창을 바꿨지만, 한 번도 열어 보지 않았습니다. AgentsRoom의 Computer use가 있으면 에이전트가 앱을 실행하고, 창을 보고, 클릭하며 확인한 뒤, 다 됐다고 말하기 전에 캡처를 보내 줍니다.

Computer use는 AgentsRoom이 Claude Code, Codex, Cursor를 비롯한 에이전트 CLI에 제공하는 MCP 서버입니다. 에이전트는 허용한 앱의 창 하나를 이미지와 버튼, 입력란 목록으로 받아 그 안에서 동작합니다. 클릭, 입력, 키 누르기, 스크롤까지 할 수 있습니다. 개발 중인 앱, 사내 도구, Chrome이 아닌 다른 브라우저에 쓸 수 있으며 macOS, Windows, Linux에서 동작합니다.

스크린샷

앱의 실제 화면으로, 이 기능이 발전할 때마다 추가됩니다.

  • agent가 desktop 앱을 테스트하는 방법을 설명하는 AgentsRoom 컴퓨터 사용 페이지
    새 페이지에서 agent가 desktop 앱에서 작업을 확인하는 방법을 설명합니다.
Computer use

에이전트

새 설정 창 확인

앱 도구

  • app_launch
  • app_snapshot
  • app_click
  • app_type
QA 에이전트가 내 Electron 앱을 조작하고 있습니다중지
내 Electron 앱

코딩 에이전트는 Electron 앱의 새 창, macOS 네이티브 뷰, Windows 폼을 몇 분 만에 작성합니다. 하지만 확인은 여전히 당신의 몫입니다. 빌드하고, 앱을 열고, 화면을 클릭해 보고, 아무 반응이 없는 버튼을 찾아낸 뒤, 그걸 다시 에이전트에게 설명해야 합니다.

웹 앱에는 브라우저 도구가 있고, 모바일 앱에는 시뮬레이터가 있습니다. 데스크톱 앱에는 테스트에 쓸 CLI도 API도 없습니다. 일부 AI 제공업체가 내놓은 computer use는 자사 에이전트에서만 동작하고, 대개 화면 전체를 대상으로 합니다.

AgentsRoom은 모든 에이전트 CLI에 Computer use를 제공합니다. 프로젝트의 어떤 앱을 조작하게 할지는 당신이 고르고, 에이전트는 그 앱만 조작합니다. 에이전트는 한 번에 창 하나만 보고, 모든 동작은 에이전트의 콘솔에 표시되며, 작업하는 동안 중지 버튼이 있는 배너가 화면에 계속 떠 있습니다.

에이전트가 데스크톱 앱에서 할 수 있는 일

변경할 때마다 손으로 하던 확인을, 그 변경을 만든 에이전트가 직접 합니다.

필요한 앱 열기

에이전트는 이 컴퓨터에서 프로젝트에 허용된 앱을 실행 여부와 상관없이 나열하고, 하나를 열거나 앞으로 가져온 뒤 필요한 창을 고릅니다.

창 하나만 보기

창의 이미지와 함께 버튼, 입력란, 메뉴의 이름 목록을 받습니다. 화면 전체도, 다른 앱도 절대 보지 않습니다.

클릭, 입력, 스크롤

버튼을 클릭하고, 입력란에 글자를 입력하고, 보조 키와 함께 키를 누르고, 목록을 스크롤한 뒤 창을 다시 보며 결과를 확인합니다.

마우스는 계속 당신 것

이름이 있는 버튼을 클릭할 때는 시스템의 손쉬운 사용 기능을 거치므로 포인터가 움직이지 않고, 당신은 하던 일을 계속할 수 있습니다. 위치를 지정한 클릭만 마우스를 쓰며, 그때도 당신이 마우스 사용을 멈출 때까지 기다립니다.

목록에 있는 앱만

프로젝트마다 고유한 앱 목록이 있고, 처음에는 비어 있습니다. 목록에 앱이 없으면 어떤 에이전트도 아무것도 조작할 수 없습니다. 에이전트는 앱이나 자기 접근 권한을 뺄 수는 있지만, 추가할 수는 없습니다.

늘 보이고, 언제든 멈출 수 있습니다

어떤 에이전트가 어떤 앱을 조작하는지 배너가 중지 버튼과 함께 알려 줍니다. 전역 단축키(Ctrl+Alt+Shift+Esc)로 모든 에이전트를 한 번에 멈출 수 있고, 모든 동작은 에이전트의 콘솔에 기록됩니다.

작동 방식

앱을 한 번 추가하면, 확인은 에이전트에게 맡기면 됩니다.

  1. 1

    프로젝트에 앱 추가하기

    프로젝트 설정 > 기능 > Computer use를 열고 추가를 클릭하세요. 열려 있는 앱, 설치된 앱, 또는 프로젝트 폴더 안의 실행 파일(예: Electron 빌드)을 고르면 됩니다.

  2. 2

    컴퓨터에 권한 주기

    macOS에서는 시스템 설정 > 개인정보 보호 및 보안의 손쉬운 사용과 화면 기록에서 AgentsRoom App Control을 허용하세요. 해당 화면은 AgentsRoom이 열어 줍니다. Windows에서는 허용할 것이 없습니다.

  3. 3

    확인 요청하기

    에이전트에게 앱에서 변경 사항을 확인해 달라고 요청하세요. 에이전트가 앱을 열고, 창을 보고, 테스터처럼 클릭하고 입력하며, 문제가 있으면 코드를 고친 뒤 결과 캡처를 보내 줍니다.

  4. 4

    지켜보거나 멈추기

    배너에는 작업 중인 에이전트가 보이고, 하단 바의 Computer use 칩에는 누가 무엇을 조작하는지 나오며, 테스트 > Computer use에는 마지막 캡처와 동작이 표시됩니다. 중지를 누르면 바로 끝납니다.

누가 결정하고, 어떻게 끄나요

Computer use는 기본적으로 모든 에이전트에 켜져 있지만, 실제 관문은 프로젝트마다 있는 앱 목록이며 이 목록은 처음에 비어 있습니다. 앱을 추가하기 전까지는 어떤 에이전트도 아무것도 조작할 수 없습니다.

계정 전체는 설정 > Computer use에서, 프로젝트 하나는 프로젝트 설정 > 기능 > Computer use(계정을 따름, 켜짐, 꺼짐)에서, 에이전트 하나는 에이전트 편집 > 기능에서 끌 수 있습니다. 켤 수 있는 사람은 당신뿐이며, 에이전트는 자기 접근 권한을 끄는 것만 할 수 있습니다.

예약 에이전트와 웹훅 에이전트도 같은 배너와 중지 버튼과 함께 쓸 수 있어서, 야간 실행을 휴대폰에서 멈출 수 있습니다. 낯선 사람의 풀 리퀘스트처럼 공개 콘텐츠로 시작된 실행은 절대 이 권한을 받지 않습니다.

제한 사항

  • 목록에 추가해도 절대 조작되지 않는 앱이 있습니다. 시스템 설정, 비밀번호 관리자, 키체인이나 자격 증명 관리자, 시스템의 로그인 및 권한 확인 창, 그리고 AgentsRoom 자체입니다.
  • 에이전트는 자격 증명을 절대 입력하지 않습니다. 비밀번호 입력란은 거부됩니다.
  • 한 번에 창 하나만 다룹니다. 화면 전체 조작과 드래그 앤 드롭은 할 수 없습니다. 앱 하나에는 한 번에 에이전트 하나, 마우스도 한 번에 에이전트 하나만 씁니다.
  • Linux에서는 X11 또는 XWayland 세션이 필요합니다. Wayland에서 네이티브로 그려지는 앱은 조작할 수 없습니다. Windows에서는 관리자 권한으로 시작한 앱을 조작할 수 없습니다.
  • 세션이 잠겨 있거나 화면이 절전 상태이면 아무것도 조작되지 않고, 에이전트에게 그 이유가 전달됩니다. 밤에 실행되는 예약 에이전트를 쓰려면 컴퓨터 잠금이 풀려 있어야 합니다.
  • SSH 호스트에서 실행되는 에이전트는 당신 컴퓨터의 앱을 조작할 수 없습니다.
  • 휴대폰에서는 쓸 수 없습니다. 모바일 앱은 어떤 에이전트가 어떤 앱을 조작하는지 중지 버튼과 함께 보여 주지만, 접근 권한을 주거나 목록을 편집하거나 캡처를 보여 주지는 않습니다.

자주 묻는 질문

다른 질문하기
Claude Code가 computer use로 데스크톱 앱을 테스트할 수 있나요?
네. AgentsRoom에서 프로젝트 설정 > 기능 > Computer use로 앱을 프로젝트 목록에 추가하세요. 그러면 Claude Code 에이전트가 앱 도구를 받아 앱을 열고, 창 하나를 보고, 클릭하고, 입력하고, 캡처를 보내 줍니다. Anthropic 자체의 computer use에 의존하지 않으므로 다른 에이전트에서도 똑같이 동작합니다.
Codex, Cursor 등 다른 CLI에도 computer use가 있나요?
네, 같은 것이 있습니다. AgentsRoom의 Computer use는 MCP 서버이며, AgentsRoom의 도구를 받는 모든 에이전트 CLI에 제공됩니다. Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity 등입니다. CLI마다 따로 설정할 것은 없습니다. Aider에는 MCP 클라이언트가 없고, 2026년 11월에 추가된 Hermes Agent, Goose, Qwen Code, Kiro, Rovo Dev는 아직 AgentsRoom의 도구를 받지 않습니다.
Windows와 Linux에서도 동작하나요?
네. Windows에서는 허용할 것이 없습니다. Linux에서는 X11 또는 XWayland 세션이 필요합니다. Wayland에서 네이티브로 그려지는 앱은 조작할 수 없고, 접근성 버스(AT-SPI)가 켜져 있으면 버튼을 이름으로 읽으며, 꺼져 있으면 에이전트가 위치를 지정해 클릭합니다. macOS에서는 AgentsRoom App Control에 두 가지 권한을 줍니다.
에이전트가 컴퓨터 전체를 장악할 수 있나요?
아니요. 에이전트는 프로젝트 목록에 있는 앱만, 한 번에 창 하나씩 보고 조작합니다. 시스템 설정, 비밀번호 관리자, 키체인, 로그인 창, AgentsRoom 자체는 목록에 추가해도 거부되며, 비밀번호 입력란도 거부됩니다. 모든 동작은 배너와 에이전트의 콘솔에 표시됩니다.
제가 일하는 동안 에이전트가 마우스를 움직이나요?
대부분은 아닙니다. 이름이 있는 버튼을 클릭할 때는 시스템의 손쉬운 사용 기능을 거치므로 포인터가 움직이지 않고 앱이 앞으로 튀어나오지도 않습니다. 위치를 지정한 클릭만 마우스를 쓰며, 그때도 당신이 마우스와 키보드 사용을 멈출 때까지 기다립니다.
앱을 조작하는 에이전트는 어떻게 멈추나요?
배너, 에이전트의 콘솔, 하단 바의 Computer use 칩, 또는 테스트 > Computer use에서 중지를 클릭하거나, 모든 에이전트를 한 번에 멈추는 Ctrl+Alt+Shift+Esc를 누르세요. 에이전트는 당신이 다시 허용을 클릭하거나 그 콘솔을 다시 시작할 때까지 멈춘 상태로 남습니다. 휴대폰에서도 상단 바에 중지 버튼이 있습니다.
macOS는 왜 AgentsRoom이 아니라 AgentsRoom App Control에 권한을 요청하나요?
손쉬운 사용과 화면 기록, 이 두 권한은 별도의 도우미 프로그램에 주어집니다. 그래서 에이전트가 터미널에서 실행하는 명령은 이 권한을 물려받지 않습니다. macOS 15 이상에서는 화면 기록 권한을 가끔 다시 요청할 수 있습니다.
제가 만들고 있는 Electron 앱을 테스트할 수 있나요?
네. 앱 목록에서 이 프로젝트의 앱을 고르고, 프로젝트 폴더 안에 있는 빌드의 실행 파일을 지정하세요. 그러면 에이전트가 다시 빌드하고, 새 버전을 열어 변경 사항을 확인할 수 있습니다. 네이티브 앱, 사내 도구, Chrome이 아닌 다른 브라우저에도 쓸 수 있습니다.
예약 에이전트가 밤에 computer use를 쓸 수 있나요?
네. 다른 에이전트처럼 같은 배너와 중지 버튼과 함께 쓰며, 휴대폰에는 어떤 앱을 조작하는지 표시됩니다. 잠긴 세션에서는 아무것도 조작되지 않으므로 컴퓨터는 잠금 해제 상태여야 합니다. 공개 콘텐츠로 시작된 실행은 Computer use를 받지 않습니다.
브라우저 자동화와 무엇이 다른가요?
브라우저 자동화는 AgentsRoom에 내장된 브라우저나 당신의 Chrome에서 페이지 도구로 웹 페이지를 조작합니다. Computer use는 웹 페이지가 아닌 앱을 위한 것입니다. 데스크톱 앱, 네이티브 도구, API가 없는 창 등입니다. 시뮬레이터와 에뮬레이터에도 전용 도구가 있습니다.

더 알아보기

함께 보면 좋은 기능

에이전트가 자기 창을 직접 확인하게 하세요.

Computer use는 macOS, Windows, Linux용 AgentsRoom에서 모든 에이전트 CLI에 제공됩니다. 어떤 앱을 허용할지는 당신이 정합니다.

AgentsRoom 다운로드무료

컴패니언 앱: 이동 중에도 에이전트를 모니터링

Claude, Codex, Antigravity CLI 또는 다른 AI 공급자를 사용하세요.

버그와 요청을 공개 백로그로 바로 보내세요.