AI 에이전트가 방금 만든
데스크톱 앱을 테스트합니다
에이전트가 Electron 앱의 설정 창을 바꿨지만, 한 번도 열어 보지 않았습니다. AgentsRoom의 Computer use가 있으면 에이전트가 앱을 실행하고, 창을 보고, 클릭하며 확인한 뒤, 다 됐다고 말하기 전에 캡처를 보내 줍니다.
Computer use는 AgentsRoom이 Claude Code, Codex, Cursor를 비롯한 에이전트 CLI에 제공하는 MCP 서버입니다. 에이전트는 허용한 앱의 창 하나를 이미지와 버튼, 입력란 목록으로 받아 그 안에서 동작합니다. 클릭, 입력, 키 누르기, 스크롤까지 할 수 있습니다. 개발 중인 앱, 사내 도구, Chrome이 아닌 다른 브라우저에 쓸 수 있으며 macOS, Windows, Linux에서 동작합니다.
스크린샷
앱의 실제 화면으로, 이 기능이 발전할 때마다 추가됩니다.
에이전트
앱 도구
- app_launch
- app_snapshot
- app_click
- app_type
코딩 에이전트는 Electron 앱의 새 창, macOS 네이티브 뷰, Windows 폼을 몇 분 만에 작성합니다. 하지만 확인은 여전히 당신의 몫입니다. 빌드하고, 앱을 열고, 화면을 클릭해 보고, 아무 반응이 없는 버튼을 찾아낸 뒤, 그걸 다시 에이전트에게 설명해야 합니다.
웹 앱에는 브라우저 도구가 있고, 모바일 앱에는 시뮬레이터가 있습니다. 데스크톱 앱에는 테스트에 쓸 CLI도 API도 없습니다. 일부 AI 제공업체가 내놓은 computer use는 자사 에이전트에서만 동작하고, 대개 화면 전체를 대상으로 합니다.
AgentsRoom은 모든 에이전트 CLI에 Computer use를 제공합니다. 프로젝트의 어떤 앱을 조작하게 할지는 당신이 고르고, 에이전트는 그 앱만 조작합니다. 에이전트는 한 번에 창 하나만 보고, 모든 동작은 에이전트의 콘솔에 표시되며, 작업하는 동안 중지 버튼이 있는 배너가 화면에 계속 떠 있습니다.
에이전트가 데스크톱 앱에서 할 수 있는 일
변경할 때마다 손으로 하던 확인을, 그 변경을 만든 에이전트가 직접 합니다.
필요한 앱 열기
에이전트는 이 컴퓨터에서 프로젝트에 허용된 앱을 실행 여부와 상관없이 나열하고, 하나를 열거나 앞으로 가져온 뒤 필요한 창을 고릅니다.
창 하나만 보기
창의 이미지와 함께 버튼, 입력란, 메뉴의 이름 목록을 받습니다. 화면 전체도, 다른 앱도 절대 보지 않습니다.
클릭, 입력, 스크롤
버튼을 클릭하고, 입력란에 글자를 입력하고, 보조 키와 함께 키를 누르고, 목록을 스크롤한 뒤 창을 다시 보며 결과를 확인합니다.
마우스는 계속 당신 것
이름이 있는 버튼을 클릭할 때는 시스템의 손쉬운 사용 기능을 거치므로 포인터가 움직이지 않고, 당신은 하던 일을 계속할 수 있습니다. 위치를 지정한 클릭만 마우스를 쓰며, 그때도 당신이 마우스 사용을 멈출 때까지 기다립니다.
목록에 있는 앱만
프로젝트마다 고유한 앱 목록이 있고, 처음에는 비어 있습니다. 목록에 앱이 없으면 어떤 에이전트도 아무것도 조작할 수 없습니다. 에이전트는 앱이나 자기 접근 권한을 뺄 수는 있지만, 추가할 수는 없습니다.
늘 보이고, 언제든 멈출 수 있습니다
어떤 에이전트가 어떤 앱을 조작하는지 배너가 중지 버튼과 함께 알려 줍니다. 전역 단축키(Ctrl+Alt+Shift+Esc)로 모든 에이전트를 한 번에 멈출 수 있고, 모든 동작은 에이전트의 콘솔에 기록됩니다.
작동 방식
앱을 한 번 추가하면, 확인은 에이전트에게 맡기면 됩니다.
- 1
프로젝트에 앱 추가하기
프로젝트 설정 > 기능 > Computer use를 열고 추가를 클릭하세요. 열려 있는 앱, 설치된 앱, 또는 프로젝트 폴더 안의 실행 파일(예: Electron 빌드)을 고르면 됩니다.
- 2
컴퓨터에 권한 주기
macOS에서는 시스템 설정 > 개인정보 보호 및 보안의 손쉬운 사용과 화면 기록에서 AgentsRoom App Control을 허용하세요. 해당 화면은 AgentsRoom이 열어 줍니다. Windows에서는 허용할 것이 없습니다.
- 3
확인 요청하기
에이전트에게 앱에서 변경 사항을 확인해 달라고 요청하세요. 에이전트가 앱을 열고, 창을 보고, 테스터처럼 클릭하고 입력하며, 문제가 있으면 코드를 고친 뒤 결과 캡처를 보내 줍니다.
- 4
지켜보거나 멈추기
배너에는 작업 중인 에이전트가 보이고, 하단 바의 Computer use 칩에는 누가 무엇을 조작하는지 나오며, 테스트 > Computer use에는 마지막 캡처와 동작이 표시됩니다. 중지를 누르면 바로 끝납니다.
누가 결정하고, 어떻게 끄나요
Computer use는 기본적으로 모든 에이전트에 켜져 있지만, 실제 관문은 프로젝트마다 있는 앱 목록이며 이 목록은 처음에 비어 있습니다. 앱을 추가하기 전까지는 어떤 에이전트도 아무것도 조작할 수 없습니다.
계정 전체는 설정 > Computer use에서, 프로젝트 하나는 프로젝트 설정 > 기능 > Computer use(계정을 따름, 켜짐, 꺼짐)에서, 에이전트 하나는 에이전트 편집 > 기능에서 끌 수 있습니다. 켤 수 있는 사람은 당신뿐이며, 에이전트는 자기 접근 권한을 끄는 것만 할 수 있습니다.
예약 에이전트와 웹훅 에이전트도 같은 배너와 중지 버튼과 함께 쓸 수 있어서, 야간 실행을 휴대폰에서 멈출 수 있습니다. 낯선 사람의 풀 리퀘스트처럼 공개 콘텐츠로 시작된 실행은 절대 이 권한을 받지 않습니다.
제한 사항
- 목록에 추가해도 절대 조작되지 않는 앱이 있습니다. 시스템 설정, 비밀번호 관리자, 키체인이나 자격 증명 관리자, 시스템의 로그인 및 권한 확인 창, 그리고 AgentsRoom 자체입니다.
- 에이전트는 자격 증명을 절대 입력하지 않습니다. 비밀번호 입력란은 거부됩니다.
- 한 번에 창 하나만 다룹니다. 화면 전체 조작과 드래그 앤 드롭은 할 수 없습니다. 앱 하나에는 한 번에 에이전트 하나, 마우스도 한 번에 에이전트 하나만 씁니다.
- Linux에서는 X11 또는 XWayland 세션이 필요합니다. Wayland에서 네이티브로 그려지는 앱은 조작할 수 없습니다. Windows에서는 관리자 권한으로 시작한 앱을 조작할 수 없습니다.
- 세션이 잠겨 있거나 화면이 절전 상태이면 아무것도 조작되지 않고, 에이전트에게 그 이유가 전달됩니다. 밤에 실행되는 예약 에이전트를 쓰려면 컴퓨터 잠금이 풀려 있어야 합니다.
- SSH 호스트에서 실행되는 에이전트는 당신 컴퓨터의 앱을 조작할 수 없습니다.
- 휴대폰에서는 쓸 수 없습니다. 모바일 앱은 어떤 에이전트가 어떤 앱을 조작하는지 중지 버튼과 함께 보여 주지만, 접근 권한을 주거나 목록을 편집하거나 캡처를 보여 주지는 않습니다.
자주 묻는 질문
다른 질문하기Claude Code가 computer use로 데스크톱 앱을 테스트할 수 있나요?
Codex, Cursor 등 다른 CLI에도 computer use가 있나요?
Windows와 Linux에서도 동작하나요?
에이전트가 컴퓨터 전체를 장악할 수 있나요?
제가 일하는 동안 에이전트가 마우스를 움직이나요?
앱을 조작하는 에이전트는 어떻게 멈추나요?
macOS는 왜 AgentsRoom이 아니라 AgentsRoom App Control에 권한을 요청하나요?
제가 만들고 있는 Electron 앱을 테스트할 수 있나요?
예약 에이전트가 밤에 computer use를 쓸 수 있나요?
브라우저 자동화와 무엇이 다른가요?
더 알아보기
AI 에이전트 루프: 자가 교정형 코딩 에이전트가 끝까지 해내는 방법
AI 에이전트 루프는 프롬프트하고 고치는 방식을 자가 교정 사이클로 바꿉니다. 에이전트가 계획을 쓰고, 만들고, 자기 결과물을 계획에 비춰 검토한 뒤, 완료될 때까지 반복합니다. Claude Code, Codex, Antigravity CLI, Cursor, 그리고 Ralph loop에서 루프가 어떻게 작동하는지 알아봅니다.
MCP 토큰 사용량 줄이기: 도구 정의를 60% 줄인 방법
에이전트가 호출할 수 있는 MCP 도구 하나하나는 모델이 요청마다 읽을 수 있는 JSON 덩어리입니다. 저희 도구는 약 95,000토큰이었습니다. 내 도구를 2분 만에 측정하는 방법, 도구를 하나도 없애지 않고 줄인 것, 그리고 다시 불어나지 않게 막는 예산 검사를 소개합니다.
함께 보면 좋은 기능
Browser MCP • Embedded Chromium • Agent-driven QA
QA 에이전트가 localhost에 진짜 Chromium을 띄워 클릭하고, 입력하고, 스크린샷을 찍고, 콘솔을 읽어 기능이 작동하는지 확인합니다. Playwright 설정은 필요 없습니다.
iOS 시뮬레이터와 Android 에뮬레이터
Claude Code, Codex, Cursor가 iOS 시뮬레이터나 Android 에뮬레이터에서 모바일 앱을 테스트합니다. 빌드 설치, 탭, 입력, 스크린샷, 로그 확인까지 맡기세요.
에이전트 위임 : 개발에서 QA로 : 테스트는 더 저렴한 모델로
개발 에이전트가 MCP를 통해 테스트 실행을 더 저렴한 QA 에이전트에 넘깁니다. 비싼 모델은 코드에 집중하고, 토큰 청구서와 컨텍스트는 모두 가볍게 유지됩니다.
에이전트가 자기 창을 직접 확인하게 하세요.
Computer use는 macOS, Windows, Linux용 AgentsRoom에서 모든 에이전트 CLI에 제공됩니다. 어떤 앱을 허용할지는 당신이 정합니다.
컴패니언 앱: 이동 중에도 에이전트를 모니터링
Claude, Codex, Antigravity CLI 또는 다른 AI 공급자를 사용하세요.
버그와 요청을 공개 백로그로 바로 보내세요.
