AI エージェントが、作ったばかりの
デスクトップアプリをテスト
エージェントは Electron アプリの設定ウィンドウを書き換えましたが、一度も開いていません。AgentsRoom の Computer use があれば、エージェントがアプリを起動し、ウィンドウを見て、クリックして確かめ、「できました」と言う前にキャプチャを送ってきます。
Computer use は、AgentsRoom が Claude Code、Codex、Cursor をはじめとするエージェント CLI に渡す MCP サーバーです。エージェントは許可したアプリのウィンドウを 1 つ、画像とボタンや入力欄の一覧として受け取り、その中で操作します。クリック、入力、キー操作、スクロールです。開発中のアプリ、社内ツール、Chrome 以外のブラウザに使え、macOS、Windows、Linux に対応しています。
スクリーンショット
アプリの実際の画面です。この機能の進化に合わせて追加されます。
エージェント
アプリ用ツール
- app_launch
- app_snapshot
- app_click
- app_type
コーディングエージェントは、Electron アプリの新しいウィンドウ、macOS のネイティブビュー、Windows のフォームを数分で書けます。それでも確認は今もあなたの仕事です。ビルドして、アプリを開き、画面をクリックして回り、反応しないボタンを見つけ、それをエージェントに説明し直します。
Web アプリにはブラウザ用のツールがあり、モバイルアプリにはシミュレータがあります。デスクトップアプリには、テストに使える CLI も API もありません。一部の AI プロバイダーが提供する computer use は自社のエージェント専用で、たいていは画面全体が対象です。
AgentsRoom は、すべてのエージェント CLI 向けに Computer use を用意しています。プロジェクトのどのアプリを操作させるかはあなたが選び、操作できるのはそのアプリだけです。エージェントが見るのは一度に 1 つのウィンドウだけで、すべての操作はエージェントのコンソールに表示され、作業中は停止ボタン付きのバナーが画面に出続けます。
エージェントがデスクトップアプリでできること
変更のたびに手でやっていた確認を、その変更をしたエージェント自身が行います。
目的のアプリを開く
エージェントは、このコンピュータでプロジェクトに許可されたアプリを、起動中かどうかにかかわらず一覧にし、1 つを開くか前面に出して、必要なウィンドウを選びます。
ウィンドウを 1 つだけ見る
ウィンドウの画像と、ボタン、入力欄、メニューの名前付きの一覧を受け取ります。画面全体も、ほかのアプリも見ることはありません。
クリック、入力、スクロール
ボタンをクリックし、入力欄に文字を打ち、修飾キーと組み合わせてキーを押し、リストをスクロールしてから、もう一度ウィンドウを見て結果を確かめます。
マウスはあなたのまま
名前の付いたボタンのクリックはシステムのアクセシビリティ機能を通るので、ポインタは動かず、あなたは作業を続けられます。マウスを使うのは位置を指定したクリックだけで、それもあなたがマウスを使い終わるまで待ちます。
一覧にあるアプリだけ
プロジェクトごとに専用のアプリ一覧があり、最初は空です。一覧にアプリがなければ、どのエージェントも何も操作できません。エージェントはアプリや自分のアクセスを外すことはできますが、追加はできません。
いつでも見えて、いつでも止められる
どのエージェントがどのアプリを操作しているかを、バナーが停止ボタン付きで示します。グローバルショートカット(Ctrl+Alt+Shift+Esc)ですべてのエージェントを一度に止められ、すべての操作はエージェントのコンソールに記録されます。
仕組み
アプリを一度追加すれば、あとの確認はエージェントに任せられます。
- 1
アプリをプロジェクトに追加する
「プロジェクト設定 > 機能 > Computer use」を開いて「追加」をクリックし、開いているアプリ、インストール済みのアプリ、またはプロジェクトフォルダ内の実行ファイル(Electron のビルドなど)を選びます。
- 2
コンピュータに権限を与える
macOS では、「システム設定 > プライバシーとセキュリティ」の「アクセシビリティ」と「画面収録」で AgentsRoom App Control を許可します。該当する画面は AgentsRoom が開いてくれます。Windows では何も許可する必要はありません。
- 3
確認を頼む
アプリで変更を確かめるようエージェントに頼みます。エージェントはアプリを開き、ウィンドウを見て、テスターのようにクリックや入力をし、おかしな点があればコードを直してから、結果のキャプチャを送ってきます。
- 4
見守る、または止める
バナーには作業中のエージェントが表示され、下部バーの Computer use チップには誰が何を操作しているかが並び、「テスト > Computer use」には最新のキャプチャと操作が表示されます。「停止」を押せばすぐに終わります。
誰が決めるのか、どうオフにするのか
Computer use は既定ですべてのエージェントでオンですが、本当の関門は各プロジェクトのアプリ一覧で、これは最初は空です。アプリを追加するまで、どのエージェントも何も操作できません。
オフにするには、アカウント全体なら「設定 > Computer use」、1 つのプロジェクトなら「プロジェクト設定 > 機能 > Computer use」(アカウントに従う、オン、オフ)、1 つのエージェントなら「エージェントを編集 > 機能」を使います。オンにできるのはあなただけで、エージェントにできるのは自分のアクセスをオフにすることだけです。
スケジュール実行や Webhook のエージェントも、同じバナーと停止ボタン付きで使えるので、夜間の実行をスマートフォンから止められます。見知らぬ人のプルリクエストのような公開コンテンツをもとにした実行には、決して与えられません。
制限事項
- 一覧に追加しても、決して操作されないアプリがあります。システム設定、パスワードマネージャー、キーチェーンや資格情報マネージャー、システムのサインインや権限の確認画面、そして AgentsRoom 自身です。
- エージェントが認証情報を入力することはありません。パスワード欄は拒否されます。
- 一度に 1 つのウィンドウだけです。画面全体の操作やドラッグアンドドロップはできません。1 つのアプリを操作できるエージェントは一度に 1 つ、マウスを使えるエージェントも一度に 1 つだけです。
- Linux では X11 または XWayland のセッションが必要です。Wayland でネイティブに描画されるアプリは操作できません。Windows では、管理者として起動したアプリは操作できません。
- セッションがロックされているときや画面がスリープしているときは何も操作されず、エージェントにはその理由が伝えられます。夜間のスケジュール実行には、ロックされていないコンピュータが必要です。
- SSH ホストで動くエージェントは、あなたのコンピュータのアプリを操作できません。
- スマートフォンからは使えません。モバイルアプリには、どのエージェントがどのアプリを操作しているかが停止ボタン付きで表示されますが、アクセスの許可、一覧の編集、キャプチャの表示はできません。
よくある質問
ほかのことを質問するClaude Code は computer use でデスクトップアプリをテストできますか?
Codex、Cursor、そのほかの CLI でも computer use は使えますか?
Windows と Linux でも動きますか?
エージェントにコンピュータ全体を乗っ取られることはありませんか?
作業中にエージェントがマウスを動かしてしまいませんか?
アプリを操作しているエージェントを止めるには?
macOS が AgentsRoom ではなく AgentsRoom App Control の許可を求めるのはなぜですか?
開発中の Electron アプリをテストできますか?
スケジュール実行のエージェントは夜間に computer use を使えますか?
ブラウザ自動化とは何が違いますか?
さらに詳しく
AIエージェントのループ:自己修正するコーディングエージェントはこうして仕事をやり切る
AIエージェントのループは、プロンプトして直すという作業を自己修正のサイクルに変えます。エージェントが計画を書き、それを実装し、計画と照らして自分の仕事をレビューし、完了するまでループする。Claude Code、Codex、Antigravity CLI、Cursor、そしてRalph loopでこのループがどう動くかを解説します。
MCP のトークン消費を減らす:ツール定義を 60% 削った方法
エージェントが呼び出せる MCP ツールは、どれもモデルがリクエストのたびに読む可能性のある JSON の塊です。私たちのツールは約 95,000 トークンありました。自分のツールを 2 分で測る方法、ツールを 1 つも削除せずに削ったもの、そして再び膨らむのを防ぐ予算チェックを紹介します。
こちらもおすすめ
Browser MCP • Embedded Chromium • Agent-driven QA
QAエージェントがlocalhost上で本物のChromiumを開き、クリック、入力、スクリーンショット撮影、コンソールの読み取りを行い、機能が動作することを確認します。Playwrightの設定は不要です。
iOS シミュレータと Android エミュレータ
Claude Code、Codex、Cursor が iOS シミュレータや Android エミュレータでモバイルアプリをテスト。ビルドのインストール、タップ、入力、スクリーンショット、ログ確認まで任せられます。
エージェント委譲:開発からQAへ:テストには安価なモデル
開発エージェントがMCP経由でテストの実行を安価なQAエージェントに引き継ぎます。高価なモデルはコードに専念でき、トークン代もコンテキストも軽いままです。
自分のウィンドウは、エージェント自身に確かめさせましょう。
Computer use は macOS、Windows、Linux の AgentsRoom で、すべてのエージェント CLI に使えます。どのアプリを許可するかはあなたが決めます。
コンパニオンアプリ:外出先でもエージェントを確認
Claude、Codex、Antigravity CLI、またはその他の AI プロバイダーを使用します。
バグや要望を公開バックログに直接送信できます。
