Computer use

AI エージェントが、作ったばかりの
デスクトップアプリをテスト

エージェントは Electron アプリの設定ウィンドウを書き換えましたが、一度も開いていません。AgentsRoom の Computer use があれば、エージェントがアプリを起動し、ウィンドウを見て、クリックして確かめ、「できました」と言う前にキャプチャを送ってきます。

Computer use は、AgentsRoom が Claude Code、Codex、Cursor をはじめとするエージェント CLI に渡す MCP サーバーです。エージェントは許可したアプリのウィンドウを 1 つ、画像とボタンや入力欄の一覧として受け取り、その中で操作します。クリック、入力、キー操作、スクロールです。開発中のアプリ、社内ツール、Chrome 以外のブラウザに使え、macOS、Windows、Linux に対応しています。

スクリーンショット

アプリの実際の画面です。この機能の進化に合わせて追加されます。

  • エージェントがデスクトップアプリをテストする方法を説明するAgentsRoom Computer使用ページ
    新しいページが、エージェントがデスクトップアプリで作業を確認する方法を説明します。
Computer use

エージェント

新しい設定ウィンドウを確認

アプリ用ツール

  • app_launch
  • app_snapshot
  • app_click
  • app_type
QA エージェントが自作の Electron アプリを操作しています停止
自作の Electron アプリ

コーディングエージェントは、Electron アプリの新しいウィンドウ、macOS のネイティブビュー、Windows のフォームを数分で書けます。それでも確認は今もあなたの仕事です。ビルドして、アプリを開き、画面をクリックして回り、反応しないボタンを見つけ、それをエージェントに説明し直します。

Web アプリにはブラウザ用のツールがあり、モバイルアプリにはシミュレータがあります。デスクトップアプリには、テストに使える CLI も API もありません。一部の AI プロバイダーが提供する computer use は自社のエージェント専用で、たいていは画面全体が対象です。

AgentsRoom は、すべてのエージェント CLI 向けに Computer use を用意しています。プロジェクトのどのアプリを操作させるかはあなたが選び、操作できるのはそのアプリだけです。エージェントが見るのは一度に 1 つのウィンドウだけで、すべての操作はエージェントのコンソールに表示され、作業中は停止ボタン付きのバナーが画面に出続けます。

エージェントがデスクトップアプリでできること

変更のたびに手でやっていた確認を、その変更をしたエージェント自身が行います。

目的のアプリを開く

エージェントは、このコンピュータでプロジェクトに許可されたアプリを、起動中かどうかにかかわらず一覧にし、1 つを開くか前面に出して、必要なウィンドウを選びます。

ウィンドウを 1 つだけ見る

ウィンドウの画像と、ボタン、入力欄、メニューの名前付きの一覧を受け取ります。画面全体も、ほかのアプリも見ることはありません。

クリック、入力、スクロール

ボタンをクリックし、入力欄に文字を打ち、修飾キーと組み合わせてキーを押し、リストをスクロールしてから、もう一度ウィンドウを見て結果を確かめます。

マウスはあなたのまま

名前の付いたボタンのクリックはシステムのアクセシビリティ機能を通るので、ポインタは動かず、あなたは作業を続けられます。マウスを使うのは位置を指定したクリックだけで、それもあなたがマウスを使い終わるまで待ちます。

一覧にあるアプリだけ

プロジェクトごとに専用のアプリ一覧があり、最初は空です。一覧にアプリがなければ、どのエージェントも何も操作できません。エージェントはアプリや自分のアクセスを外すことはできますが、追加はできません。

いつでも見えて、いつでも止められる

どのエージェントがどのアプリを操作しているかを、バナーが停止ボタン付きで示します。グローバルショートカット(Ctrl+Alt+Shift+Esc)ですべてのエージェントを一度に止められ、すべての操作はエージェントのコンソールに記録されます。

仕組み

アプリを一度追加すれば、あとの確認はエージェントに任せられます。

  1. 1

    アプリをプロジェクトに追加する

    「プロジェクト設定 > 機能 > Computer use」を開いて「追加」をクリックし、開いているアプリ、インストール済みのアプリ、またはプロジェクトフォルダ内の実行ファイル(Electron のビルドなど)を選びます。

  2. 2

    コンピュータに権限を与える

    macOS では、「システム設定 > プライバシーとセキュリティ」の「アクセシビリティ」と「画面収録」で AgentsRoom App Control を許可します。該当する画面は AgentsRoom が開いてくれます。Windows では何も許可する必要はありません。

  3. 3

    確認を頼む

    アプリで変更を確かめるようエージェントに頼みます。エージェントはアプリを開き、ウィンドウを見て、テスターのようにクリックや入力をし、おかしな点があればコードを直してから、結果のキャプチャを送ってきます。

  4. 4

    見守る、または止める

    バナーには作業中のエージェントが表示され、下部バーの Computer use チップには誰が何を操作しているかが並び、「テスト > Computer use」には最新のキャプチャと操作が表示されます。「停止」を押せばすぐに終わります。

誰が決めるのか、どうオフにするのか

Computer use は既定ですべてのエージェントでオンですが、本当の関門は各プロジェクトのアプリ一覧で、これは最初は空です。アプリを追加するまで、どのエージェントも何も操作できません。

オフにするには、アカウント全体なら「設定 > Computer use」、1 つのプロジェクトなら「プロジェクト設定 > 機能 > Computer use」(アカウントに従う、オン、オフ)、1 つのエージェントなら「エージェントを編集 > 機能」を使います。オンにできるのはあなただけで、エージェントにできるのは自分のアクセスをオフにすることだけです。

スケジュール実行や Webhook のエージェントも、同じバナーと停止ボタン付きで使えるので、夜間の実行をスマートフォンから止められます。見知らぬ人のプルリクエストのような公開コンテンツをもとにした実行には、決して与えられません。

制限事項

  • 一覧に追加しても、決して操作されないアプリがあります。システム設定、パスワードマネージャー、キーチェーンや資格情報マネージャー、システムのサインインや権限の確認画面、そして AgentsRoom 自身です。
  • エージェントが認証情報を入力することはありません。パスワード欄は拒否されます。
  • 一度に 1 つのウィンドウだけです。画面全体の操作やドラッグアンドドロップはできません。1 つのアプリを操作できるエージェントは一度に 1 つ、マウスを使えるエージェントも一度に 1 つだけです。
  • Linux では X11 または XWayland のセッションが必要です。Wayland でネイティブに描画されるアプリは操作できません。Windows では、管理者として起動したアプリは操作できません。
  • セッションがロックされているときや画面がスリープしているときは何も操作されず、エージェントにはその理由が伝えられます。夜間のスケジュール実行には、ロックされていないコンピュータが必要です。
  • SSH ホストで動くエージェントは、あなたのコンピュータのアプリを操作できません。
  • スマートフォンからは使えません。モバイルアプリには、どのエージェントがどのアプリを操作しているかが停止ボタン付きで表示されますが、アクセスの許可、一覧の編集、キャプチャの表示はできません。
Claude Code は computer use でデスクトップアプリをテストできますか?
はい。AgentsRoom で、「プロジェクト設定 > 機能 > Computer use」からアプリをプロジェクトの一覧に追加します。すると Claude Code のエージェントがアプリ用ツールを使えるようになり、アプリを開き、ウィンドウを 1 つ見て、クリックし、入力し、キャプチャを送ってきます。Anthropic 独自の computer use には頼らないので、ほかのエージェントでも同じように動きます。
Codex、Cursor、そのほかの CLI でも computer use は使えますか?
はい、同じものが使えます。AgentsRoom の Computer use は MCP サーバーで、AgentsRoom のツールを受け取るすべてのエージェント CLI に渡されます。Claude Code、Codex、GitHub Copilot CLI、Cursor、Gemini CLI、OpenCode、Antigravity などです。CLI ごとの設定は不要です。Aider には MCP クライアントがなく、2026 年 11 月に追加された Hermes Agent、Goose、Qwen Code、Kiro、Rovo Dev は、まだ AgentsRoom のツールを受け取りません。
Windows と Linux でも動きますか?
はい。Windows では何も許可する必要はありません。Linux では X11 または XWayland のセッションが必要です。Wayland でネイティブに描画されるアプリは操作できません。アクセシビリティバス(AT-SPI)が有効ならボタンは名前で読み取られ、無効ならエージェントは位置を指定してクリックします。macOS では、AgentsRoom App Control に 2 つの権限を与えます。
エージェントにコンピュータ全体を乗っ取られることはありませんか?
ありません。エージェントが見て操作できるのはプロジェクトの一覧にあるアプリだけで、それも一度に 1 つのウィンドウです。システム設定、パスワードマネージャー、キーチェーン、サインインの確認画面、AgentsRoom 自身は、一覧に追加しても拒否され、パスワード欄も拒否されます。すべての操作はバナーとエージェントのコンソールに表示されます。
作業中にエージェントがマウスを動かしてしまいませんか?
ほとんどの場合、動かしません。名前の付いたボタンのクリックはシステムのアクセシビリティ機能を通るので、ポインタは動かず、アプリが前面に飛び出すこともありません。マウスを使うのは位置を指定したクリックだけで、それもあなたがマウスとキーボードを使い終わるまで待ちます。
アプリを操作しているエージェントを止めるには?
バナー、エージェントのコンソール、下部バーの Computer use チップ、または「テスト > Computer use」で「停止」をクリックするか、Ctrl+Alt+Shift+Esc を押します。このショートカットはすべてのエージェントを一度に止めます。エージェントは、あなたが「もう一度許可」をクリックするか、そのコンソールを再起動するまで止まったままです。スマートフォンでも、上部のバーに停止ボタンがあります。
macOS が AgentsRoom ではなく AgentsRoom App Control の許可を求めるのはなぜですか?
アクセシビリティと画面収録の 2 つの権限は、別のヘルパーに与えられます。こうすることで、エージェントがターミナルで実行するコマンドはこれらの権限を引き継ぎません。macOS 15 以降では、画面収録の許可をときどき求め直されることがあります。
開発中の Electron アプリをテストできますか?
はい。アプリの一覧で「このプロジェクトのアプリ」を選び、プロジェクトフォルダ内にあるビルドの実行ファイルを指定します。するとエージェントがビルドし直し、新しいバージョンを開いて変更を確かめられます。ネイティブアプリ、社内ツール、Chrome 以外のブラウザにも使えます。
スケジュール実行のエージェントは夜間に computer use を使えますか?
はい。ほかのエージェントと同じく、同じバナーと停止ボタン付きで使え、スマートフォンにはどのアプリを操作しているかが表示されます。ロックされたセッションでは何も操作されないので、コンピュータはロックしないでおく必要があります。公開コンテンツをもとにした実行には、Computer use は与えられません。
ブラウザ自動化とは何が違いますか?
ブラウザ自動化は、AgentsRoom 組み込みのブラウザやあなたの Chrome で、ページ用のツールを使って Web ページを操作します。Computer use は、Web ページではないアプリのためのものです。デスクトップアプリ、ネイティブツール、API のないウィンドウなどです。シミュレータとエミュレータにも専用のツールがあります。

さらに詳しく

こちらもおすすめ

自分のウィンドウは、エージェント自身に確かめさせましょう。

Computer use は macOS、Windows、Linux の AgentsRoom で、すべてのエージェント CLI に使えます。どのアプリを許可するかはあなたが決めます。

AgentsRoom をダウンロード無料

コンパニオンアプリ:外出先でもエージェントを確認

Claude、Codex、Antigravity CLI、またはその他の AI プロバイダーを使用します。

バグや要望を公開バックログに直接送信できます。