Computer use

Agen AI Anda menguji aplikasi desktop
yang baru saja dibuatnya

Agen Anda mengubah jendela pengaturan aplikasi Electron Anda, tapi tidak pernah membukanya. Dengan Computer use di AgentsRoom, agen menjalankan aplikasi, melihat jendelanya, mengkliknya satu per satu, dan mengirimkan tangkapan sebelum menyatakan pekerjaannya selesai.

Computer use adalah server MCP yang diberikan AgentsRoom kepada Claude Code, Codex, Cursor, dan CLI agen lainnya. Agen melihat satu jendela dari aplikasi yang Anda izinkan, berupa gambar beserta daftar tombol dan kolomnya, lalu bertindak di dalamnya: mengklik, mengetik, menekan tombol, menggulir. Cara ini berlaku untuk aplikasi yang sedang Anda buat, alat internal, atau browser selain Chrome, di macOS, Windows, dan Linux.

Tangkapan layar

Tangkapan layar asli dari aplikasi, ditambahkan seiring perkembangan fitur ini.

  • Halaman Penggunaan Komputer AgentsRoom menjelaskan bagaimana agent menguji aplikasi desktop
    Halaman baru menjelaskan bagaimana agent Anda memeriksa pekerjaan mereka di aplikasi desktop.
Computer use

Agen

Periksa jendela pengaturan yang baru

Alat aplikasi

  • app_launch
  • app_snapshot
  • app_click
  • app_type
Agen QA sedang mengendalikan Aplikasi Electron sayaHentikan
Aplikasi Electron saya

Agen pemrograman bisa menulis jendela baru untuk aplikasi Electron Anda, view macOS native, atau form Windows dalam beberapa menit. Memeriksanya masih tugas Anda: build, buka aplikasi, klik layar demi layar, temukan tombol yang tidak melakukan apa-apa, lalu jelaskan kembali ke agen.

Aplikasi web punya alat browser, aplikasi mobile punya simulator. Aplikasi desktop tidak punya CLI maupun API untuk mengujinya. Computer use yang ditawarkan sebagian penyedia AI hanya bekerja dengan agen mereka sendiri, dan biasanya di seluruh layar Anda.

AgentsRoom menyediakan Computer use untuk setiap CLI agen. Anda memilih aplikasi mana dari sebuah proyek yang boleh dikendalikan, dan hanya aplikasi itu. Agen melihat satu jendela dalam satu waktu, setiap aksi tampil di konsolnya, dan banner dengan tombol Hentikan tetap ada di layar selama agen bekerja.

Yang bisa dilakukan agen Anda di aplikasi desktop

Pemeriksaan yang Anda lakukan manual setelah setiap perubahan, dikerjakan oleh agen yang membuat perubahan itu.

Membuka aplikasi yang tepat

Agen mencantumkan aplikasi yang diizinkan untuk proyek di komputer ini, yang sedang berjalan maupun tidak, membuka salah satunya atau membawanya ke depan, lalu memilih jendela yang dibutuhkannya.

Melihat satu jendela

Agen menerima gambar jendela dan daftar tombol, kolom, serta menunya beserta namanya. Tidak pernah seluruh layar Anda, tidak pernah aplikasi lain.

Mengklik, mengetik, menggulir

Agen mengklik tombol, mengetik di kolom, menekan tombol keyboard dengan pengubahnya, dan menggulir daftar, lalu melihat lagi untuk memeriksa hasilnya.

Mouse tetap milik Anda

Klik pada tombol yang punya nama lewat aksesibilitas sistem: penunjuk Anda tidak bergerak dan Anda tetap bisa bekerja. Hanya klik pada sebuah posisi yang memakai mouse, dan itu pun menunggu sampai Anda berhenti memakainya.

Hanya aplikasi yang Anda daftarkan

Setiap proyek punya daftar aplikasinya sendiri, kosong di awal. Tanpa aplikasi di daftar itu, tidak ada agen yang bisa mengendalikan apa pun. Agen bisa menghapus sebuah aplikasi atau aksesnya sendiri, tidak pernah menambahkannya.

Selalu terlihat, selalu bisa dihentikan

Sebuah banner menunjukkan agen mana yang mengendalikan aplikasi mana, dengan tombol Hentikan. Pintasan global (Ctrl+Alt+Shift+Esc) menghentikan semua agen sekaligus, dan setiap aksi dicatat di konsol agen.

Cara kerjanya

Tambahkan aplikasinya sekali, lalu biarkan agen yang memeriksa.

  1. 1

    Tambahkan aplikasi ke proyek

    Buka Pengaturan proyek > Kemampuan dan izin > Computer use lalu klik Tambah: pilih aplikasi yang sedang terbuka, aplikasi yang terinstal, atau file executable di dalam folder proyek, misalnya build Electron Anda.

  2. 2

    Beri komputer izinnya

    Di macOS, izinkan AgentsRoom App Control di Pengaturan Sistem > Privasi & Keamanan > Aksesibilitas dan Perekaman Layar. AgentsRoom membukakan panel yang tepat untuk Anda. Di Windows tidak ada yang perlu diizinkan.

  3. 3

    Minta pemeriksaan

    Minta agen memeriksa perubahannya di aplikasi. Agen membuka aplikasi, melihat jendelanya, mengklik dan mengetik seperti seorang penguji, memperbaiki kodenya jika ada yang salah, lalu mengirimkan tangkapan hasilnya.

  4. 4

    Tonton atau hentikan

    Banner menampilkan agen yang sedang bekerja, chip Computer use di bilah bawah mencantumkan siapa mengendalikan apa, dan Tes > Computer use menampilkan tangkapan dan aksi terakhir. Hentikan langsung mengakhirinya.

Siapa yang memutuskan, dan cara mematikannya

Computer use aktif untuk setiap agen secara default, tetapi gerbang sebenarnya adalah daftar aplikasi setiap proyek, yang awalnya kosong. Selama Anda belum menambahkan aplikasi, tidak ada agen yang bisa mengendalikan apa pun.

Anda bisa mematikannya untuk seluruh akun di Pengaturan > Computer use, untuk satu proyek di Pengaturan proyek > Kemampuan dan izin > Computer use (Ikuti akun, Aktif, atau Nonaktif), atau untuk satu agen di Edit agen > Kemampuan. Hanya Anda yang bisa menyalakannya: agen hanya bisa mematikan aksesnya sendiri.

Agen terjadwal dan agen webhook juga bisa memakainya, dengan banner dan tombol Hentikan yang sama, sehingga Anda bisa menghentikan eksekusi malam dari ponsel. Eksekusi yang dipicu oleh konten publik, seperti pull request dari orang asing, tidak pernah mendapatkannya.

Batasan

  • Beberapa aplikasi tidak pernah dikendalikan, meskipun Anda menambahkannya: pengaturan sistem, pengelola kata sandi, keychain atau pengelola kredensial, jendela masuk dan permintaan izin dari sistem, serta AgentsRoom itu sendiri.
  • Agen tidak pernah mengetik kredensial: kolom kata sandi ditolak.
  • Satu jendela dalam satu waktu: tidak ada seluruh layar dan tidak ada drag and drop. Satu agen dalam satu waktu per aplikasi, dan satu agen dalam satu waktu untuk mouse.
  • Linux: diperlukan sesi X11 atau XWayland. Aplikasi yang digambar langsung di Wayland tidak bisa dikendalikan. Windows: aplikasi yang dijalankan sebagai administrator tidak bisa dikendalikan.
  • Sesi terkunci atau layar tidur: tidak ada yang dikendalikan dan agen diberi tahu alasannya. Agen terjadwal di malam hari membutuhkan komputer yang tidak terkunci.
  • Agen yang berjalan di host SSH tidak bisa mengendalikan aplikasi di komputer Anda.
  • Tidak dari ponsel: aplikasi mobile menunjukkan agen mana yang mengendalikan aplikasi mana, dengan Hentikan, tetapi tidak pernah memberi akses, mengubah daftar, atau menampilkan tangkapan.

Pertanyaan yang sering diajukan

Tanyakan hal lain kepada kami
Bisakah Claude Code memakai computer use untuk menguji aplikasi desktop saya?
Bisa. Di AgentsRoom, tambahkan aplikasi Anda ke daftar proyek di Pengaturan proyek > Kemampuan dan izin > Computer use. Agen Claude Code Anda lalu mendapatkan alat aplikasi: membuka aplikasi, melihat satu jendela, mengklik, mengetik, dan mengirimkan tangkapan. Fitur ini tidak bergantung pada computer use milik Anthropic, jadi bekerja dengan cara yang sama untuk agen Anda yang lain.
Apakah ada computer use untuk Codex, Cursor, dan CLI lainnya?
Ada, dan itu yang sama. Computer use di AgentsRoom adalah server MCP yang diberikan ke setiap CLI agen yang menerima alat AgentsRoom: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity, dan lainnya. Tidak ada yang perlu dikonfigurasi per CLI. Aider tidak punya klien MCP, sedangkan Hermes Agent, Goose, Qwen Code, Kiro, dan Rovo Dev, yang ditambahkan pada November 2026, belum mendapatkan alat AgentsRoom.
Apakah berfungsi di Windows dan Linux?
Ya. Di Windows tidak ada yang perlu diizinkan. Di Linux diperlukan sesi X11 atau XWayland: aplikasi yang digambar langsung di Wayland tidak bisa dikendalikan, dan tombol dibaca berdasarkan namanya saat bus aksesibilitas (AT-SPI) aktif, jika tidak agen mengklik berdasarkan posisi. Di macOS Anda memberi dua izin kepada AgentsRoom App Control.
Bisakah agen mengambil alih seluruh komputer saya?
Tidak. Agen hanya melihat dan mengendalikan aplikasi yang ada di daftar proyek, satu jendela dalam satu waktu. Pengaturan sistem, pengelola kata sandi, keychain, jendela masuk, dan AgentsRoom itu sendiri tetap ditolak meskipun Anda menambahkannya, dan kolom kata sandi juga ditolak. Setiap aksi tampil di banner dan di konsol agen.
Apakah agen akan menggerakkan mouse saya saat saya bekerja?
Hampir selalu tidak. Klik pada tombol yang punya nama lewat aksesibilitas sistem, jadi penunjuk Anda tidak bergerak dan aplikasinya tidak melompat ke depan. Hanya klik pada sebuah posisi yang memakai mouse, dan itu pun menunggu sampai Anda berhenti memakai mouse dan keyboard.
Bagaimana cara menghentikan agen yang sedang mengendalikan aplikasi?
Klik Hentikan di banner, di konsol agen, di chip Computer use pada bilah bawah, atau di Tes > Computer use, atau tekan Ctrl+Alt+Shift+Esc, yang menghentikan semua agen sekaligus. Agen tetap berhenti sampai Anda mengklik Izinkan lagi atau memulai ulang konsolnya. Dari ponsel, bilah di bagian atas juga punya tombol Hentikan.
Mengapa macOS meminta izin untuk AgentsRoom App Control, bukan AgentsRoom?
Kedua izin, Aksesibilitas dan Perekaman Layar, diberikan ke program pembantu yang terpisah. Dengan begitu, perintah yang dijalankan agen di terminalnya tidak mewarisinya. macOS 15 dan versi sesudahnya bisa sesekali meminta izin Perekaman Layar lagi.
Bisakah saya menguji aplikasi Electron yang sedang saya buat?
Bisa. Di daftar aplikasi, pilih Aplikasi proyek ini lalu pilih file executable build Anda di dalam folder proyek. Agen lalu bisa build ulang, membuka versi baru, dan memeriksa perubahannya. Cara ini juga berlaku untuk aplikasi native, alat internal, atau browser selain Chrome.
Bisakah agen terjadwal memakai computer use di malam hari?
Bisa, seperti agen lainnya, dengan banner dan tombol Hentikan yang sama, dan ponsel menunjukkan aplikasi mana yang dikendalikannya. Komputer harus tetap tidak terkunci, karena tidak ada yang dikendalikan pada sesi yang terkunci. Eksekusi yang dipicu oleh konten publik tidak pernah mendapatkan Computer use.
Apa bedanya dengan otomasi browser?
Otomasi browser mengendalikan halaman web di browser bawaan AgentsRoom atau di Chrome Anda sendiri, lewat alat halaman. Computer use ditujukan untuk aplikasi yang bukan halaman web: aplikasi desktop, alat native, jendela tanpa API. Simulator dan emulator juga punya alatnya sendiri.

Bacaan lanjutan

Anda mungkin juga suka

Biarkan agen memeriksa jendelanya sendiri.

Computer use tersedia di AgentsRoom untuk macOS, Windows, dan Linux, bagi setiap CLI agen. Anda yang memilih aplikasinya.

Unduh AgentsRoomGratis

Aplikasi pendamping: pantau agen Anda saat bepergian

Gunakan Claude, Codex, Antigravity CLI, atau penyedia AI lainnya.

Kirim bug dan permintaan langsung ke backlog publik Anda.