Agen AI Anda menguji aplikasi desktop
yang baru saja dibuatnya
Agen Anda mengubah jendela pengaturan aplikasi Electron Anda, tapi tidak pernah membukanya. Dengan Computer use di AgentsRoom, agen menjalankan aplikasi, melihat jendelanya, mengkliknya satu per satu, dan mengirimkan tangkapan sebelum menyatakan pekerjaannya selesai.
Computer use adalah server MCP yang diberikan AgentsRoom kepada Claude Code, Codex, Cursor, dan CLI agen lainnya. Agen melihat satu jendela dari aplikasi yang Anda izinkan, berupa gambar beserta daftar tombol dan kolomnya, lalu bertindak di dalamnya: mengklik, mengetik, menekan tombol, menggulir. Cara ini berlaku untuk aplikasi yang sedang Anda buat, alat internal, atau browser selain Chrome, di macOS, Windows, dan Linux.
Tangkapan layar
Tangkapan layar asli dari aplikasi, ditambahkan seiring perkembangan fitur ini.
Agen
Alat aplikasi
- app_launch
- app_snapshot
- app_click
- app_type
Agen pemrograman bisa menulis jendela baru untuk aplikasi Electron Anda, view macOS native, atau form Windows dalam beberapa menit. Memeriksanya masih tugas Anda: build, buka aplikasi, klik layar demi layar, temukan tombol yang tidak melakukan apa-apa, lalu jelaskan kembali ke agen.
Aplikasi web punya alat browser, aplikasi mobile punya simulator. Aplikasi desktop tidak punya CLI maupun API untuk mengujinya. Computer use yang ditawarkan sebagian penyedia AI hanya bekerja dengan agen mereka sendiri, dan biasanya di seluruh layar Anda.
AgentsRoom menyediakan Computer use untuk setiap CLI agen. Anda memilih aplikasi mana dari sebuah proyek yang boleh dikendalikan, dan hanya aplikasi itu. Agen melihat satu jendela dalam satu waktu, setiap aksi tampil di konsolnya, dan banner dengan tombol Hentikan tetap ada di layar selama agen bekerja.
Yang bisa dilakukan agen Anda di aplikasi desktop
Pemeriksaan yang Anda lakukan manual setelah setiap perubahan, dikerjakan oleh agen yang membuat perubahan itu.
Membuka aplikasi yang tepat
Agen mencantumkan aplikasi yang diizinkan untuk proyek di komputer ini, yang sedang berjalan maupun tidak, membuka salah satunya atau membawanya ke depan, lalu memilih jendela yang dibutuhkannya.
Melihat satu jendela
Agen menerima gambar jendela dan daftar tombol, kolom, serta menunya beserta namanya. Tidak pernah seluruh layar Anda, tidak pernah aplikasi lain.
Mengklik, mengetik, menggulir
Agen mengklik tombol, mengetik di kolom, menekan tombol keyboard dengan pengubahnya, dan menggulir daftar, lalu melihat lagi untuk memeriksa hasilnya.
Mouse tetap milik Anda
Klik pada tombol yang punya nama lewat aksesibilitas sistem: penunjuk Anda tidak bergerak dan Anda tetap bisa bekerja. Hanya klik pada sebuah posisi yang memakai mouse, dan itu pun menunggu sampai Anda berhenti memakainya.
Hanya aplikasi yang Anda daftarkan
Setiap proyek punya daftar aplikasinya sendiri, kosong di awal. Tanpa aplikasi di daftar itu, tidak ada agen yang bisa mengendalikan apa pun. Agen bisa menghapus sebuah aplikasi atau aksesnya sendiri, tidak pernah menambahkannya.
Selalu terlihat, selalu bisa dihentikan
Sebuah banner menunjukkan agen mana yang mengendalikan aplikasi mana, dengan tombol Hentikan. Pintasan global (Ctrl+Alt+Shift+Esc) menghentikan semua agen sekaligus, dan setiap aksi dicatat di konsol agen.
Cara kerjanya
Tambahkan aplikasinya sekali, lalu biarkan agen yang memeriksa.
- 1
Tambahkan aplikasi ke proyek
Buka Pengaturan proyek > Kemampuan dan izin > Computer use lalu klik Tambah: pilih aplikasi yang sedang terbuka, aplikasi yang terinstal, atau file executable di dalam folder proyek, misalnya build Electron Anda.
- 2
Beri komputer izinnya
Di macOS, izinkan AgentsRoom App Control di Pengaturan Sistem > Privasi & Keamanan > Aksesibilitas dan Perekaman Layar. AgentsRoom membukakan panel yang tepat untuk Anda. Di Windows tidak ada yang perlu diizinkan.
- 3
Minta pemeriksaan
Minta agen memeriksa perubahannya di aplikasi. Agen membuka aplikasi, melihat jendelanya, mengklik dan mengetik seperti seorang penguji, memperbaiki kodenya jika ada yang salah, lalu mengirimkan tangkapan hasilnya.
- 4
Tonton atau hentikan
Banner menampilkan agen yang sedang bekerja, chip Computer use di bilah bawah mencantumkan siapa mengendalikan apa, dan Tes > Computer use menampilkan tangkapan dan aksi terakhir. Hentikan langsung mengakhirinya.
Siapa yang memutuskan, dan cara mematikannya
Computer use aktif untuk setiap agen secara default, tetapi gerbang sebenarnya adalah daftar aplikasi setiap proyek, yang awalnya kosong. Selama Anda belum menambahkan aplikasi, tidak ada agen yang bisa mengendalikan apa pun.
Anda bisa mematikannya untuk seluruh akun di Pengaturan > Computer use, untuk satu proyek di Pengaturan proyek > Kemampuan dan izin > Computer use (Ikuti akun, Aktif, atau Nonaktif), atau untuk satu agen di Edit agen > Kemampuan. Hanya Anda yang bisa menyalakannya: agen hanya bisa mematikan aksesnya sendiri.
Agen terjadwal dan agen webhook juga bisa memakainya, dengan banner dan tombol Hentikan yang sama, sehingga Anda bisa menghentikan eksekusi malam dari ponsel. Eksekusi yang dipicu oleh konten publik, seperti pull request dari orang asing, tidak pernah mendapatkannya.
Batasan
- Beberapa aplikasi tidak pernah dikendalikan, meskipun Anda menambahkannya: pengaturan sistem, pengelola kata sandi, keychain atau pengelola kredensial, jendela masuk dan permintaan izin dari sistem, serta AgentsRoom itu sendiri.
- Agen tidak pernah mengetik kredensial: kolom kata sandi ditolak.
- Satu jendela dalam satu waktu: tidak ada seluruh layar dan tidak ada drag and drop. Satu agen dalam satu waktu per aplikasi, dan satu agen dalam satu waktu untuk mouse.
- Linux: diperlukan sesi X11 atau XWayland. Aplikasi yang digambar langsung di Wayland tidak bisa dikendalikan. Windows: aplikasi yang dijalankan sebagai administrator tidak bisa dikendalikan.
- Sesi terkunci atau layar tidur: tidak ada yang dikendalikan dan agen diberi tahu alasannya. Agen terjadwal di malam hari membutuhkan komputer yang tidak terkunci.
- Agen yang berjalan di host SSH tidak bisa mengendalikan aplikasi di komputer Anda.
- Tidak dari ponsel: aplikasi mobile menunjukkan agen mana yang mengendalikan aplikasi mana, dengan Hentikan, tetapi tidak pernah memberi akses, mengubah daftar, atau menampilkan tangkapan.
Pertanyaan yang sering diajukan
Tanyakan hal lain kepada kamiBisakah Claude Code memakai computer use untuk menguji aplikasi desktop saya?
Apakah ada computer use untuk Codex, Cursor, dan CLI lainnya?
Apakah berfungsi di Windows dan Linux?
Bisakah agen mengambil alih seluruh komputer saya?
Apakah agen akan menggerakkan mouse saya saat saya bekerja?
Bagaimana cara menghentikan agen yang sedang mengendalikan aplikasi?
Mengapa macOS meminta izin untuk AgentsRoom App Control, bukan AgentsRoom?
Bisakah saya menguji aplikasi Electron yang sedang saya buat?
Bisakah agen terjadwal memakai computer use di malam hari?
Apa bedanya dengan otomasi browser?
Bacaan lanjutan
AI Agent Loop: Cara Agen Coding yang Mengoreksi Diri Sendiri Menuntaskan Pekerjaan
AI agent loop mengubah prompt-lalu-perbaiki menjadi siklus yang mengoreksi diri sendiri: agen menulis rencana, membangunnya, mereview hasil kerjanya sendiri terhadap rencana, dan terus berputar sampai selesai. Begini cara loop bekerja di Claude Code, Codex, Antigravity CLI, Cursor, dan Ralph loop.
Mengurangi Penggunaan Token MCP: Cara Kami Memangkas Definisi Alat Sebesar 60%
Setiap alat MCP yang bisa dipanggil agen Anda adalah blok JSON yang mungkin dibaca model di setiap permintaan. Milik kami berbobot sekitar 95.000 token. Inilah cara mengukur milik Anda dalam dua menit, apa yang kami pangkas tanpa menghapus satu alat pun, dan pemeriksaan anggaran yang mencegahnya membengkak lagi.
Anda mungkin juga suka
Browser MCP • Chromium tertanam • QA digerakkan agen
Agen QA kamu membuka Chromium sungguhan di localhost, mengeklik, mengetik, mengambil screenshot, membaca console, dan memastikan fitur benar berfungsi. Tanpa setup Playwright.
Simulator iOS dan Emulator Android
Biarkan Claude Code, Codex, atau Cursor menguji aplikasi mobile Anda di simulator iOS atau emulator Android: instal build, ketuk, ketik, tangkap layar, baca log.
Delegasi agen : dev ke QA : model lebih murah untuk tes
Agen dev Anda menyerahkan eksekusi tes ke agen QA yang lebih murah lewat MCP. Model mahal tetap fokus pada kode, sementara tagihan token dan konteks sama-sama tetap kecil.
Biarkan agen memeriksa jendelanya sendiri.
Computer use tersedia di AgentsRoom untuk macOS, Windows, dan Linux, bagi setiap CLI agen. Anda yang memilih aplikasinya.
Aplikasi pendamping: pantau agen Anda saat bepergian
Gunakan Claude, Codex, Antigravity CLI, atau penyedia AI lainnya.
Kirim bug dan permintaan langsung ke backlog publik Anda.
