आपके AI एजेंट वह डेस्कटॉप ऐप टेस्ट करते हैं
जो उन्होंने अभी बनाया
आपके एजेंट ने आपके Electron ऐप की सेटिंग्स विंडो बदल दी, पर उसे कभी खोलकर नहीं देखा। AgentsRoom में Computer use के साथ वह ऐप लॉन्च करता है, विंडो देखता है, उस पर क्लिक करते हुए आगे बढ़ता है और काम पूरा बताने से पहले आपको एक कैप्चर भेजता है।
Computer use एक MCP सर्वर है जो AgentsRoom, Claude Code, Codex, Cursor और बाकी एजेंट CLI को देता है। एजेंट आपके अनुमति दिए ऐप की एक विंडो देखता है, एक इमेज और उसके बटन व फ़ील्ड की सूची के रूप में, और उसमें काम करता है: क्लिक, टाइप, कोई की दबाना, स्क्रॉल। यह आपके बनाए जा रहे ऐप, किसी आंतरिक टूल या Chrome के अलावा किसी दूसरे ब्राउज़र के लिए काम करता है, macOS, Windows और Linux पर।
स्क्रीनशॉट
ऐप के असली स्क्रीनशॉट, जो इस फ़ीचर के विकास के साथ जोड़े जाते हैं।
एजेंट
ऐप टूल
- app_launch
- app_snapshot
- app_click
- app_type
कोडिंग एजेंट कुछ ही मिनटों में आपके Electron ऐप के लिए नई विंडो, macOS का नेटिव व्यू या Windows का फ़ॉर्म लिख सकता है। उसे जाँचना अब भी आपका काम है: बिल्ड करना, ऐप खोलना, स्क्रीन पर क्लिक करते जाना, वह बटन पकड़ना जो कुछ नहीं करता, फिर एजेंट को उसके बारे में बताना।
वेब ऐप के पास ब्राउज़र टूल हैं, मोबाइल ऐप के पास सिम्युलेटर। डेस्कटॉप ऐप के पास न CLI है, न कोई API जिससे उसे टेस्ट किया जा सके। कुछ AI प्रोवाइडर जो computer use देते हैं, वह सिर्फ़ उनके अपने एजेंट के साथ चलता है, और आम तौर पर आपकी पूरी स्क्रीन पर।
AgentsRoom हर एजेंट CLI के लिए Computer use देता है। आप चुनते हैं कि किसी प्रोजेक्ट के कौन से ऐप चलाए जा सकते हैं, और सिर्फ़ वही। एजेंट एक बार में एक विंडो देखता है, हर कार्रवाई उसके कंसोल में दिखती है, और जब तक वह काम करता है, रोकें बटन वाला एक बैनर स्क्रीन पर बना रहता है।
आपके एजेंट डेस्कटॉप ऐप में क्या कर सकते हैं
हर बदलाव के बाद जो जाँच आप हाथ से करते हैं, वह अब वही एजेंट करता है जिसने बदलाव किया।
सही ऐप खोलना
एजेंट इस कंप्यूटर पर प्रोजेक्ट के लिए अनुमति दिए गए ऐप की सूची देखता है, चल रहे हों या नहीं, उनमें से एक को खोलता है या सामने लाता है, और अपनी ज़रूरत की विंडो चुनता है।
एक विंडो देखना
उसे विंडो की एक इमेज और उसके बटन, फ़ील्ड और मेन्यू की सूची उनके नामों के साथ मिलती है। आपकी पूरी स्क्रीन कभी नहीं, कोई दूसरा ऐप कभी नहीं।
क्लिक, टाइप, स्क्रॉल
वह कोई बटन क्लिक करता है, किसी फ़ील्ड में टाइप करता है, मॉडिफ़ायर के साथ कोई की दबाता है और सूची स्क्रॉल करता है, फिर नतीजा जाँचने के लिए दोबारा देखता है।
आपका माउस आपका ही रहता है
नाम वाले बटन पर क्लिक सिस्टम की एक्सेसिबिलिटी से होता है: आपका पॉइंटर नहीं हिलता और आप काम करते रहते हैं। सिर्फ़ किसी जगह पर किया गया क्लिक माउस लेता है, और वह तब तक इंतज़ार करता है जब तक आप माउस इस्तेमाल करना बंद न कर दें।
सिर्फ़ वही ऐप जो आप सूची में डालें
हर प्रोजेक्ट की ऐप की अपनी सूची होती है, जो शुरू में खाली रहती है। उसमें कोई ऐप न हो तो कोई एजेंट कुछ नहीं चला सकता। एजेंट कोई ऐप या अपना एक्सेस हटा सकता है, जोड़ कभी नहीं सकता।
हमेशा नज़र में, हमेशा रोका जा सकता है
एक बैनर बताता है कि कौन सा एजेंट कौन सा ऐप चला रहा है, रोकें बटन के साथ। एक ग्लोबल शॉर्टकट (Ctrl+Alt+Shift+Esc) सभी एजेंटों को एक साथ रोक देता है, और हर कार्रवाई एजेंट के कंसोल में लिखी जाती है।
यह कैसे काम करता है
ऐप एक बार जोड़ें, फिर जाँच का काम एजेंट पर छोड़ दें।
- 1
ऐप को प्रोजेक्ट में जोड़ें
प्रोजेक्ट सेटिंग्स > क्षमताएँ और अनुमतियाँ > Computer use खोलें और जोड़ें पर क्लिक करें: कोई खुला ऐप, कोई इंस्टॉल किया ऐप, या प्रोजेक्ट फ़ोल्डर के अंदर की कोई एक्ज़ीक्यूटेबल फ़ाइल चुनें, जैसे आपका Electron बिल्ड।
- 2
कंप्यूटर को उसकी अनुमतियाँ दें
macOS पर, सिस्टम सेटिंग्ज़ > गोपनीयता और सुरक्षा > ऐक्सेसिबिलिटी और स्क्रीन रिकॉर्डिंग में AgentsRoom App Control को अनुमति दें। AgentsRoom आपके लिए सही पैनल खोल देता है। Windows पर कुछ भी अनुमति देने की ज़रूरत नहीं।
- 3
जाँच के लिए कहें
एजेंट से कहें कि वह ऐप में अपना बदलाव जाँचे। वह ऐप खोलता है, विंडो देखता है, एक टेस्टर की तरह क्लिक और टाइप करता है, कुछ गलत हो तो अपना कोड ठीक करता है, फिर आपको नतीजे का एक कैप्चर भेजता है।
- 4
उसे देखें, या रोक दें
बैनर काम करते एजेंट को दिखाता है, नीचे की बार में Computer use चिप बताती है कि कौन क्या चला रहा है, और टेस्ट > Computer use आख़िरी कैप्चर और कार्रवाइयाँ दिखाता है। रोकें उसे तुरंत ख़त्म कर देता है।
फ़ैसला कौन करता है, और इसे बंद कैसे करें
Computer use डिफ़ॉल्ट रूप से हर एजेंट के लिए चालू है, पर असली दरवाज़ा हर प्रोजेक्ट की ऐप सूची है, जो खाली शुरू होती है। जब तक आप कोई ऐप नहीं जोड़ते, कोई एजेंट कुछ नहीं चला सकता।
आप इसे पूरे अकाउंट के लिए सेटिंग्स > Computer use में, एक प्रोजेक्ट के लिए प्रोजेक्ट सेटिंग्स > क्षमताएँ और अनुमतियाँ > Computer use में (अकाउंट के अनुसार, चालू या बंद), या एक एजेंट के लिए एजेंट संपादित करें > क्षमताएँ में बंद कर सकते हैं। इसे चालू सिर्फ़ आप कर सकते हैं: एजेंट सिर्फ़ अपना एक्सेस बंद कर सकता है।
शेड्यूल किए गए और वेबहुक वाले एजेंट भी इसे इस्तेमाल कर सकते हैं, उसी बैनर और रोकें बटन के साथ, ताकि आप रात का कोई रन अपने फ़ोन से रोक सकें। सार्वजनिक कंटेंट से चलने वाले रन को, जैसे किसी अनजान व्यक्ति का पुल रिक्वेस्ट, यह कभी नहीं मिलता।
सीमाएँ
- कुछ ऐप कभी नहीं चलाए जाते, भले ही आप उन्हें जोड़ दें: सिस्टम सेटिंग्स, पासवर्ड मैनेजर, कीचेन या क्रेडेंशियल मैनेजर, सिस्टम के साइन-इन और अनुमति वाले प्रॉम्प्ट, और खुद AgentsRoom।
- एजेंट कभी क्रेडेंशियल टाइप नहीं करते: पासवर्ड फ़ील्ड मना कर दिए जाते हैं।
- एक बार में एक विंडो: पूरी स्क्रीन नहीं और ड्रैग एंड ड्रॉप नहीं। हर ऐप पर एक बार में एक एजेंट, और माउस पर एक बार में एक एजेंट।
- Linux: X11 या XWayland सेशन चाहिए। Wayland पर नेटिव रूप से बने ऐप नहीं चलाए जा सकते। Windows: एडमिनिस्ट्रेटर के रूप में शुरू किया गया ऐप नहीं चलाया जा सकता।
- लॉक सेशन या सोई हुई स्क्रीन: कुछ नहीं चलाया जाता और एजेंट को कारण बताया जाता है। रात में शेड्यूल किए गए एजेंट को अनलॉक कंप्यूटर चाहिए।
- SSH होस्ट पर चलने वाले एजेंट आपके कंप्यूटर के ऐप नहीं चला सकते।
- फ़ोन से नहीं: मोबाइल ऐप दिखाता है कि कौन सा एजेंट कौन सा ऐप चला रहा है, रोकें के साथ, पर वह कभी एक्सेस नहीं देता, सूची नहीं बदलता और कैप्चर नहीं दिखाता।
अक्सर पूछे जाने वाले सवाल
हमसे कुछ और पूछेंक्या Claude Code मेरे डेस्कटॉप ऐप को टेस्ट करने के लिए computer use इस्तेमाल कर सकता है?
क्या Codex, Cursor और बाकी CLI के लिए भी computer use है?
क्या यह Windows और Linux पर काम करता है?
क्या कोई एजेंट मेरा पूरा कंप्यूटर अपने कब्ज़े में ले सकता है?
क्या मेरे काम करते समय एजेंट मेरा माउस हिलाएगा?
ऐप चला रहे एजेंट को मैं कैसे रोकूँ?
macOS, AgentsRoom की जगह AgentsRoom App Control के लिए अनुमति क्यों माँगता है?
क्या मैं वह Electron ऐप टेस्ट कर सकता हूँ जो मैं बना रहा हूँ?
क्या शेड्यूल किया गया एजेंट रात में computer use इस्तेमाल कर सकता है?
यह ब्राउज़र ऑटोमेशन से कैसे अलग है?
और जानें
AI एजेंट लूप: सेल्फ-करेक्टिंग कोडिंग एजेंट काम कैसे खुद पूरा करते हैं
एक AI एजेंट लूप prompt-और-fix को एक सेल्फ-करेक्टिंग साइकल में बदल देता है: एजेंट एक प्लान लिखता है, उसे बनाता है, अपने काम को प्लान के मुकाबले खुद रिव्यू करता है, और तब तक लूप करता है जब तक काम पूरा न हो जाए। Claude Code, Codex, Antigravity CLI, Cursor और Ralph loop में यह लूप कैसे काम करता है।
MCP टोकन खपत कैसे कम करें: हमने अपनी टूल परिभाषाएँ 60% कैसे घटाईं
आपका एजेंट जिस भी MCP टूल को कॉल कर सकता है, वह JSON का एक ब्लॉक है जिसे मॉडल हर अनुरोध पर पढ़ सकता है। हमारे टूल लगभग 95,000 टोकन के थे। यहाँ जानिए अपने टूल दो मिनट में कैसे मापें, हमने एक भी टूल हटाए बिना क्या काटा, और वह बजट जाँच जो उन्हें फिर से बढ़ने नहीं देती।
आपको यह भी पसंद आ सकता है
Browser MCP • Embedded Chromium • Agent-driven QA
आपका QA एजेंट आपके localhost पर असली Chromium खोलता है, क्लिक और टाइप करता है, स्क्रीनशॉट लेता है, कंसोल पढ़ता है और पुष्टि करता है कि फ़ीचर चलता है। कोई Playwright सेटअप नहीं।
iOS सिम्युलेटर और Android एमुलेटर
Claude Code, Codex या Cursor को iOS सिम्युलेटर या Android एमुलेटर पर आपका मोबाइल ऐप टेस्ट करने दें: बिल्ड इंस्टॉल, टैप, टाइप, स्क्रीनशॉट और लॉग।
एजेंट डेलिगेशन : डेव से QA : टेस्ट पर सस्ता मॉडल
आपका डेव एजेंट टेस्ट चलाने का काम MCP के ज़रिए एक सस्ते QA एजेंट को सौंप देता है। महंगा मॉडल कोड पर टिका रहता है, और टोकन बिल तथा कॉन्टेक्स्ट दोनों छोटे रहते हैं।
एजेंट को अपनी विंडो खुद जाँचने दें।
Computer use, macOS, Windows और Linux पर AgentsRoom में है, हर एजेंट CLI के लिए। ऐप आप तय करते हैं।
कंपेनियन ऐप: चलते-फिरते अपने एजेंट्स मॉनिटर करें
Claude, Codex, Antigravity CLI या किसी अन्य AI प्रदाता का उपयोग करें।
बग और अनुरोध सीधे अपने सार्वजनिक बैकलॉग में भेजें।
