Computer use

आपके AI एजेंट वह डेस्कटॉप ऐप टेस्ट करते हैं
जो उन्होंने अभी बनाया

आपके एजेंट ने आपके Electron ऐप की सेटिंग्स विंडो बदल दी, पर उसे कभी खोलकर नहीं देखा। AgentsRoom में Computer use के साथ वह ऐप लॉन्च करता है, विंडो देखता है, उस पर क्लिक करते हुए आगे बढ़ता है और काम पूरा बताने से पहले आपको एक कैप्चर भेजता है।

Computer use एक MCP सर्वर है जो AgentsRoom, Claude Code, Codex, Cursor और बाकी एजेंट CLI को देता है। एजेंट आपके अनुमति दिए ऐप की एक विंडो देखता है, एक इमेज और उसके बटन व फ़ील्ड की सूची के रूप में, और उसमें काम करता है: क्लिक, टाइप, कोई की दबाना, स्क्रॉल। यह आपके बनाए जा रहे ऐप, किसी आंतरिक टूल या Chrome के अलावा किसी दूसरे ब्राउज़र के लिए काम करता है, macOS, Windows और Linux पर।

स्क्रीनशॉट

ऐप के असली स्क्रीनशॉट, जो इस फ़ीचर के विकास के साथ जोड़े जाते हैं।

  • AgentsRoom कंप्यूटर उपयोग पेज जो समझाता है कि agents एक डेस्कटॉप ऐप का परीक्षण कैसे करते हैं
    एक नया पेज समझाता है कि आपके agents एक डेस्कटॉप ऐप में अपने काम की जांच कैसे करते हैं।
Computer use

एजेंट

नई सेटिंग्स विंडो जाँचें

ऐप टूल

  • app_launch
  • app_snapshot
  • app_click
  • app_type
QA एजेंट मेरा Electron ऐप चला रहा हैरोकें
मेरा Electron ऐप

कोडिंग एजेंट कुछ ही मिनटों में आपके Electron ऐप के लिए नई विंडो, macOS का नेटिव व्यू या Windows का फ़ॉर्म लिख सकता है। उसे जाँचना अब भी आपका काम है: बिल्ड करना, ऐप खोलना, स्क्रीन पर क्लिक करते जाना, वह बटन पकड़ना जो कुछ नहीं करता, फिर एजेंट को उसके बारे में बताना।

वेब ऐप के पास ब्राउज़र टूल हैं, मोबाइल ऐप के पास सिम्युलेटर। डेस्कटॉप ऐप के पास न CLI है, न कोई API जिससे उसे टेस्ट किया जा सके। कुछ AI प्रोवाइडर जो computer use देते हैं, वह सिर्फ़ उनके अपने एजेंट के साथ चलता है, और आम तौर पर आपकी पूरी स्क्रीन पर।

AgentsRoom हर एजेंट CLI के लिए Computer use देता है। आप चुनते हैं कि किसी प्रोजेक्ट के कौन से ऐप चलाए जा सकते हैं, और सिर्फ़ वही। एजेंट एक बार में एक विंडो देखता है, हर कार्रवाई उसके कंसोल में दिखती है, और जब तक वह काम करता है, रोकें बटन वाला एक बैनर स्क्रीन पर बना रहता है।

आपके एजेंट डेस्कटॉप ऐप में क्या कर सकते हैं

हर बदलाव के बाद जो जाँच आप हाथ से करते हैं, वह अब वही एजेंट करता है जिसने बदलाव किया।

सही ऐप खोलना

एजेंट इस कंप्यूटर पर प्रोजेक्ट के लिए अनुमति दिए गए ऐप की सूची देखता है, चल रहे हों या नहीं, उनमें से एक को खोलता है या सामने लाता है, और अपनी ज़रूरत की विंडो चुनता है।

एक विंडो देखना

उसे विंडो की एक इमेज और उसके बटन, फ़ील्ड और मेन्यू की सूची उनके नामों के साथ मिलती है। आपकी पूरी स्क्रीन कभी नहीं, कोई दूसरा ऐप कभी नहीं।

क्लिक, टाइप, स्क्रॉल

वह कोई बटन क्लिक करता है, किसी फ़ील्ड में टाइप करता है, मॉडिफ़ायर के साथ कोई की दबाता है और सूची स्क्रॉल करता है, फिर नतीजा जाँचने के लिए दोबारा देखता है।

आपका माउस आपका ही रहता है

नाम वाले बटन पर क्लिक सिस्टम की एक्सेसिबिलिटी से होता है: आपका पॉइंटर नहीं हिलता और आप काम करते रहते हैं। सिर्फ़ किसी जगह पर किया गया क्लिक माउस लेता है, और वह तब तक इंतज़ार करता है जब तक आप माउस इस्तेमाल करना बंद न कर दें।

सिर्फ़ वही ऐप जो आप सूची में डालें

हर प्रोजेक्ट की ऐप की अपनी सूची होती है, जो शुरू में खाली रहती है। उसमें कोई ऐप न हो तो कोई एजेंट कुछ नहीं चला सकता। एजेंट कोई ऐप या अपना एक्सेस हटा सकता है, जोड़ कभी नहीं सकता।

हमेशा नज़र में, हमेशा रोका जा सकता है

एक बैनर बताता है कि कौन सा एजेंट कौन सा ऐप चला रहा है, रोकें बटन के साथ। एक ग्लोबल शॉर्टकट (Ctrl+Alt+Shift+Esc) सभी एजेंटों को एक साथ रोक देता है, और हर कार्रवाई एजेंट के कंसोल में लिखी जाती है।

यह कैसे काम करता है

ऐप एक बार जोड़ें, फिर जाँच का काम एजेंट पर छोड़ दें।

  1. 1

    ऐप को प्रोजेक्ट में जोड़ें

    प्रोजेक्ट सेटिंग्स > क्षमताएँ और अनुमतियाँ > Computer use खोलें और जोड़ें पर क्लिक करें: कोई खुला ऐप, कोई इंस्टॉल किया ऐप, या प्रोजेक्ट फ़ोल्डर के अंदर की कोई एक्ज़ीक्यूटेबल फ़ाइल चुनें, जैसे आपका Electron बिल्ड।

  2. 2

    कंप्यूटर को उसकी अनुमतियाँ दें

    macOS पर, सिस्टम सेटिंग्ज़ > गोपनीयता और सुरक्षा > ऐक्सेसिबिलिटी और स्क्रीन रिकॉर्डिंग में AgentsRoom App Control को अनुमति दें। AgentsRoom आपके लिए सही पैनल खोल देता है। Windows पर कुछ भी अनुमति देने की ज़रूरत नहीं।

  3. 3

    जाँच के लिए कहें

    एजेंट से कहें कि वह ऐप में अपना बदलाव जाँचे। वह ऐप खोलता है, विंडो देखता है, एक टेस्टर की तरह क्लिक और टाइप करता है, कुछ गलत हो तो अपना कोड ठीक करता है, फिर आपको नतीजे का एक कैप्चर भेजता है।

  4. 4

    उसे देखें, या रोक दें

    बैनर काम करते एजेंट को दिखाता है, नीचे की बार में Computer use चिप बताती है कि कौन क्या चला रहा है, और टेस्ट > Computer use आख़िरी कैप्चर और कार्रवाइयाँ दिखाता है। रोकें उसे तुरंत ख़त्म कर देता है।

फ़ैसला कौन करता है, और इसे बंद कैसे करें

Computer use डिफ़ॉल्ट रूप से हर एजेंट के लिए चालू है, पर असली दरवाज़ा हर प्रोजेक्ट की ऐप सूची है, जो खाली शुरू होती है। जब तक आप कोई ऐप नहीं जोड़ते, कोई एजेंट कुछ नहीं चला सकता।

आप इसे पूरे अकाउंट के लिए सेटिंग्स > Computer use में, एक प्रोजेक्ट के लिए प्रोजेक्ट सेटिंग्स > क्षमताएँ और अनुमतियाँ > Computer use में (अकाउंट के अनुसार, चालू या बंद), या एक एजेंट के लिए एजेंट संपादित करें > क्षमताएँ में बंद कर सकते हैं। इसे चालू सिर्फ़ आप कर सकते हैं: एजेंट सिर्फ़ अपना एक्सेस बंद कर सकता है।

शेड्यूल किए गए और वेबहुक वाले एजेंट भी इसे इस्तेमाल कर सकते हैं, उसी बैनर और रोकें बटन के साथ, ताकि आप रात का कोई रन अपने फ़ोन से रोक सकें। सार्वजनिक कंटेंट से चलने वाले रन को, जैसे किसी अनजान व्यक्ति का पुल रिक्वेस्ट, यह कभी नहीं मिलता।

सीमाएँ

  • कुछ ऐप कभी नहीं चलाए जाते, भले ही आप उन्हें जोड़ दें: सिस्टम सेटिंग्स, पासवर्ड मैनेजर, कीचेन या क्रेडेंशियल मैनेजर, सिस्टम के साइन-इन और अनुमति वाले प्रॉम्प्ट, और खुद AgentsRoom।
  • एजेंट कभी क्रेडेंशियल टाइप नहीं करते: पासवर्ड फ़ील्ड मना कर दिए जाते हैं।
  • एक बार में एक विंडो: पूरी स्क्रीन नहीं और ड्रैग एंड ड्रॉप नहीं। हर ऐप पर एक बार में एक एजेंट, और माउस पर एक बार में एक एजेंट।
  • Linux: X11 या XWayland सेशन चाहिए। Wayland पर नेटिव रूप से बने ऐप नहीं चलाए जा सकते। Windows: एडमिनिस्ट्रेटर के रूप में शुरू किया गया ऐप नहीं चलाया जा सकता।
  • लॉक सेशन या सोई हुई स्क्रीन: कुछ नहीं चलाया जाता और एजेंट को कारण बताया जाता है। रात में शेड्यूल किए गए एजेंट को अनलॉक कंप्यूटर चाहिए।
  • SSH होस्ट पर चलने वाले एजेंट आपके कंप्यूटर के ऐप नहीं चला सकते।
  • फ़ोन से नहीं: मोबाइल ऐप दिखाता है कि कौन सा एजेंट कौन सा ऐप चला रहा है, रोकें के साथ, पर वह कभी एक्सेस नहीं देता, सूची नहीं बदलता और कैप्चर नहीं दिखाता।

अक्सर पूछे जाने वाले सवाल

हमसे कुछ और पूछें
क्या Claude Code मेरे डेस्कटॉप ऐप को टेस्ट करने के लिए computer use इस्तेमाल कर सकता है?
हाँ। AgentsRoom में, प्रोजेक्ट सेटिंग्स > क्षमताएँ और अनुमतियाँ > Computer use में अपना ऐप प्रोजेक्ट की सूची में जोड़ें। फिर आपके Claude Code एजेंट को ऐप टूल मिल जाते हैं: वह ऐप खोलता है, एक विंडो देखता है, क्लिक और टाइप करता है और आपको एक कैप्चर भेजता है। यह Anthropic के अपने computer use पर निर्भर नहीं है, इसलिए आपके बाकी एजेंटों के साथ भी ऐसे ही काम करता है।
क्या Codex, Cursor और बाकी CLI के लिए भी computer use है?
हाँ, यही वाला। AgentsRoom में Computer use एक MCP सर्वर है, जो AgentsRoom के टूल पाने वाले हर एजेंट CLI को मिलता है: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity और बाकी। हर CLI के लिए अलग से कुछ सेट नहीं करना। Aider में MCP क्लाइंट नहीं है, और नवंबर 2026 में जोड़े गए Hermes Agent, Goose, Qwen Code, Kiro और Rovo Dev को अभी AgentsRoom के टूल नहीं मिलते।
क्या यह Windows और Linux पर काम करता है?
हाँ। Windows पर कुछ भी अनुमति देने की ज़रूरत नहीं। Linux पर X11 या XWayland सेशन चाहिए: Wayland पर नेटिव रूप से बने ऐप नहीं चलाए जा सकते, और जब एक्सेसिबिलिटी बस (AT-SPI) चालू हो तो बटन नाम से पढ़े जाते हैं, वरना एजेंट जगह के हिसाब से क्लिक करता है। macOS पर आप AgentsRoom App Control को दो अनुमतियाँ देते हैं।
क्या कोई एजेंट मेरा पूरा कंप्यूटर अपने कब्ज़े में ले सकता है?
नहीं। वह सिर्फ़ प्रोजेक्ट की सूची वाले ऐप देखता और चलाता है, एक बार में एक विंडो। सिस्टम सेटिंग्स, पासवर्ड मैनेजर, कीचेन, साइन-इन प्रॉम्प्ट और खुद AgentsRoom आपके जोड़ने पर भी मना रहते हैं, और पासवर्ड फ़ील्ड भी मना होते हैं। हर कार्रवाई बैनर में और एजेंट के कंसोल में दिखती है।
क्या मेरे काम करते समय एजेंट मेरा माउस हिलाएगा?
ज़्यादातर नहीं। नाम वाले बटन पर क्लिक सिस्टम की एक्सेसिबिलिटी से होता है, इसलिए आपका पॉइंटर नहीं हिलता और ऐप उछलकर सामने नहीं आता। सिर्फ़ किसी जगह पर किया गया क्लिक माउस लेता है, और वह तब तक इंतज़ार करता है जब तक आप माउस और कीबोर्ड इस्तेमाल करना बंद न कर दें।
ऐप चला रहे एजेंट को मैं कैसे रोकूँ?
बैनर पर, एजेंट के कंसोल में, नीचे की बार की Computer use चिप में या टेस्ट > Computer use में रोकें पर क्लिक करें, या Ctrl+Alt+Shift+Esc दबाएँ, जो सभी एजेंटों को एक साथ रोक देता है। एजेंट तब तक रुका रहता है जब तक आप दोबारा अनुमति दें पर क्लिक न करें या उसका कंसोल रीस्टार्ट न करें। फ़ोन से भी, ऊपर की बार में एक रोकें बटन है।
macOS, AgentsRoom की जगह AgentsRoom App Control के लिए अनुमति क्यों माँगता है?
दोनों अनुमतियाँ, ऐक्सेसिबिलिटी और स्क्रीन रिकॉर्डिंग, एक अलग हेल्पर प्रोग्राम को मिलती हैं। इस तरह एजेंट अपने टर्मिनल में जो कमांड चलाता है, उसे ये अनुमतियाँ विरासत में नहीं मिलतीं। macOS 15 और उसके बाद के वर्ज़न बीच-बीच में स्क्रीन रिकॉर्डिंग की अनुमति दोबारा माँग सकते हैं।
क्या मैं वह Electron ऐप टेस्ट कर सकता हूँ जो मैं बना रहा हूँ?
हाँ। ऐप की सूची में इस प्रोजेक्ट का ऐप चुनें और प्रोजेक्ट फ़ोल्डर के अंदर अपने बिल्ड की एक्ज़ीक्यूटेबल फ़ाइल चुनें। फिर एजेंट दोबारा बिल्ड कर सकता है, नया वर्ज़न खोल सकता है और बदलाव जाँच सकता है। यह किसी नेटिव ऐप, आंतरिक टूल या Chrome के अलावा किसी दूसरे ब्राउज़र के लिए भी काम करता है।
क्या शेड्यूल किया गया एजेंट रात में computer use इस्तेमाल कर सकता है?
हाँ, किसी भी एजेंट की तरह, उसी बैनर और रोकें बटन के साथ, और फ़ोन दिखाता है कि वह कौन सा ऐप चला रहा है। कंप्यूटर अनलॉक रहना चाहिए, क्योंकि लॉक सेशन पर कुछ नहीं चलाया जाता। सार्वजनिक कंटेंट से चलने वाले रन को Computer use कभी नहीं मिलता।
यह ब्राउज़र ऑटोमेशन से कैसे अलग है?
ब्राउज़र ऑटोमेशन, AgentsRoom में बने ब्राउज़र या आपके अपने Chrome में वेब पेज चलाता है, पेज टूल के ज़रिए। Computer use उन ऐप के लिए है जो वेब पेज नहीं हैं: डेस्कटॉप ऐप, नेटिव टूल, बिना API वाली विंडो। सिम्युलेटर और एमुलेटर के भी अपने टूल हैं।

और जानें

AI एजेंट लूप: सेल्फ-करेक्टिंग कोडिंग एजेंट काम कैसे खुद पूरा करते हैं

एक AI एजेंट लूप prompt-और-fix को एक सेल्फ-करेक्टिंग साइकल में बदल देता है: एजेंट एक प्लान लिखता है, उसे बनाता है, अपने काम को प्लान के मुकाबले खुद रिव्यू करता है, और तब तक लूप करता है जब तक काम पूरा न हो जाए। Claude Code, Codex, Antigravity CLI, Cursor और Ralph loop में यह लूप कैसे काम करता है।

MCP टोकन खपत कैसे कम करें: हमने अपनी टूल परिभाषाएँ 60% कैसे घटाईं

आपका एजेंट जिस भी MCP टूल को कॉल कर सकता है, वह JSON का एक ब्लॉक है जिसे मॉडल हर अनुरोध पर पढ़ सकता है। हमारे टूल लगभग 95,000 टोकन के थे। यहाँ जानिए अपने टूल दो मिनट में कैसे मापें, हमने एक भी टूल हटाए बिना क्या काटा, और वह बजट जाँच जो उन्हें फिर से बढ़ने नहीं देती।

आपको यह भी पसंद आ सकता है

एजेंट को अपनी विंडो खुद जाँचने दें।

Computer use, macOS, Windows और Linux पर AgentsRoom में है, हर एजेंट CLI के लिए। ऐप आप तय करते हैं।

AgentsRoom डाउनलोड करेंमुफ़्त

कंपेनियन ऐप: चलते-फिरते अपने एजेंट्स मॉनिटर करें

Claude, Codex, Antigravity CLI या किसी अन्य AI प्रदाता का उपयोग करें।

बग और अनुरोध सीधे अपने सार्वजनिक बैकलॉग में भेजें।