เอเจนต์ AI ของคุณทดสอบแอปเดสก์ท็อป
ที่ตัวเองเพิ่งสร้างเสร็จ
เอเจนต์ของคุณแก้หน้าต่างการตั้งค่าของแอป Electron แล้ว แต่ไม่เคยเปิดดูเลย ด้วย Computer use ใน AgentsRoom เอเจนต์จะเปิดแอป ดูหน้าต่าง คลิกไล่ไปทีละส่วน และส่งภาพหน้าจอให้คุณก่อนจะบอกว่างานเสร็จ
Computer use คือเซิร์ฟเวอร์ MCP ที่ AgentsRoom มอบให้ Claude Code, Codex, Cursor และ CLI เอเจนต์อื่นๆ เอเจนต์เห็นหน้าต่างเดียวของแอปที่คุณอนุญาต เป็นภาพพร้อมรายการปุ่มและช่องกรอกข้อมูล แล้วลงมือในหน้าต่างนั้นได้: คลิก พิมพ์ กดแป้น เลื่อน ใช้ได้กับแอปที่คุณกำลังสร้าง เครื่องมือภายใน หรือเบราว์เซอร์อื่นที่ไม่ใช่ Chrome บน macOS, Windows และ Linux
ภาพหน้าจอ
ภาพจริงจากแอป เพิ่มเติมตามการพัฒนาของฟีเจอร์นี้
เอเจนต์
เครื่องมือแอป
- app_launch
- app_snapshot
- app_click
- app_type
เอเจนต์เขียนโค้ดเขียนหน้าต่างใหม่ให้แอป Electron, view แบบเนทีฟของ macOS หรือฟอร์มของ Windows ได้ในไม่กี่นาที แต่การตรวจยังเป็นงานของคุณ: บิลด์ เปิดแอป คลิกไล่ไปตามหน้าจอ สังเกตเห็นปุ่มที่กดแล้วไม่เกิดอะไรขึ้น แล้วอธิบายกลับไปให้เอเจนต์
เว็บแอปมีเครื่องมือเบราว์เซอร์ แอปมือถือมีซิมูเลเตอร์ แต่แอปเดสก์ท็อปไม่มีทั้ง CLI และ API ไว้ทดสอบ ส่วน computer use ที่ผู้ให้บริการ AI บางรายมีให้ ใช้ได้กับเอเจนต์ของผู้ให้บริการนั้นเท่านั้น และมักทำงานบนทั้งหน้าจอของคุณ
AgentsRoom มี Computer use ให้ทุก CLI เอเจนต์ คุณเลือกเองว่าแอปไหนของโปรเจกต์ที่ควบคุมได้ และควบคุมได้เฉพาะแอปเหล่านั้น เอเจนต์เห็นทีละหน้าต่าง ทุกการกระทำแสดงในคอนโซลของเอเจนต์ และแบนเนอร์ที่มีปุ่ม “หยุด” จะอยู่บนหน้าจอตลอดเวลาที่เอเจนต์ทำงาน
สิ่งที่เอเจนต์ของคุณทำได้ในแอปเดสก์ท็อป
การตรวจที่คุณทำเองหลังการแก้ไขทุกครั้ง ทำโดยเอเจนต์ที่แก้ไขนั้นเอง
เปิดแอปที่ถูกตัว
เอเจนต์แสดงรายการแอปที่อนุญาตสำหรับโปรเจกต์บนคอมพิวเตอร์เครื่องนี้ ทั้งที่เปิดอยู่และยังไม่เปิด เปิดแอปหนึ่งหรือดึงขึ้นมาไว้ด้านหน้า แล้วเลือกหน้าต่างที่ต้องใช้
เห็นทีละหน้าต่าง
เอเจนต์ได้ภาพของหน้าต่าง พร้อมรายการปุ่ม ช่องกรอกข้อมูล และเมนูพร้อมชื่อ ไม่เคยเห็นทั้งหน้าจอของคุณ และไม่เคยเห็นแอปอื่น
คลิก พิมพ์ เลื่อน
เอเจนต์คลิกปุ่ม พิมพ์ลงในช่อง กดแป้นพร้อมแป้นร่วมอย่าง Ctrl หรือ Shift และเลื่อนรายการ แล้วดูหน้าต่างอีกครั้งเพื่อตรวจผล
เมาส์ยังเป็นของคุณ
การคลิกปุ่มที่มีชื่อจะผ่านระบบการช่วยการเข้าถึงของระบบปฏิบัติการ ตัวชี้ของคุณไม่ขยับและคุณทำงานต่อได้ มีเพียงการคลิกตามตำแหน่งเท่านั้นที่ใช้เมาส์ และจะรอจนกว่าคุณหยุดใช้เมาส์ก่อน
เฉพาะแอปที่คุณใส่ไว้ในรายการ
แต่ละโปรเจกต์มีรายการแอปของตัวเอง ซึ่งเริ่มต้นว่างเปล่า ถ้าไม่มีแอปในรายการ ก็ไม่มีเอเจนต์ใดควบคุมอะไรได้ เอเจนต์ลบแอปหรือสิทธิ์ของตัวเองออกได้ แต่เพิ่มไม่ได้เลย
มองเห็นได้เสมอ หยุดได้เสมอ
แบนเนอร์บอกว่าเอเจนต์ไหนกำลังควบคุมแอปไหน พร้อมปุ่ม “หยุด” คีย์ลัดส่วนกลาง (Ctrl+Alt+Shift+Esc) หยุดเอเจนต์ทุกตัวพร้อมกัน และทุกการกระทำถูกบันทึกไว้ในคอนโซลของเอเจนต์
วิธีการทำงาน
เพิ่มแอปครั้งเดียว แล้วปล่อยให้เอเจนต์เป็นคนตรวจ
- 1
เพิ่มแอปให้โปรเจกต์
เปิด “การตั้งค่าโปรเจกต์ > ความสามารถ > Computer use” แล้วคลิก “เพิ่ม”: เลือกแอปที่เปิดอยู่ แอปที่ติดตั้งไว้ หรือไฟล์ที่รันได้ภายในโฟลเดอร์โปรเจกต์ เช่น บิลด์ Electron ของคุณ
- 2
ให้สิทธิ์ที่จำเป็นกับคอมพิวเตอร์
บน macOS ให้อนุญาต AgentsRoom App Control ใน “การตั้งค่าระบบ > ความเป็นส่วนตัวและความปลอดภัย” ทั้งใน “การช่วยการเข้าถึง” และ “การบันทึกหน้าจอ” AgentsRoom จะเปิดหน้าที่ถูกต้องให้คุณ บน Windows ไม่ต้องให้สิทธิ์อะไร
- 3
ขอให้เอเจนต์ตรวจ
ขอให้เอเจนต์ตรวจการแก้ไขของตัวเองในแอป เอเจนต์จะเปิดแอป ดูหน้าต่าง คลิกและพิมพ์เหมือนผู้ทดสอบ แก้โค้ดเมื่อพบสิ่งที่ผิด แล้วส่งภาพหน้าจอของผลลัพธ์ให้คุณ
- 4
ดูเอเจนต์ทำงาน หรือหยุดไว้
แบนเนอร์แสดงเอเจนต์ที่กำลังทำงาน ชิป Computer use ในแถบด้านล่างแสดงว่าใครกำลังควบคุมอะไร และ “การทดสอบ > Computer use” แสดงภาพหน้าจอและการกระทำล่าสุด ปุ่ม “หยุด” จะหยุดทุกอย่างทันที
ใครเป็นคนตัดสินใจ และปิดได้อย่างไร
Computer use เปิดไว้สำหรับเอเจนต์ทุกตัวเป็นค่าเริ่มต้น แต่ด่านจริงคือรายการแอปของแต่ละโปรเจกต์ ซึ่งเริ่มต้นว่างเปล่า จนกว่าคุณจะเพิ่มแอป ก็ไม่มีเอเจนต์ใดควบคุมอะไรได้
คุณปิดได้ทั้งบัญชีใน “การตั้งค่า > Computer use” ปิดสำหรับโปรเจกต์เดียวใน “การตั้งค่าโปรเจกต์ > ความสามารถ > Computer use” (“ตามบัญชี” “เปิด” หรือ “ปิด”) หรือปิดสำหรับเอเจนต์ตัวเดียวใน “แก้ไขเอเจนต์ > ความสามารถ” มีแค่คุณที่เปิดได้: เอเจนต์ปิดได้เฉพาะสิทธิ์ของตัวเอง
เอเจนต์ที่ตั้งเวลาไว้และเอเจนต์ที่เริ่มจาก webhook ก็ใช้ได้เช่นกัน พร้อมแบนเนอร์และปุ่ม “หยุด” แบบเดียวกัน คุณจึงหยุดงานที่รันตอนกลางคืนได้จากโทรศัพท์ งานที่รันจากเนื้อหาสาธารณะ เช่น pull request จากคนแปลกหน้า จะไม่ได้สิทธิ์นี้เลย
ข้อจำกัด
- แอปบางตัวจะไม่ถูกควบคุมเลย แม้คุณจะเพิ่มเข้าไป: การตั้งค่าระบบ ตัวจัดการรหัสผ่าน พวงกุญแจหรือตัวจัดการข้อมูลประจำตัว หน้าต่างเข้าสู่ระบบและหน้าต่างขอสิทธิ์ของระบบ และตัว AgentsRoom เอง
- เอเจนต์ไม่พิมพ์ข้อมูลเข้าสู่ระบบเด็ดขาด: ช่องรหัสผ่านจะถูกปฏิเสธ
- ทีละหน้าต่าง: ไม่มีการควบคุมทั้งหน้าจอ และไม่มีการลากวาง แอปหนึ่งตัวมีเอเจนต์ควบคุมได้ครั้งละตัวเดียว และเมาส์ก็ใช้ได้ครั้งละเอเจนต์เดียว
- Linux: ต้องใช้เซสชัน X11 หรือ XWayland แอปที่วาดบน Wayland โดยตรงจะควบคุมไม่ได้ Windows: แอปที่เริ่มด้วยสิทธิ์ผู้ดูแลระบบจะควบคุมไม่ได้
- เซสชันที่ล็อกอยู่หรือหน้าจอที่อยู่ในโหมดพัก: จะไม่มีอะไรถูกควบคุม และเอเจนต์จะได้รับแจ้งเหตุผล เอเจนต์ที่ตั้งเวลาให้ทำงานตอนกลางคืนต้องใช้คอมพิวเตอร์ที่ไม่ได้ล็อก
- เอเจนต์ที่รันบนโฮสต์ SSH ควบคุมแอปบนคอมพิวเตอร์ของคุณไม่ได้
- ไม่มีบนโทรศัพท์: แอปมือถือแสดงว่าเอเจนต์ไหนควบคุมแอปไหน พร้อมปุ่ม “หยุด” แต่ไม่ให้สิทธิ์ ไม่แก้ไขรายการ และไม่แสดงภาพหน้าจอ
คำถามที่พบบ่อย
ถามเราเรื่องอื่นClaude Code ใช้ computer use ทดสอบแอปเดสก์ท็อปของฉันได้ไหม
มี computer use สำหรับ Codex, Cursor และ CLI อื่นๆ ไหม
ใช้บน Windows และ Linux ได้ไหม
เอเจนต์จะยึดคอมพิวเตอร์ทั้งเครื่องของฉันได้ไหม
เอเจนต์จะขยับเมาส์ของฉันระหว่างที่ฉันทำงานไหม
จะหยุดเอเจนต์ที่กำลังควบคุมแอปได้อย่างไร
ทำไม macOS ถามหา AgentsRoom App Control แทนที่จะเป็น AgentsRoom
ทดสอบแอป Electron ที่ฉันกำลังสร้างได้ไหม
เอเจนต์ที่ตั้งเวลาไว้ใช้ computer use ตอนกลางคืนได้ไหม
ต่างจากการทำงานอัตโนมัติของเบราว์เซอร์อย่างไร
เจาะลึกเพิ่มเติม
วงจรเอเจนต์ AI: วิธีที่เอเจนต์การเขียนโค้ดที่แก้ไขตัวเองเสร็จสิ้นงาน
วงจรเอเจนต์ AI เปลี่ยนการสั่งพรอมต์แล้วแก้ไขให้เป็นวงจรที่แก้ไขตัวเอง: เอเจนต์เขียนแผน สร้างมัน ตรวจสอบงานของตัวเองกับแผน และวนซ้ำจนกว่าจะเสร็จสิ้น วงจรทำงานอย่างไรใน Claude Code, Codex, Antigravity CLI, Cursor และวงจร Ralph.
ลดการใช้โทเค็นของ MCP: เราลดคำจำกัดความของเครื่องมือลง 60% ได้อย่างไร
เครื่องมือ MCP ทุกตัวที่เอเจนต์ของคุณเรียกใช้ได้คือบล็อก JSON ที่โมเดลอาจอ่านในทุกคำขอ ของเราหนักราว 95,000 โทเค็น นี่คือวิธีวัดของคุณภายในสองนาที สิ่งที่เราตัดออกโดยไม่ลบเครื่องมือแม้แต่ตัวเดียว และการตรวจงบประมาณที่ไม่ปล่อยให้มันกลับมาบวมอีก
คุณอาจสนใจ
Browser MCP • Chromium ฝังตัว • QA ขับเคลื่อนโดยเอเจนต์
เอเจนต์ QA ของคุณเปิดเบราว์เซอร์ Chromium จริงบน localhost ของคุณ คลิก พิมพ์ ถ่ายภาพหน้าจอ อ่านคอนโซล และยืนยันว่าฟีเจอร์ทำงานได้จริง ไม่ต้องตั้งค่า Playwright เลย
ซิมูเลเตอร์ iOS และอีมูเลเตอร์ Android
ให้ Claude Code, Codex หรือ Cursor ทดสอบแอปมือถือของคุณบนซิมูเลเตอร์ iOS หรืออีมูเลเตอร์ Android: ติดตั้งบิลด์ แตะ พิมพ์ จับภาพหน้าจอ และอ่านล็อก
การมอบหมายเอเจนต์: Dev ไปยัง QA: โมเดลที่มีค่าใช้จ่ายถูกกว่าบนการทดสอบ
เอเจนต์พัฒนาของคุณส่งงานรันเทสต์ต่อให้เอเจนต์ QA ที่มีค่าใช้จ่ายถูกกว่าผ่าน MCP โมเดลราคาแพงยังคงโฟกัสอยู่ที่โค้ด ส่วนค่าโทเค็นและบริบทก็ยังคงเล็กทั้งคู่
ให้เอเจนต์ตรวจหน้าต่างของตัวเอง
Computer use มีอยู่ใน AgentsRoom บน macOS, Windows และ Linux สำหรับทุก CLI เอเจนต์ คุณเป็นคนเลือกแอปเอง
แอปคู่หู: ตรวจสอบเอเจนต์ของคุณได้ทุกที่
นำของคุณเอง: Claude, Codex, Antigravity CLI, หรือผู้ให้บริการ AI อื่น ๆ
ส่งข้อบกพร่องและคำขอไปยังแบ็คล็อกสาธารณะของคุณโดยตรง
