Computer use

เอเจนต์ AI ของคุณทดสอบแอปเดสก์ท็อป
ที่ตัวเองเพิ่งสร้างเสร็จ

เอเจนต์ของคุณแก้หน้าต่างการตั้งค่าของแอป Electron แล้ว แต่ไม่เคยเปิดดูเลย ด้วย Computer use ใน AgentsRoom เอเจนต์จะเปิดแอป ดูหน้าต่าง คลิกไล่ไปทีละส่วน และส่งภาพหน้าจอให้คุณก่อนจะบอกว่างานเสร็จ

Computer use คือเซิร์ฟเวอร์ MCP ที่ AgentsRoom มอบให้ Claude Code, Codex, Cursor และ CLI เอเจนต์อื่นๆ เอเจนต์เห็นหน้าต่างเดียวของแอปที่คุณอนุญาต เป็นภาพพร้อมรายการปุ่มและช่องกรอกข้อมูล แล้วลงมือในหน้าต่างนั้นได้: คลิก พิมพ์ กดแป้น เลื่อน ใช้ได้กับแอปที่คุณกำลังสร้าง เครื่องมือภายใน หรือเบราว์เซอร์อื่นที่ไม่ใช่ Chrome บน macOS, Windows และ Linux

ภาพหน้าจอ

ภาพจริงจากแอป เพิ่มเติมตามการพัฒนาของฟีเจอร์นี้

  • หน้าใช้งาน AgentsRoom Computer อธิบายว่า agent ทดสอบแอปเดสก์ท็อปอย่างไร
    หน้าใหม่อธิบายว่า agent ของคุณตรวจสอบงานของพวกเขาในแอปเดสก์ท็อปอย่างไร
Computer use

เอเจนต์

ตรวจหน้าต่างการตั้งค่าใหม่

เครื่องมือแอป

  • app_launch
  • app_snapshot
  • app_click
  • app_type
เอเจนต์ QA กำลังควบคุม แอป Electron ของฉันหยุด
แอป Electron ของฉัน

เอเจนต์เขียนโค้ดเขียนหน้าต่างใหม่ให้แอป Electron, view แบบเนทีฟของ macOS หรือฟอร์มของ Windows ได้ในไม่กี่นาที แต่การตรวจยังเป็นงานของคุณ: บิลด์ เปิดแอป คลิกไล่ไปตามหน้าจอ สังเกตเห็นปุ่มที่กดแล้วไม่เกิดอะไรขึ้น แล้วอธิบายกลับไปให้เอเจนต์

เว็บแอปมีเครื่องมือเบราว์เซอร์ แอปมือถือมีซิมูเลเตอร์ แต่แอปเดสก์ท็อปไม่มีทั้ง CLI และ API ไว้ทดสอบ ส่วน computer use ที่ผู้ให้บริการ AI บางรายมีให้ ใช้ได้กับเอเจนต์ของผู้ให้บริการนั้นเท่านั้น และมักทำงานบนทั้งหน้าจอของคุณ

AgentsRoom มี Computer use ให้ทุก CLI เอเจนต์ คุณเลือกเองว่าแอปไหนของโปรเจกต์ที่ควบคุมได้ และควบคุมได้เฉพาะแอปเหล่านั้น เอเจนต์เห็นทีละหน้าต่าง ทุกการกระทำแสดงในคอนโซลของเอเจนต์ และแบนเนอร์ที่มีปุ่ม “หยุด” จะอยู่บนหน้าจอตลอดเวลาที่เอเจนต์ทำงาน

สิ่งที่เอเจนต์ของคุณทำได้ในแอปเดสก์ท็อป

การตรวจที่คุณทำเองหลังการแก้ไขทุกครั้ง ทำโดยเอเจนต์ที่แก้ไขนั้นเอง

เปิดแอปที่ถูกตัว

เอเจนต์แสดงรายการแอปที่อนุญาตสำหรับโปรเจกต์บนคอมพิวเตอร์เครื่องนี้ ทั้งที่เปิดอยู่และยังไม่เปิด เปิดแอปหนึ่งหรือดึงขึ้นมาไว้ด้านหน้า แล้วเลือกหน้าต่างที่ต้องใช้

เห็นทีละหน้าต่าง

เอเจนต์ได้ภาพของหน้าต่าง พร้อมรายการปุ่ม ช่องกรอกข้อมูล และเมนูพร้อมชื่อ ไม่เคยเห็นทั้งหน้าจอของคุณ และไม่เคยเห็นแอปอื่น

คลิก พิมพ์ เลื่อน

เอเจนต์คลิกปุ่ม พิมพ์ลงในช่อง กดแป้นพร้อมแป้นร่วมอย่าง Ctrl หรือ Shift และเลื่อนรายการ แล้วดูหน้าต่างอีกครั้งเพื่อตรวจผล

เมาส์ยังเป็นของคุณ

การคลิกปุ่มที่มีชื่อจะผ่านระบบการช่วยการเข้าถึงของระบบปฏิบัติการ ตัวชี้ของคุณไม่ขยับและคุณทำงานต่อได้ มีเพียงการคลิกตามตำแหน่งเท่านั้นที่ใช้เมาส์ และจะรอจนกว่าคุณหยุดใช้เมาส์ก่อน

เฉพาะแอปที่คุณใส่ไว้ในรายการ

แต่ละโปรเจกต์มีรายการแอปของตัวเอง ซึ่งเริ่มต้นว่างเปล่า ถ้าไม่มีแอปในรายการ ก็ไม่มีเอเจนต์ใดควบคุมอะไรได้ เอเจนต์ลบแอปหรือสิทธิ์ของตัวเองออกได้ แต่เพิ่มไม่ได้เลย

มองเห็นได้เสมอ หยุดได้เสมอ

แบนเนอร์บอกว่าเอเจนต์ไหนกำลังควบคุมแอปไหน พร้อมปุ่ม “หยุด” คีย์ลัดส่วนกลาง (Ctrl+Alt+Shift+Esc) หยุดเอเจนต์ทุกตัวพร้อมกัน และทุกการกระทำถูกบันทึกไว้ในคอนโซลของเอเจนต์

วิธีการทำงาน

เพิ่มแอปครั้งเดียว แล้วปล่อยให้เอเจนต์เป็นคนตรวจ

  1. 1

    เพิ่มแอปให้โปรเจกต์

    เปิด “การตั้งค่าโปรเจกต์ > ความสามารถ > Computer use” แล้วคลิก “เพิ่ม”: เลือกแอปที่เปิดอยู่ แอปที่ติดตั้งไว้ หรือไฟล์ที่รันได้ภายในโฟลเดอร์โปรเจกต์ เช่น บิลด์ Electron ของคุณ

  2. 2

    ให้สิทธิ์ที่จำเป็นกับคอมพิวเตอร์

    บน macOS ให้อนุญาต AgentsRoom App Control ใน “การตั้งค่าระบบ > ความเป็นส่วนตัวและความปลอดภัย” ทั้งใน “การช่วยการเข้าถึง” และ “การบันทึกหน้าจอ” AgentsRoom จะเปิดหน้าที่ถูกต้องให้คุณ บน Windows ไม่ต้องให้สิทธิ์อะไร

  3. 3

    ขอให้เอเจนต์ตรวจ

    ขอให้เอเจนต์ตรวจการแก้ไขของตัวเองในแอป เอเจนต์จะเปิดแอป ดูหน้าต่าง คลิกและพิมพ์เหมือนผู้ทดสอบ แก้โค้ดเมื่อพบสิ่งที่ผิด แล้วส่งภาพหน้าจอของผลลัพธ์ให้คุณ

  4. 4

    ดูเอเจนต์ทำงาน หรือหยุดไว้

    แบนเนอร์แสดงเอเจนต์ที่กำลังทำงาน ชิป Computer use ในแถบด้านล่างแสดงว่าใครกำลังควบคุมอะไร และ “การทดสอบ > Computer use” แสดงภาพหน้าจอและการกระทำล่าสุด ปุ่ม “หยุด” จะหยุดทุกอย่างทันที

ใครเป็นคนตัดสินใจ และปิดได้อย่างไร

Computer use เปิดไว้สำหรับเอเจนต์ทุกตัวเป็นค่าเริ่มต้น แต่ด่านจริงคือรายการแอปของแต่ละโปรเจกต์ ซึ่งเริ่มต้นว่างเปล่า จนกว่าคุณจะเพิ่มแอป ก็ไม่มีเอเจนต์ใดควบคุมอะไรได้

คุณปิดได้ทั้งบัญชีใน “การตั้งค่า > Computer use” ปิดสำหรับโปรเจกต์เดียวใน “การตั้งค่าโปรเจกต์ > ความสามารถ > Computer use” (“ตามบัญชี” “เปิด” หรือ “ปิด”) หรือปิดสำหรับเอเจนต์ตัวเดียวใน “แก้ไขเอเจนต์ > ความสามารถ” มีแค่คุณที่เปิดได้: เอเจนต์ปิดได้เฉพาะสิทธิ์ของตัวเอง

เอเจนต์ที่ตั้งเวลาไว้และเอเจนต์ที่เริ่มจาก webhook ก็ใช้ได้เช่นกัน พร้อมแบนเนอร์และปุ่ม “หยุด” แบบเดียวกัน คุณจึงหยุดงานที่รันตอนกลางคืนได้จากโทรศัพท์ งานที่รันจากเนื้อหาสาธารณะ เช่น pull request จากคนแปลกหน้า จะไม่ได้สิทธิ์นี้เลย

ข้อจำกัด

  • แอปบางตัวจะไม่ถูกควบคุมเลย แม้คุณจะเพิ่มเข้าไป: การตั้งค่าระบบ ตัวจัดการรหัสผ่าน พวงกุญแจหรือตัวจัดการข้อมูลประจำตัว หน้าต่างเข้าสู่ระบบและหน้าต่างขอสิทธิ์ของระบบ และตัว AgentsRoom เอง
  • เอเจนต์ไม่พิมพ์ข้อมูลเข้าสู่ระบบเด็ดขาด: ช่องรหัสผ่านจะถูกปฏิเสธ
  • ทีละหน้าต่าง: ไม่มีการควบคุมทั้งหน้าจอ และไม่มีการลากวาง แอปหนึ่งตัวมีเอเจนต์ควบคุมได้ครั้งละตัวเดียว และเมาส์ก็ใช้ได้ครั้งละเอเจนต์เดียว
  • Linux: ต้องใช้เซสชัน X11 หรือ XWayland แอปที่วาดบน Wayland โดยตรงจะควบคุมไม่ได้ Windows: แอปที่เริ่มด้วยสิทธิ์ผู้ดูแลระบบจะควบคุมไม่ได้
  • เซสชันที่ล็อกอยู่หรือหน้าจอที่อยู่ในโหมดพัก: จะไม่มีอะไรถูกควบคุม และเอเจนต์จะได้รับแจ้งเหตุผล เอเจนต์ที่ตั้งเวลาให้ทำงานตอนกลางคืนต้องใช้คอมพิวเตอร์ที่ไม่ได้ล็อก
  • เอเจนต์ที่รันบนโฮสต์ SSH ควบคุมแอปบนคอมพิวเตอร์ของคุณไม่ได้
  • ไม่มีบนโทรศัพท์: แอปมือถือแสดงว่าเอเจนต์ไหนควบคุมแอปไหน พร้อมปุ่ม “หยุด” แต่ไม่ให้สิทธิ์ ไม่แก้ไขรายการ และไม่แสดงภาพหน้าจอ

คำถามที่พบบ่อย

ถามเราเรื่องอื่น
Claude Code ใช้ computer use ทดสอบแอปเดสก์ท็อปของฉันได้ไหม
ได้ ใน AgentsRoom ให้เพิ่มแอปของคุณลงในรายการของโปรเจกต์ที่ “การตั้งค่าโปรเจกต์ > ความสามารถ > Computer use” เอเจนต์ Claude Code ของคุณจะได้เครื่องมือแอป: เปิดแอป ดูหน้าต่างเดียว คลิก พิมพ์ และส่งภาพหน้าจอให้คุณ ระบบนี้ไม่ได้พึ่ง computer use ของ Anthropic เอง จึงทำงานแบบเดียวกันกับเอเจนต์ตัวอื่นของคุณ
มี computer use สำหรับ Codex, Cursor และ CLI อื่นๆ ไหม
มี และเป็นตัวเดียวกัน Computer use ใน AgentsRoom คือเซิร์ฟเวอร์ MCP ที่มอบให้ทุก CLI เอเจนต์ที่ได้รับเครื่องมือของ AgentsRoom: Claude Code, Codex, GitHub Copilot CLI, Cursor, Gemini CLI, OpenCode, Antigravity และตัวอื่นๆ ไม่ต้องตั้งค่าแยกตาม CLI ส่วน Aider ไม่มีไคลเอนต์ MCP และ Hermes Agent, Goose, Qwen Code, Kiro และ Rovo Dev ที่เพิ่มเข้ามาในเดือนพฤศจิกายน 2026 ยังไม่ได้รับเครื่องมือของ AgentsRoom
ใช้บน Windows และ Linux ได้ไหม
ได้ บน Windows ไม่ต้องให้สิทธิ์อะไร บน Linux ต้องใช้เซสชัน X11 หรือ XWayland แอปที่วาดบน Wayland โดยตรงจะควบคุมไม่ได้ และระบบจะอ่านปุ่มตามชื่อเมื่อเปิดบัสการช่วยการเข้าถึง (AT-SPI) อยู่ ถ้าไม่เปิด เอเจนต์จะคลิกตามตำแหน่ง บน macOS คุณต้องให้สิทธิ์สองอย่างกับ AgentsRoom App Control
เอเจนต์จะยึดคอมพิวเตอร์ทั้งเครื่องของฉันได้ไหม
ไม่ได้ เอเจนต์เห็นและควบคุมได้เฉพาะแอปในรายการของโปรเจกต์ ทีละหน้าต่าง การตั้งค่าระบบ ตัวจัดการรหัสผ่าน พวงกุญแจ หน้าต่างเข้าสู่ระบบ และตัว AgentsRoom เองจะถูกปฏิเสธเสมอแม้คุณจะเพิ่มเข้าไป ช่องรหัสผ่านก็ถูกปฏิเสธเช่นกัน ทุกการกระทำแสดงในแบนเนอร์และในคอนโซลของเอเจนต์
เอเจนต์จะขยับเมาส์ของฉันระหว่างที่ฉันทำงานไหม
ส่วนใหญ่ไม่ การคลิกปุ่มที่มีชื่อจะผ่านระบบการช่วยการเข้าถึงของระบบปฏิบัติการ ตัวชี้ของคุณจึงไม่ขยับ และแอปก็ไม่เด้งขึ้นมาด้านหน้า มีเพียงการคลิกตามตำแหน่งเท่านั้นที่ใช้เมาส์ และจะรอจนกว่าคุณหยุดใช้เมาส์และคีย์บอร์ดก่อน
จะหยุดเอเจนต์ที่กำลังควบคุมแอปได้อย่างไร
คลิก “หยุด” บนแบนเนอร์ ในคอนโซลของเอเจนต์ ในชิป Computer use ของแถบด้านล่าง หรือใน “การทดสอบ > Computer use” หรือกด Ctrl+Alt+Shift+Esc เพื่อหยุดเอเจนต์ทุกตัวพร้อมกัน เอเจนต์จะหยุดอยู่อย่างนั้นจนกว่าคุณจะคลิก “อนุญาตอีกครั้ง” หรือรีสตาร์ตคอนโซลของเอเจนต์ บนโทรศัพท์ แถบด้านบนก็มีปุ่ม “หยุด” เช่นกัน
ทำไม macOS ถามหา AgentsRoom App Control แทนที่จะเป็น AgentsRoom
สิทธิ์ทั้งสองอย่าง คือการช่วยการเข้าถึงและการบันทึกหน้าจอ มอบให้ตัวช่วยที่แยกออกมาต่างหาก คำสั่งที่เอเจนต์รันในเทอร์มินัลจึงไม่ได้รับสิทธิ์เหล่านี้ไปด้วย macOS 15 ขึ้นไปอาจขอสิทธิ์การบันทึกหน้าจอซ้ำเป็นครั้งคราว
ทดสอบแอป Electron ที่ฉันกำลังสร้างได้ไหม
ได้ ในรายการแอป ให้เลือก “แอปของโปรเจกต์นี้” แล้วเลือกไฟล์ที่รันได้ของบิลด์ภายในโฟลเดอร์โปรเจกต์ จากนั้นเอเจนต์จะบิลด์ใหม่ เปิดเวอร์ชันใหม่ และตรวจการแก้ไขได้ ใช้ได้กับแอปเนทีฟ เครื่องมือภายใน หรือเบราว์เซอร์อื่นที่ไม่ใช่ Chrome ด้วย
เอเจนต์ที่ตั้งเวลาไว้ใช้ computer use ตอนกลางคืนได้ไหม
ได้ เหมือนเอเจนต์ทุกตัว พร้อมแบนเนอร์และปุ่ม “หยุด” แบบเดียวกัน และโทรศัพท์จะแสดงว่าเอเจนต์กำลังควบคุมแอปไหน คอมพิวเตอร์ต้องไม่ถูกล็อก เพราะจะไม่มีอะไรถูกควบคุมในเซสชันที่ล็อกอยู่ งานที่รันจากเนื้อหาสาธารณะจะไม่ได้ Computer use เลย
ต่างจากการทำงานอัตโนมัติของเบราว์เซอร์อย่างไร
การทำงานอัตโนมัติของเบราว์เซอร์ควบคุมหน้าเว็บในเบราว์เซอร์ที่ฝังอยู่ใน AgentsRoom หรือใน Chrome ของคุณเอง ผ่านเครื่องมือสำหรับหน้าเว็บ ส่วน Computer use มีไว้สำหรับแอปที่ไม่ใช่หน้าเว็บ: แอปเดสก์ท็อป เครื่องมือเนทีฟ หน้าต่างที่ไม่มี API ซิมูเลเตอร์และอีมูเลเตอร์ก็มีเครื่องมือของตัวเองเช่นกัน

เจาะลึกเพิ่มเติม

วงจรเอเจนต์ AI: วิธีที่เอเจนต์การเขียนโค้ดที่แก้ไขตัวเองเสร็จสิ้นงาน

วงจรเอเจนต์ AI เปลี่ยนการสั่งพรอมต์แล้วแก้ไขให้เป็นวงจรที่แก้ไขตัวเอง: เอเจนต์เขียนแผน สร้างมัน ตรวจสอบงานของตัวเองกับแผน และวนซ้ำจนกว่าจะเสร็จสิ้น วงจรทำงานอย่างไรใน Claude Code, Codex, Antigravity CLI, Cursor และวงจร Ralph.

ลดการใช้โทเค็นของ MCP: เราลดคำจำกัดความของเครื่องมือลง 60% ได้อย่างไร

เครื่องมือ MCP ทุกตัวที่เอเจนต์ของคุณเรียกใช้ได้คือบล็อก JSON ที่โมเดลอาจอ่านในทุกคำขอ ของเราหนักราว 95,000 โทเค็น นี่คือวิธีวัดของคุณภายในสองนาที สิ่งที่เราตัดออกโดยไม่ลบเครื่องมือแม้แต่ตัวเดียว และการตรวจงบประมาณที่ไม่ปล่อยให้มันกลับมาบวมอีก

คุณอาจสนใจ

Browser MCP • Chromium ฝังตัว • QA ขับเคลื่อนโดยเอเจนต์

เอเจนต์ QA ของคุณเปิดเบราว์เซอร์ Chromium จริงบน localhost ของคุณ คลิก พิมพ์ ถ่ายภาพหน้าจอ อ่านคอนโซล และยืนยันว่าฟีเจอร์ทำงานได้จริง ไม่ต้องตั้งค่า Playwright เลย

ซิมูเลเตอร์ iOS และอีมูเลเตอร์ Android

ให้ Claude Code, Codex หรือ Cursor ทดสอบแอปมือถือของคุณบนซิมูเลเตอร์ iOS หรืออีมูเลเตอร์ Android: ติดตั้งบิลด์ แตะ พิมพ์ จับภาพหน้าจอ และอ่านล็อก

การมอบหมายเอเจนต์: Dev ไปยัง QA: โมเดลที่มีค่าใช้จ่ายถูกกว่าบนการทดสอบ

เอเจนต์พัฒนาของคุณส่งงานรันเทสต์ต่อให้เอเจนต์ QA ที่มีค่าใช้จ่ายถูกกว่าผ่าน MCP โมเดลราคาแพงยังคงโฟกัสอยู่ที่โค้ด ส่วนค่าโทเค็นและบริบทก็ยังคงเล็กทั้งคู่

ให้เอเจนต์ตรวจหน้าต่างของตัวเอง

Computer use มีอยู่ใน AgentsRoom บน macOS, Windows และ Linux สำหรับทุก CLI เอเจนต์ คุณเป็นคนเลือกแอปเอง

ดาวน์โหลด AgentsRoomฟรี

แอปคู่หู: ตรวจสอบเอเจนต์ของคุณได้ทุกที่

นำของคุณเอง: Claude, Codex, Antigravity CLI, หรือผู้ให้บริการ AI อื่น ๆ

ส่งข้อบกพร่องและคำขอไปยังแบ็คล็อกสาธารณะของคุณโดยตรง