https://github.com/unitedbyai/droidclaw
เป็นเฟรมเวิร์กโมบายล์ AI เอเจนต์ที่เมื่อป้อนเป้าหมายด้วยภาษาธรรมชาติแล้ว จะรับรู้หน้าจอและทำการแตะ·ป้อนข้อมูลอัตโนมัติผ่าน ADB
วิธีการทำงานนั้นเรียบง่าย: วนลูปซ้ำ "จับภาพหน้าจอ → รับรู้ด้วยโมเดลวิชัน → อนุมานแอ็กชันถัดไป → สั่งงานผ่าน ADB" ตัวอย่างเช่น หากพิมพ์ว่า "ค้นหา Claude บน YouTube ให้หน่อย" ก็จะจัดการให้อัตโนมัติตั้งแต่เปิดแอปไปจนถึงป้อนคำค้นหา
จุดที่ต่างจากเครื่องมือ RPA เดิม ๆ คือมันทำงานโดยเข้าใจหน้าจอ จึงไม่ต้องฮาร์ดโค้ดพิกัด และยังปรับตัวได้ในระดับหนึ่งแม้ UI จะเปลี่ยนไป
สถานการณ์การใช้งานที่เป็นไปได้:
∙ ระบบอัตโนมัติสำหรับทดสอบ App UI
∙ เชื่อมต่อโทรศัพท์หลายเครื่องแบบขนานเพื่อกระจายงานที่ต้องทำซ้ำ
∙ งานอัตโนมัติที่ต้องใช้ดีไวซ์จริง (กรณีที่อีมูเลเตอร์ทำไม่ได้)
ถ้ามีเครื่องสำรองเก็บอยู่ในลิ้นชัก ก็ลองได้แบบง่าย ๆ แค่เชื่อมต่อ ADB ได้ก็พอ
1 ความคิดเห็น
ไอเดียดีนะครับ