- โอเพนซอร์ส Project Gameface ที่เปิดตัวในงาน Google I/O 2023
- เป็น 'เมาส์' สำหรับการเล่นเกมแบบแฮนด์ฟรี ที่ช่วยให้ควบคุมเคอร์เซอร์ของคอมพิวเตอร์ได้ด้วยการเคลื่อนไหวศีรษะและท่าทางใบหน้า
- ผู้ใช้สามารถยกคิ้วเพื่อคลิกและลาก หรืออ้าปากเพื่อเลื่อนเคอร์เซอร์ ช่วยเพิ่มการเข้าถึงในการเล่นเกม
- โปรเจกต์นี้เริ่มต้นจากเรื่องราวของ Lance Carr สตรีมเมอร์วิดีโอเกมที่มีภาวะอัมพาตแขนขาจากโรคกล้ามเนื้อ
- ทำงานร่วมกับ Lance เพื่อทำให้ Project Gameface เกิดขึ้นจริง
การใช้งานของโปรเจกต์
- ตอนนี้ได้เปิดซอร์สโค้ดเพิ่มเติมเพื่อช่วยให้นักพัฒนาสามารถสร้างแอปพลิเคชันที่ทำให้อุปกรณ์ Android ทุกเครื่องเข้าถึงได้มากขึ้น
- ติดตามสีหน้าและการเคลื่อนไหวศีรษะผ่านกล้องของอุปกรณ์อย่างลื่นไหล และแปลงเป็นการควบคุมที่ใช้งานง่ายและปรับให้เหมาะกับแต่ละคน
- ตอนนี้นักพัฒนาสามารถสร้างแอปที่ให้ผู้ใช้ปรับแต่งประสบการณ์ได้เอง เช่น สีหน้า ขนาดของท่าทาง ความเร็วเคอร์เซอร์ และอื่น ๆ
หลักการสำคัญ 3 ข้อในการสร้าง Project Gameface สำหรับ Android
- มอบวิธีเสริมแบบใหม่ให้ผู้พิการสามารถใช้งานอุปกรณ์ Android ได้
- สร้างโซลูชันที่คุ้มค่าและสามารถขยายต่อได้
- ใช้บทเรียนและแนวทางจากการเปิดตัว Gameface ครั้งแรกเพื่อพัฒนาผลิตภัณฑ์ให้ใช้งานง่ายและปรับแต่งได้
การทำเคอร์เซอร์บนอุปกรณ์ Android
- เปิดตัววิธีใหม่สำหรับใช้งานอุปกรณ์ Android
- จากเสียงตอบรับเชิงบวกต่อ Project Gameface ทำให้ทราบว่านักพัฒนาและผู้ใช้ให้คุณค่ากับแนวคิดการเลื่อนเคอร์เซอร์ด้วยการเคลื่อนไหวศีรษะและสั่งงานด้วยสีหน้า
- นำแนวคิดเดียวกันมาสร้างเคอร์เซอร์เสมือนแบบใหม่บนอุปกรณ์ Android
- ใช้ Android Accessibility Service เพื่อสร้างเคอร์เซอร์ใหม่ และใช้ Face Landmarks Detection API ของ MediaPipe เพื่อให้เคอร์เซอร์เคลื่อนที่ตามการเคลื่อนไหวศีรษะของผู้ใช้
- ภายใน API มีค่า face blendshape 52 ค่า ที่แสดงระดับการแสดงออกของท่าทางใบหน้า 52 แบบ เช่น การยกคิ้วซ้ายหรือการอ้าปาก
- ใช้ค่าบางส่วนเหล่านี้เพื่อแมปและควบคุมฟังก์ชันได้อย่างมีประสิทธิภาพในวงกว้าง เปิดโอกาสให้ปรับแต่งและควบคุมได้มากขึ้น
- นอกจากนี้ยังใช้ค่าสัมประสิทธิ์ blendshape เพื่อให้นักพัฒนาตั้งค่า threshold ที่ต่างกันสำหรับแต่ละสีหน้าโดยเฉพาะ ช่วยให้ปรับแต่งประสบการณ์ได้
การแสดงผลของ Project Gameface
- นำความสามารถเด่นที่สุดของ Android Accessibility Service มาใช้ใน Project Gameface
- การทำงานบนมือถือ
- ใน Project Gameface เวอร์ชัน Windows ผู้ใช้สามารถทำซ้ำการคลิกแบบทั่วไปได้
- แต่บน Android ฟังก์ชันที่ผู้ใช้ต้องทำมีความหลากหลายมากกว่า
- มีทั้งเหตุการณ์สัมผัสที่ส่งเข้า OS และเหตุการณ์การกระทำระดับระบบ เช่น "ย้อนกลับ", "สลับมัลติทาสก์", "หน้าแรก"
- ใช้ Android Accessibility API เพื่อตัดสินใจว่าจะมอบการกระทำใดให้ผู้ใช้ได้บ้าง
- ปัจจุบัน Project Gameface สำหรับ Android รองรับ
GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS
- ฟีดกล้อง
- ฟีดจากกล้องช่วยยกระดับประสบการณ์ผู้ใช้อย่างมาก ทำให้ตั้งค่า threshold ได้แม่นยำขึ้นและเข้าใจท่าทางได้ลึกขึ้น
- ยังช่วยให้ผู้ใช้เห็นอย่างชัดเจนว่ากล้องกำลังถูกใช้งานอย่างต่อเนื่องเพื่อทำความเข้าใจการเคลื่อนไหวศีรษะและท่าทางของตน
- หากสร้างฟีดกล้องเป็นเพียง overlay จะทำให้ไม่สามารถเข้าถึงส่วนสำคัญอย่างการตั้งค่า Android ได้
- จึงใช้ Android Accessibility Service ร่วมกับ Project Gameface เพื่อให้หน้าต่างกล้องยังคงลอยอยู่ได้แม้ในหน้าการตั้งค่า Android และส่วนสำคัญอื่น ๆ
- รองรับการทำ 'ลาก'
- ปัจจุบัน Android Accessibility Service ยังไม่มีวิธีง่าย ๆ สำหรับให้ผู้ใช้ทำการลากบนหน้าจอที่โต้ตอบแบบเรียลไทม์
- แต่ได้อัปเกรดผลิตภัณฑ์ให้มีความสามารถด้านการลาก เพื่อให้ผู้ใช้กำหนดจุดเริ่มต้นและจุดสิ้นสุดได้
- ผลลัพธ์คือสามารถทำการลากตามเส้นทางที่กำหนดได้อย่างราบรื่น
- ความคาดหวังและความเปิดกว้าง
- คาดหวังถึงศักยภาพของ Project Gameface และหวังว่านักพัฒนาและองค์กรต่าง ๆ จะนำไปใช้สร้างประสบการณ์ใหม่ ๆ
- ตอนนี้โค้ดของ Gameface เปิดเป็นโอเพนซอร์สบน Github แล้ว
ยังไม่มีความคิดเห็น