บรรลุหุ่นยนต์ปิงปองที่มีความสามารถแข่งขันระดับมนุษย์

1. ทีม DeepMind ประกาศว่าได้ทำให้ เอเจนต์หุ่นยนต์ปิงปองมีความสามารถในการแข่งขันระดับผู้เล่นมนุษย์สมัครเล่น โดยใช้โครงสร้างนโยบายแบบลำดับชั้นและเทคนิคการปรับตัวแบบเรียลไทม์
2. หุ่นยนต์นี้ได้รับการตรวจสอบผ่าน การถ่ายโอนจากการจำลองสู่โลกจริงแบบซีโร่ช็อต (sim-to-real), การปรับตัวระหว่างการแข่งขันจริง, และ การทดสอบแข่งขันกับมนุษย์จริง
3. ผลลัพธ์คือ มันมีอัตราชนะ 100% กับผู้เล่นระดับเริ่มต้น และ 55% กับผู้เล่นระดับกลาง แสดงให้เห็นถึง ความสามารถในการแข่งขันที่ชัดเจนในระดับมนุษย์ขั้นกลาง

---

1. ภูมิหลังของงานวิจัยและผลงานที่มีส่วนช่วย

• ปิงปองเป็น กีฬาที่ซับซ้อนซึ่งต้องการทั้งกลยุทธ์และการควบคุมการเคลื่อนไหวความเร็วสูงพร้อมกัน จึงเป็นความท้าทายระดับมนุษย์สำหรับหุ่นยนต์

• งานวิจัยก่อนหน้านี้หยุดอยู่ที่การตีโต้แบบง่าย ๆ และ งานวิจัยนี้เป็นครั้งแรกที่เล่นแมตช์แข่งขันกับมนุษย์จริง

• ผลงานสำคัญของงานวิจัยนี้มีดังนี้:

  • โครงสร้างนโยบายแบบลำดับชั้น (HLC + LLC)
  • เทคนิคการถ่ายโอน sim-to-real แบบซีโร่ช็อต
  • ระบบปรับตัวตามคู่แข่งแบบเรียลไทม์
  • การทดลองประเมินผู้ใช้กับผู้เล่นมนุษย์จริง 29 คน

---

2. โครงสร้างระบบและวิธีการเรียนรู้

• **ตัวควบคุมระดับล่าง (LLC)** มีนโยบายที่เชี่ยวชาญในทักษะเฉพาะ (เช่น โฟร์แฮนด์, แบ็กแฮนด์, เสิร์ฟ) และมีตัวอธิบายทักษะ (skill descriptor)
• **ตัวควบคุมระดับบน (HLC)** เลือกทักษะที่เหมาะสมโดยพิจารณาจากสถานการณ์ในการแข่งขัน, สถิติของคู่แข่ง, และลักษณะของ LLC แต่ละตัว
• กระบวนการฝึก ดำเนินไปตามลำดับ ข้อมูลมนุษย์เริ่มต้น → การจำลอง → การนำไปใช้จริง → การเรียนรู้แบบวนซ้ำ ซึ่งก่อให้เกิด โครงสร้างการเรียนรู้แบบหลักสูตรอัตโนมัติ

---

3. การประเมินประสิทธิภาพและการวิเคราะห์ข้อจำกัด

• แข่งขันกับผู้เล่นมนุษย์ทั้งหมด 29 คนที่มีทักษะหลากหลาย:

  • ระดับเริ่มต้น: ชนะ 100%
  • ระดับกลาง: ชนะ 55%
  • ระดับสูงขึ้นไป: แพ้ทั้งหมด
    → อัตราชนะรวม: 45% (นับตามแมตช์), 46% (นับตามเซต)

• ใน การประเมินเชิงคุณภาพ ผู้เข้าร่วมให้ความเห็นว่า “สนุกและชวนมีส่วนร่วม” และโดยเฉลี่ยเล่นด้วยความสมัครใจมากกว่า 4 นาทีจาก 5 นาที

• ข้อเสีย:

  • จัดการลูกอันเดอร์สปินได้ไม่ดี
  • รับมือลูกต่ำได้ยาก
    → สาเหตุเกิดจากการหลีกเลี่ยงการชนกับโต๊ะปิงปองและความยากในการประเมินสปิน ซึ่งเป็นประเด็นที่ต้องปรับปรุงต่อไป