Posits: ตัวเลขรูปแบบใหม่ที่ช่วยยกระดับคณิตศาสตร์ของ AI

• การฝึกโครงข่ายประสาทเทียมขนาดใหญ่ต้องใช้พลังการประมวลผลมหาศาล
  • ในกรณีของ GPT-3 ของ OpenAI เพียงแค่ค่าใช้จ่ายในการฝึกก็สูงกว่า $5m แล้ว
• วิศวกรจึงได้คิดค้นวิธีการแสดงผลตัวเลขแบบอื่นเพื่อลดภาระต้นทุนนี้
• Posits ที่ถูกเสนอในปี 2017 เป็นการปรับปรุงจากโปรเซสเซอร์คำนวณเลขทศนิยมลอยตัวที่ใช้งานกันอยู่ในปัจจุบัน
• ได้มีการพัฒนาคอร์ตัวแรกที่นำสิ่งนี้ไปใช้งานในระดับฮาร์ดแวร์ โดยเพิ่มความแม่นยำของงานคำนวณได้มากกว่าวิธี FP ปัจจุบันสูงสุดถึง 4 เท่า

  กฎของมัวร์กำลังใช้ไม่ได้อีกต่อไป จึงต้องหาวิธีรีดประสิทธิภาพให้ได้มากขึ้นจากเครื่องเดิม
  หนึ่งในวิธีนั้นคือการเปลี่ยนวิธีเข้ารหัสจำนวนจริง (Real Number) และวิธีแทนค่าตัวเลขจริง

• ไม่ได้มีแค่ที่นี่ที่พยายามเปลี่ยนรูปแบบตัวเลขนี้ เมื่อไม่นานมานี้ Nvidia, Arm และ Intel ได้ตกลงกันว่าจะใช้เลขทศนิยมลอยตัวแบบ 8 บิตแทน 32/16 บิตสำหรับแอปพลิเคชันแมชชีนเลิร์นนิง
  • การใช้ฟอร์แมตที่เล็กลงและแม่นยำน้อยลงช่วยเพิ่มประสิทธิภาพและการใช้หน่วยความจำ โดยแลกกับความแม่นยำในการคำนวณ
• จำนวนจริงมีอยู่ไม่สิ้นสุด ดังนั้นฮาร์ดแวร์จึงไม่สามารถแสดงผลได้อย่างสมบูรณ์แบบ
• เพื่อให้พอดีกับจำนวนบิตที่กำหนด จำนวนจริงจำนวนมากจึงต้องถูกปัดเศษ
• ข้อดีของ Posits มาจากวิธีการกระจายตัวของค่าตัวเลขที่ต้องการแสดงอย่างแม่นยำไปตามเส้นจำนวน
  ( โปรดดูรูปประกอบในบทความต้นฉบับสำหรับวิธีการกระจายของ Posits จริง )
• แม้ว่าความแม่นยำที่เพิ่มขึ้นจากวิธีนี้จะปฏิเสธไม่ได้ แต่ยังต้องรอดูว่าจะส่งผลอย่างไรต่อการฝึก AI ขนาดใหญ่อย่าง GPT-3 ในทางปฏิบัติ