ฟรองซัวส์ โชเลต์ ผู้สร้าง Keras พูดถึงสถานะปัจจุบันของ Generative AI

LLM ยังต้องไปอีกไกล

• LLM เป็นเพียงระบบที่จดจำข้อมูลจำนวนมากแล้วดึงออกมาใช้เท่านั้น จึงยังไม่อาจพูดได้ว่ามีสติปัญญาระดับมนุษย์อย่างแท้จริง สติปัญญาระดับมนุษย์ที่แท้จริงหมายถึงความสามารถในการนำข้อมูลการเรียนรู้ที่มีอยู่อย่างจำกัดไปทำให้เป็นภาพรวม และแก้ปัญหาได้แม้ในสถานการณ์ที่พบเป็นครั้งแรก
• ในการแยกแยะสุนัขกับแมว มนุษย์ดูภาพเพียงไม่กี่ภาพก็ทำได้ แต่โมเดล CNN ต้องใช้ภาพถึง 25,000 ภาพ สมองมนุษย์สามารถจำแนกสิ่งต่าง ๆ ได้อย่างรวดเร็วและแม่นยำด้วยข้อมูลการเรียนรู้เพียงเล็กน้อย ซึ่ง AI ปัจจุบันยังเทียบไม่ได้
• ต่อให้แก้โจทย์คณิตศาสตร์ข้อเดียวกันได้ แต่ถ้าไม่ได้เข้าใจหลักการและอาศัยเพียงประสบการณ์จากการเคยทำโจทย์คล้ายกันมาก่อน จนดึงสูตรที่เหมาะในตอนนั้นขึ้นมาใช้ แบบนั้นก็เป็นแค่การค้นหาเก่งเท่านั้น และยากจะเรียกว่าเป็นสติปัญญาที่แท้จริง ต้องแยกให้ออกระหว่างคนที่ได้ 100 คะแนนจากการท่องจำ กับคนที่ได้ 100 คะแนนจากความเข้าใจหลักการ
• นี่จึงเป็นเหตุผลว่าทำไม LLM ในปัจจุบันยิ่งขยายขนาดก็ยิ่งมีประสิทธิภาพดีขึ้น และในขณะเดียวกันก็ยังเกิดอาการหลอนได้อยู่เสมอ เมื่อเพิ่มปริมาณการเรียนรู้ สูตรที่ดึงออกมาใช้ได้ก็มีมากขึ้น จึงรับมือกับสถานการณ์ต่าง ๆ ได้มากขึ้น แต่หากหา "สูตร" ที่จะใช้ไม่เจอหรือหยิบผิด ก็จะเกิด hallucination
• อย่างไรก็ตาม การใช้สูตรที่จำมาเพื่อแก้ปัญหา แท้จริงแล้วมนุษย์เองก็ไม่ต่างกันมากนัก ยกเว้นคนส่วนน้อยจริง ๆ คนส่วนใหญ่ล้วนใช้สูตรที่จำมาไปปรับกับแต่ละสถานการณ์ในการใช้ชีวิต แต่ถึงอย่างนั้นก็ยังมีความต่างระหว่าง AI กับมนุษย์
• AI ในปัจจุบันค้นหาแบบตื้น ๆ ขณะที่มนุษย์สามารถค้นหาได้ลึกผ่านกระบวนการคิดที่ต่อยอดกันเป็นทอด ๆ
• แนวคิดที่เรียกว่า "สติปัญญา" สามารถแบ่งออกได้อีกเป็น 3 ระดับดังนี้

1. ความสามารถในการมองปรากฏการณ์แล้วเข้าใจหลักการ เพื่อนำไปใช้ได้ในขอบเขตที่หลากหลาย (อัจฉริยะ)
2. ความสามารถในการพิจารณารูปแบบที่เรียนรู้มาแล้วหลาย ๆ แบบอย่างลึกซึ้ง และเลือกใช้รูปแบบที่เหมาะสมที่สุด (คนทั่วไป)
3. ความสามารถในการพิจารณารูปแบบที่เรียนรู้มาแล้วหลาย ๆ แบบอย่างผิวเผิน และใช้สิ่งที่หาเจอได้เร็ว (LLM ในปัจจุบัน)

• ตอนนี้ LLM อยู่ที่ข้อ 3 และถ้าไปถึงข้อ 1 ได้ก็จะดีที่สุด แต่ต่อให้ไปไม่ถึง อย่างน้อยก็ต้องไปถึงข้อ 2 จึงจะไปสู่สิ่งที่เราเรียกว่า AGI (Artificial General Intelligence) ได้

ARC Prize กับเงินรางวัลหนึ่งล้านดอลลาร์

• มีการพัฒนาวิธีทดสอบเพื่อประเมินว่ามีสติปัญญาระดับมนุษย์จริงหรือไม่ และได้สร้างการแข่งขัน ARC Prize พร้อมเงินรางวัล 1 ล้านดอลลาร์ขึ้นมา (https://www.kaggle.com/competitions/arc-prize-2024)
• บนเว็บไซต์ทางการของการแข่งขัน (https://arcprize.org/) สามารถลองแก้ปริศนาได้ ซึ่งสำหรับมนุษย์ถือว่ามีความยากระดับแบบทดสอบ IQ แต่ AI ยังแก้ปัญหาเหล่านี้ได้ไม่ดีนัก

การแบ่งปันผลงานทำให้การพัฒนาเร็วขึ้น

• OpenAI ทำให้วัฒนธรรมการไม่แบ่งปันข้อมูลแพร่กระจายไปในอุตสาหกรรม ส่งผลให้การมาถึงของ AGI ล่าช้าออกไปอย่างน้อย 5 ถึง 10 ปี
• การสร้าง AGI ต้องอาศัยความพยายามหลากหลายรูปแบบ แต่เมื่อ OpenAI ได้รับความสนใจ ทรัพยากรทั้งคนและเงินของทั้งอุตสาหกรรมจึงไหลไปรวมอยู่กับกลุ่มที่สร้าง LLM เท่านั้น
• เป็นผลให้สาขาวิจัยอื่น ๆ ได้รับการสนับสนุนน้อยลงอย่างหลีกเลี่ยงไม่ได้ และผลงานจึงออกมาช้าลง
• ไม่เพียงเท่านั้น ต่างจากในอดีต แม้ OpenAI จะเผยแพร่งานวิจัย ก็ไม่ได้แบ่งปันรายละเอียดทางเทคนิค ทำให้นักวิจัยคนอื่น ๆ ในอุตสาหกรรมต่อยอดงานวิจัยจากบทความเหล่านั้นได้ยาก
• ก่อนที่ OpenAI จะปรากฏตัว งานวิจัยอย่าง Attention is all you need เป็นตัวอย่างที่นักวิจัยจากหลายองค์กรร่วมมือกันโดยไม่ยึดติดกับสังกัด และช่วยเร่งความก้าวหน้าของ AI อย่างมาก แต่ OpenAI ได้ทำให้วัฒนธรรมการไม่แบ่งปันการค้นพบกับทั้งอุตสาหกรรมแพร่หลาย จนกลายเป็นอุปสรรคต่อความก้าวหน้าของวงการ
• เขาคาดหวังว่าผ่านการแข่งขัน ARC Prize นักวิจัยจะกลับมาแบ่งปันผลงานกันอย่างคึกคักอีกครั้ง และทำให้ความก้าวหน้าของวงการกลับมาเร็วขึ้น

[readiz]

ดูเหมือนว่าโมเดล o1 จะเข้าใกล้อันดับ 2 แล้วนะ

[seanlee10]

ใช่ ผมก็คิดแบบนั้นเหมือนกัน