การพัฒนา GPT-5 "Orion" ล่าช้า

• โปรเจ็กต์ AI รุ่นถัดไปของ OpenAI GPT-5 (โค้ดเนม Orion) กำลังล่าช้ากว่ากำหนดและมีต้นทุนมหาศาล
• GPT-5 มีเป้าหมายสร้างความก้าวหน้าสำคัญของเทคโนโลยีที่ทำให้ ChatGPT เป็นไปได้ แต่โอกาสความสำเร็จและกำหนดการยังไม่แน่นอน
• Microsoft ซึ่งเป็นนักลงทุนรายสำคัญ คาดว่าจะมีการเปิดตัวในช่วงกลางปี 2024 แต่การทดสอบภายในของ OpenAI พบปัญหาหลายอย่าง

สถานะโครงการและต้นทุน

• GPT-5 ผ่านการฝึกขนาดใหญ่มาแล้วสองครั้ง โดยแต่ละครั้งมีค่าใช้จ่ายหลายร้อยล้านดอลลาร์
• ยังไม่สามารถทำผลงานได้ถึงระดับที่คาดหวังไว้ และตอนนี้มีประสิทธิภาพดีกว่า GPT-4 เดิมเพียงเล็กน้อย
• Sam Altman ซีอีโอของ OpenAI ย้ำว่า GPT-5 จะมอบความก้าวหน้าแบบก้าวกระโดด

ข้อมูลฝึกและปัญหาทางเทคนิค

• การฝึก LLM ต้องใช้ข้อมูลจำนวนมหาศาล แต่ขณะนี้บนอินเทอร์เน็ตมีข้อมูลคุณภาพสูงไม่เพียงพอ
• OpenAI เลือกใช้วิธีสร้างข้อมูลขึ้นมาเองโดยตรงผ่านการแก้โจทย์คณิตศาสตร์ การเขียนซอฟต์แวร์โค้ด เป็นต้น
• มีการใช้ ข้อมูลสังเคราะห์ (ข้อมูลที่ AI สร้างขึ้น) ด้วยเช่นกัน แต่กระบวนการสร้างข้อมูลเองก็มีความเสี่ยงต่อข้อผิดพลาดและผลลัพธ์ที่ไม่สมเหตุสมผล

ปัญหาภายในและแรงกดดันจากการแข่งขัน

• ความขัดแย้งภายใน OpenAI และความพยายามของคู่แข่งในการดึงตัวบุคลากรเพิ่มขึ้น
• บุคลากรสำคัญมากกว่า 24 คนลาออก รวมถึงผู้ร่วมก่อตั้ง Ilya Sutskever และ CTO Mira Murati
• คู่แข่งอย่าง Anthropic และ Google ออกรุ่น LLM ที่ดีกว่า ทำให้การแข่งขันยิ่งรุนแรงขึ้น

แนวทางใหม่: โมเดลการให้เหตุผล

• OpenAI กำลังพัฒนา โมเดลการให้เหตุผล แบบใหม่เพื่อยกระดับประสิทธิภาพของ LLM
  • ตระหนักถึงข้อจำกัดของแนวทางเดิมที่ขยายเพียงปริมาณข้อมูล
  • โมเดล o1 สร้างคำตอบหลายแบบสำหรับคำถามเดียว แล้ววิเคราะห์เพื่อเลือกคำตอบที่ดีที่สุด
  • สามารถแก้ปัญหาที่ซับซ้อน อธิบายกระบวนการตอบ และเรียนรู้ได้

การแลกเปลี่ยนระหว่างต้นทุนกับประสิทธิภาพ

• โมเดลที่อิงการให้เหตุผลมีประสิทธิภาพดีกว่าวิธีเดิม แต่ก็มาพร้อมภาระต้นทุนที่สูง
  • ต้องสร้างคำตอบหลายแบบสำหรับคำถามเดียว จึงทำให้ต้นทุนการประมวลผลเพิ่มขึ้น
• นักวิจัยกำลังพยายามผสานโมเดลการให้เหตุผลเข้ากับแนวทางเดิมที่เน้นข้อมูล เพื่อวางรากฐานให้ GPT-5

ความท้าทายของอุตสาหกรรมและการขาดแคลนข้อมูล

• อุตสาหกรรม AI กำลังเผชิญปัญหาการขาดแคลนข้อมูลและข้อจำกัดมากขึ้นเรื่อยๆ
• เปรียบได้กับคำกล่าวที่ว่าข้อมูลคือ "เชื้อเพลิงฟอสซิลของ AI" ซึ่งสะท้อนว่าการหาข้อมูลคุณภาพสูงเพิ่มเติมทำได้ยาก
• หากการพัฒนา GPT-5 หยุดชะงัก ก็มีความเป็นไปได้ว่าการพัฒนา AI จะเข้าสู่ภาวะชะงักงัน

บทสรุป

• OpenAI กำลังเผชิญความยากลำบากในโปรเจ็กต์ Orion จากปัญหาด้านเทคนิค การเงิน และทรัพยากรบุคคล
• กำลังสำรวจความเป็นไปได้ที่โมเดลการให้เหตุผลแบบใหม่จะเป็นทางทะลุใหม่ของความก้าวหน้า AI
• อย่างไรก็ตาม การเปิดตัวโมเดลที่คู่ควรจะถูกเรียกว่า GPT-5 ยังคงไม่แน่นอน

[aer0700]

เหมือนกับที่บริษัทปิโตรเคมีนำปิโตรเลียมไปกลั่นเป็นเบนซิน ดีเซล ฯลฯ
ก็น่าจะมีโมเดลธุรกิจที่เป็นบริษัททำความสะอาดข้อมูล คอยนำข้อมูลดิบมาจัดระเบียบและขัดเกลาให้สวยงามได้เหมือนกันนะครับ
เช่น เอาไฟล์ Excel กับ PPT คู่มือขั้นตอนการปฏิบัติงานมาตรฐานที่กองพะเนินอยู่เต็มบริษัทมาจัดระเบียบ แล้วเอาไปใช้ทำ GPT fine-tuning อะไรทำนองนั้น?

[softer]

ดูเหมือนเป็นกำแพงที่คาดไว้อยู่แล้ว
และก็แอบคิดเหมือนกันว่าถ้าปรับทิศไปทางที่รับรู้และคิดได้ด้วยตัวเองก็น่าสนุกดี

[windrod]

ในสถานะที่ไม่ได้มีโรดแมปหรือเกณฑ์ที่กำหนดไว้อย่างชัดเจน การพูดกันว่าการพัฒนาจะล่าช้าหรือไม่ ก็ดูมีโอกาสสูงที่จะเป็นแค่การปล่อยข้อมูลเชิงการตลาดอีกแบบหนึ่งเท่านั้น

[mammal]

> โมเดล o1 สร้างคำตอบหลายแบบสำหรับคำถามเดียว แล้ววิเคราะห์เพื่อเลือกคำตอบที่ดีที่สุด

o1 ไม่ใช่โมเดลแบบ MCTS หรือ search-based แต่เป็นโมเดลที่ขยาย CoT ด้วย RL

[curiousotter]

มีการสร้างคำตอบหลายแบบขึ้นมา -> ตรงนี้ไม่ใช่ว่าสร้างคำตอบหลายแบบแบบขนานแล้วเลือกมา 1 อันจากในนั้น
แต่เป็นอย่างที่คุณบอก คือใช้ CoT สร้างคำตอบแบบลำดับต่อเนื่องไปเรื่อย ๆ จนกว่าจะตัดสินได้ว่าได้คำตอบแล้ว จึงได้คำตอบที่ดีที่สุด..
ก็เลยสงสัยว่าอาจจะแปลผิดในกระบวนการแปลหรือเปล่า ผมเองก็ตรวจต้นฉบับได้ยากเลยไม่แน่ใจเหมือนกัน..

[mammal]

> เบื้องหลังนั้น o1 ของ OpenAI จะสร้างคำตอบหลายแบบสำหรับแต่ละคำถาม แล้ววิเคราะห์เพื่อหาคำตอบที่ดีที่สุด มันสามารถทำงานที่ซับซ้อนกว่าได้ เช่น เขียนแผนธุรกิจหรือสร้างปริศนาอักษรไขว้ พร้อมทั้งอธิบายเหตุผลของมันไปด้วย ซึ่งช่วยให้โมเดลเรียนรู้จากแต่ละคำตอบได้เล็กน้อย

> พลังประมวลผลที่เพิ่มขึ้นทั้งหมดนั้นมีราคาแพง ตอนนี้ OpenAI ต้องจ่ายเพื่อสร้างคำตอบหลายแบบให้กับคำถามเดียว แทนที่จะสร้างเพียงคำตอบเดียว

ดูเหมือนว่านักข่าวจะเข้าใจว่าเป็นวิธีสร้างคำตอบหลายแบบแล้วเลือกมาอันหนึ่งนะ

[GN⁺]

ความเห็นจาก Hacker News

• เมื่อค่าใช้จ่ายในการฝึกโมเดลเพิ่มขึ้น ก็มีปัญหาที่ทำให้เวลาที่ต้องใช้ในการฝึกยาวนานขึ้น เหตุผลที่โมเดลขนาดเล็กสร้างนวัตกรรมได้เร็วกว่าคือมีวงจรป้อนกลับที่สั้นกว่า

• คำอธิบายเกี่ยวกับการพัฒนา GPT-4 ของ OpenAI ไม่ได้ช่วยให้บทความนี้น่าเชื่อถือขึ้น

• มีการกล่าวว่า LLMs อาจมาถึงขีดจำกัดที่ไม่สามารถพัฒนาต่อได้อีกด้วยการเพิ่มเพียงข้อมูลและพลังการประมวลผล จำเป็นต้องมีแนวคิดใหม่ ๆ และมีเงินทุนเตรียมไว้เพียงพอสำหรับเรื่องนี้

• หากระดับความสามารถปัจจุบันของ LLM สามารถให้ตัวชี้วัดความน่าเชื่อถือแบบอนุรักษ์นิยมได้ ก็จะมีประโยชน์มากขึ้นมาก ควรต้องให้ผลลัพธ์อย่างเช่น "ไม่ทราบ" หรือ "ไม่แน่ใจ แต่..."

• สิ่งที่สำคัญกว่าการเปิดตัวครั้งถัดไปของ OpenAI คืออุตสาหกรรมซอฟต์แวร์ต้องผสานเทคโนโลยีนี้เข้าไปและทำให้คุณค่าของมันเกิดขึ้นจริง

• สิ่งที่พอคาดเดาได้จากคำพูดของคนวงในคือ พวกเขาต้องการการปรับปรุงขึ้น 10 เท่าด้วยการสเกล การเปลี่ยนแปลงด้านข้อมูล และอัลกอริทึม แหล่งข้อมูลสาธารณะที่เปิดเผยต่อสาธารณะแทบจะถูกใช้จนหมดแล้ว ขณะที่การเปลี่ยนแปลงด้านอัลกอริทึมยังคงสร้างการปรับปรุงอย่างต่อเนื่องผ่านงานวิจัย

  • เมื่อข้อมูลมีข้อจำกัด การสเกลก็ชะงักงัน
  • ขั้นตอนที่สมเหตุสมผลคือหาวิธีเปลี่ยนพลังการประมวลผลให้เป็นข้อมูลที่ดีกว่า
  • เมื่อ o3 ถูกเปิดตัว แนวป้องกันถัดไปของ OpenAI อาจเป็นชุดข้อมูลฝึกสังเคราะห์ที่ดีที่สุด

• GPT-5 ไม่ได้ล่าช้าตามกำหนดการ และจริง ๆ แล้วเปิดตัวไปแล้วเมื่อครึ่งปีก่อนในชื่อ GPT-4o เพียงแต่ไม่ก้าวกระโดดพอจะถูกตั้งชื่อเป็น 5 และอาจถูกรีแบรนด์ในนาทีสุดท้าย

• มีการกล่าวว่าวารสารศาสตร์สายเทคโนโลยีนั้นชอบพูดเกินจริง และแม้ o3 จะเปิดตัวแล้วก็ยังมีบทความเชิงวิจารณ์ออกมาอยู่ดี

• o1-Pro เหนือกว่า GPT-4 อย่างมากในเชิงอัตวิสัย และ o3 ก็ถูกประเมินว่าดียิ่งกว่าเดิม สะท้อนว่าเทคโนโลยีกำลังพัฒนาอย่างรวดเร็ว

• โลกกำลังค่อย ๆ เรียนรู้ว่าเทคโนโลยีนี้ควรทำงานอย่างเหมาะสมอย่างไร และการบอกว่ากำหนดการล่าช้านั้นแทบจะเหมือนเรื่องตลก