OpenAI, Google, Anthropic กำลังดิ้นรนเพื่อพัฒนา AI ที่ล้ำหน้ากว่าเดิม

• บริษัท AI รายใหญ่อย่าง OpenAI, Google และ Anthropic กำลังได้ผลลัพธ์จากการพัฒนาโมเดลใหม่ลดน้อยลงเรื่อย ๆ
• OpenAI ได้ฝึกโมเดล AI รุ่นล่าสุด Orion แต่ประสิทธิภาพยังไม่ถึงระดับที่คาดหวังไว้
  • โดยเฉพาะอย่างยิ่ง พบปัญหาในการตอบคำถามด้านการเขียนโค้ดได้ไม่ดีพอ
• Gemini ของ Google ก็ทำผลงานได้ต่ำกว่าที่คาดหวังภายในบริษัทเช่นกัน และ Anthropic ก็กำลังเลื่อนกำหนดเปิดตัว Claude 3.5 Opus รุ่นใหม่ออกไป

ข้อจำกัดด้านข้อมูลและปัญหาต้นทุน

• การจัดหาข้อมูลคุณภาพสูงที่มนุษย์เป็นผู้เขียนกำลังทำได้ยากขึ้นเรื่อย ๆ
• ประสิทธิภาพของโมเดล AI เริ่มชะงักงัน และการปรับปรุงเพียงเล็กน้อยก็ยากจะทำให้คุ้มกับต้นทุนมหาศาล
• หนึ่งในสาเหตุสำคัญที่ถูกชี้ถึงสำหรับ Orion ของ OpenAI คือการมีข้อมูลด้านการเขียนโค้ดไม่เพียงพอ
• การพัฒนาโมเดล AI ใหม่มีค่าใช้จ่ายระดับหลายล้านดอลลาร์ และคาดว่าในอนาคตอาจสูงถึงระดับหลายพันล้านดอลลาร์

กลยุทธ์ในการปรับปรุงประสิทธิภาพของ AI

• OpenAI กำลังมุ่งเน้นที่กระบวนการ post-training ของ Orion ก่อนเปิดตัว ซึ่งรวมถึงการปรับปรุงคำตอบของโมเดลผ่านฟีดแบ็กจากผู้ใช้ และการปรับโทนของการโต้ตอบ
• เพื่อแก้ปัญหาการขาดแคลนข้อมูล บริษัทต่าง ๆ กำลังจัดหาข้อมูลผ่านสัญญากับสำนักพิมพ์ หรือใช้วิธีให้ผู้เชี่ยวชาญช่วยติดป้ายกำกับข้อมูล
• การใช้ synthetic data ก็เพิ่มขึ้นเช่นกัน แต่ก็ยังมีข้อจำกัดในการจัดหาข้อมูลที่มีเอกลักษณ์และมีคุณภาพสูง

ข้อกังขาต่อกฎการขยายขนาดของ AI

• อุตสาหกรรม AI พึ่งพา scaling laws ที่เชื่อว่าโมเดลที่ใหญ่ขึ้นและข้อมูลที่มากขึ้นจะนำไปสู่ประสิทธิภาพที่ดีขึ้นมาโดยตลอด แต่ผลงานระยะหลังทำให้แนวคิดนี้ถูกตั้งคำถาม
• Dario Amodei ซีอีโอของ Anthropic มองในแง่ดีว่าแม้ปัญหาการขาดแคลนข้อมูลอาจก่อปัญหาได้ แต่ก็จะหาวิธีเอาชนะมันได้

ปัญหาสมดุลระหว่างต้นทุนกับประสิทธิภาพ

• เมื่อค่าใช้จ่ายในการพัฒนา AI พุ่งสูงขึ้น หากโมเดลใหม่ไม่ได้ยกระดับประสิทธิภาพได้มากตามที่คาด ต้นทุนที่สูงก็จะกลายเป็นปัญหา
• OpenAI และ Anthropic กำลังย้ายจุดสนใจจากโมเดลที่ใหญ่ขึ้น ไปสู่กรณีการใช้งานใหม่อย่าง AI agent
  • เอเจนต์สามารถทำงานแทนผู้ใช้ได้ เช่น ส่งอีเมลหรือจองตั๋วเครื่องบิน
• Sam Altman ซีอีโอของ OpenAI กล่าวว่าจำเป็นต้องมีการตัดสินใจที่ยากลำบากเกี่ยวกับการใช้ทรัพยากรคอมพิวต์
  • เขาอธิบายใน Reddit AMA ว่า "เราจะยังคงปล่อยโมเดลใหม่ที่ยอดเยี่ยมต่อไป แต่ก้าวกระโดดครั้งใหญ่ถัดไปจะเป็น agent"

บทสรุป

• บริษัท AI รายใหญ่กำลังใช้ทั้งพลังคอมพิวต์และข้อมูลมากขึ้นเรื่อย ๆ แต่ผลลัพธ์กลับเริ่มชะงัก
• เพื่อก้าวข้ามข้อจำกัดทางเทคนิคและปัญหาการขาดแคลนข้อมูล บริษัทเหล่านี้กำลังมองหาแนวทางและกรณีการใช้งานใหม่ ๆ
• ทิศทางของการพัฒนา AI ในอนาคตมีแนวโน้มจะให้ความสำคัญกับการใช้งานจริง มากกว่าขนาดของโมเดล

[kandk]

สุดท้ายก็เป็นเรื่องที่ต้องใช้เงินมากเกินไปนี่เอง
โดยส่วนตัวผมคิดว่ามันมีอัปไซด์มากพอ ๆ กับจำนวนเซลล์ประสาทในสมอง

[GN⁺]

ความเห็นจาก Hacker News

• มีคำถามว่าตอนนี้ตัวเลือกในการสร้างคุณค่าด้วย LLM (โมเดลภาษาขนาดใหญ่) ถูกใช้ไปจนหมดแล้วหรือยัง โดยมีคนที่เป็นหัวหน้าทีมคนหนึ่งมองว่ายังไปได้อีกไกล

  • ใช้งานโมเดล GPT-4o และ Claude 3.5 เป็นหลัก และความเป็นไปได้ของแอปพลิเคชันใหม่ ๆ ก็ยังคงเกิดขึ้นอย่างต่อเนื่องจากการผสานการลงทุนด้านเทคนิคเข้ากับ LLM
  • ตัวอย่างเช่น สามารถนำกราฟความรู้ที่มนุษย์ดูแลปรับแต่งมารวมกับ LLM เพื่อสร้าง "บอตผู้เชี่ยวชาญ" ที่เข้าใจบริบทธุรกิจและทำงานเหมือนเพื่อนร่วมทีมได้
  • หากเพิ่มความสามารถด้านการคาดการณ์และการจำลองเข้าไป LLM ก็จะสามารถสร้างการเปลี่ยนแปลงโค้ดที่สมเหตุสมผล รวมถึงตรวจทานและทำซ้ำได้โดยอัตโนมัติ
  • มีการยืนยันว่าการใช้ประโยชน์จากระดับสติปัญญาที่มีอยู่ในปัจจุบันสำคัญกว่าการไล่ตามการปรับปรุงโมเดล

• ในสายวิศวกรรม ตลอด 3 ปีที่ผ่านมาได้มุ่งเน้นไปที่การขยายการฝึกล่วงหน้าและหลังการฝึกของโมเดลทรานส์ฟอร์เมอร์

  • พาราไดม์ใหม่ที่กำลังได้รับความสนใจคือการฝึกแบบมัลติโหมดและเอเจนต์ที่ลงมือปฏิบัติได้จริง รวมถึงหุ่นยนต์
  • OpenAI, Google และ Anthropic ก็กำลังลงทุนในการวิจัยหุ่นยนต์เช่นกัน

• ความสามารถในการสร้างโค้ดของ ChatGPT สามารถค้นหาสิ่งที่คล้ายกับโค้ดที่มีอยู่เดิมได้จากบนเว็บ

  • LLM ให้ความสามารถด้านการค้นหาและคัดลอก/วาง ซึ่งเพียงพอสำหรับการแก้ปัญหาทั่วไป
  • อย่างไรก็ตาม AGI จะไม่เกิดขึ้นจาก LLM เพียงอย่างเดียว
  • LLM จำเป็นต้องมีตัวชี้วัดความมั่นใจ ซึ่งจะมีประโยชน์มากกว่า LLM แบบปัจจุบันอย่างมาก

• การที่การพัฒนา AI ไปแตะขีดจำกัดของข้อมูลถือเป็นเรื่องที่ดี เพราะแรงกดดันจะย้ายไปสู่การพัฒนาสถาปัตยกรรมโมเดลที่ดีกว่า

  • นักวิจัย AI กำลังมองหาโมเดลที่ดีกว่า

• พาดหัวเชิงลบที่บอกว่า AI ชนกำแพงแล้วนั้นคล้ายกับช่วงที่อินเทอร์เน็ตเพิ่งปรากฏขึ้นครั้งแรก

  • มีความเห็นว่าอีก 10 ปีข้างหน้า AI จะเชื่อมโยงลึกซึ้งกับทุกแง่มุมของชีวิต

• เทคโนโลยีที่มีอยู่เดิมได้สร้างการเปลี่ยนแปลงครั้งใหญ่ให้กับอุตสาหกรรมมาแล้ว และการเปลี่ยนผ่านไปสู่โมเดลแบบไฮบริดระหว่าง AI กับมนุษย์ย่อมต้องใช้เวลา

• แม้โมเดลล่าสุดของ OpenAI จะไม่เป็นไปตามความคาดหวัง แต่ก็อาจเติบโตได้แบบเชิงเส้นตามขนาดของข้อมูลฝึก

• มีการตั้งคำถามว่าสามารถซื้อซอฟต์แวร์ AI และเพิ่มความสามารถที่ช่วยให้ผู้ใช้สามารถอ่านเอกสารด้วยตนเอง แล้วเขียนแอปเวอร์ชันใหม่ได้หรือไม่