Meta เริ่มทำงานกับ Llama 4 แล้ว ต้องใช้พลังประมวลผลมากกว่า Llama 3 ถึง 10 เท่า

• มาร์ก ซักเคอร์เบิร์กกล่าวถึงเรื่องนี้ในการประกาศผลประกอบการ Q2 2024
• Llama 3 สามารถแข่งขันกับโมเดลที่ล้ำหน้าที่สุดได้แล้ว และได้เริ่มพัฒนา Llama 4 ไปแล้ว
  • เป้าหมายคือก้าวขึ้นเป็นระดับแนวหน้าของอุตสาหกรรมภายในปีหน้า
• กำลังวางแผนเกี่ยวกับคลัสเตอร์คอมพิวต์และข้อมูลที่จำเป็นสำหรับช่วงหลายปีข้างหน้า
  • คาดว่าพลังประมวลผลที่ต้องใช้ในการฝึก Llama 4 จะมากกว่า Llama 3 เกือบ 10 เท่า และโมเดลในอนาคตก็จะเพิ่มขึ้นต่อไปเกินกว่านั้น
  • แม้จะคาดเดาได้ยากว่าแนวโน้มนี้จะดำเนินต่อไปอย่างไร แต่ ณ ตอนนี้ เมื่อพิจารณาจากระยะเวลานำที่ยาวนานในการเดินหน้าโครงการโครงสร้างพื้นฐานใหม่ บริษัทมองว่าการสร้างขีดความสามารถไว้ก่อนที่จำเป็นใช้งานจริง จะดีกว่าการเริ่มช้าเกินไป
  • บริษัทจะรักษาประสิทธิภาพการดำเนินงานโดยรวมไว้ ขณะเดียวกันก็ขยายการลงทุนเหล่านี้

[brainer]

เดิมทีในสาย DL ทรัพยากรการประมวลผลก็เพิ่มขึ้นเฉลี่ย 10 เท่าทุก ๆ 2 ปีอยู่แล้ว ดังนั้นผมมองว่าไม่ใช่เรื่องที่น่าตกใจมากนัก