Apple เปิดตัวโมเดลภาษา AI ขนาดเล็ก 8 รุ่น มุ่งเป้าใช้งานบนอุปกรณ์

• Apple เปิดตัว OpenELM ซึ่งเป็นโมเดลภาษา AI ขนาดเล็กพอที่จะรันได้โดยตรงบนสมาร์ตโฟน
• OpenELM ย่อมาจาก "Open-source Efficient Language Models" และใช้งานได้บน Hugging Face ภายใต้ Apple Sample Code License
• แม้จะเปิดเผยซอร์สโค้ดแล้ว แต่ไลเซนส์ยังมีข้อจำกัดบางส่วน จึงอาจไม่ตรงกับนิยาม "โอเพนซอร์ส" โดยทั่วไป

คุณสมบัติของโมเดล OpenELM

• OpenELM ประกอบด้วย 8 โมเดลที่มีพารามิเตอร์ตั้งแต่ 270 ล้านถึง 3 พันล้านตัว
• งานวิจัยระยะหลังมุ่งเน้นการสร้างโมเดลภาษา AI ขนาดเล็กที่มีความสามารถใกล้เคียงกับโมเดลภาษา AI ขนาดใหญ่เมื่อไม่กี่ปีก่อน
• โมเดล OpenELM มีให้ 2 ประเภท คือเวอร์ชันที่พรีเทรนไว้ล่วงหน้า (pretrained) และเวอร์ชันที่ปรับด้วยคำสั่ง (instruction-tuned)
  • OpenELM-270M, OpenELM-450M, OpenELM-1_1B, OpenELM-3B
  • OpenELM-270M-Instruct, OpenELM-450M-Instruct, OpenELM-1_1B-Instruct, OpenELM-3B-Instruct

ข้อมูลฝึกและประสิทธิภาพของโมเดล OpenELM

• OpenELM มี context window สูงสุด 2048 โทเค็น
• ฝึกด้วยข้อมูลราว 1.8 ล้านล้านโทเค็น ซึ่งรวมถึงชุดข้อมูลที่เปิดใช้สาธารณะได้ เช่น RefinedWeb, PILE เวอร์ชันลบข้อมูลซ้ำ, ชุดย่อยของ RedPajama และชุดย่อยของ Dolma v1.6
• ด้วย "layer-wise scaling strategy" ของ Apple ทำให้สามารถจัดสรรพารามิเตอร์ให้แต่ละเลเยอร์ได้มีประสิทธิภาพยิ่งขึ้น ช่วยประหยัดทรัพยากรการคำนวณและเพิ่มประสิทธิภาพของโมเดล
• OpenELM ให้ความแม่นยำดีกว่า OLMo 1B ของ Allen AI อยู่ 2.36% แม้ใช้โทเค็นสำหรับพรีเทรนเพียงครึ่งเดียว

เอกสารที่เปิดเผยเพิ่มเติมและเป้าหมายของ Apple

• Apple เปิดเผยโค้ดของไลบรารี CoreNet ที่ใช้ฝึก OpenELM และสูตรการฝึกที่ทำซ้ำได้
• ถือเป็นกรณีที่ไม่ค่อยพบในบรรดาบริษัทเทคโนโลยีรายใหญ่ที่เปิดเผยถึงระดับ weights ด้วย เพื่อเน้นความโปร่งใส
• เป้าหมายคือ "เสริมความแข็งแกร่งและทำให้ชุมชนนักวิจัยแบบเปิดมีความอุดมสมบูรณ์ยิ่งขึ้น" ผ่านการเปิดเผยซอร์สโค้ด, model weights และสื่อการฝึก
• อย่างไรก็ตาม Apple เตือนว่า เนื่องจากโมเดลฝึกจากชุดข้อมูลสาธารณะ จึงมีความเป็นไปได้ที่จะให้ผลลัพธ์ที่ไม่ถูกต้อง เป็นอันตราย มีอคติ หรือชวนให้ไม่พอใจ

แนวโน้มต่อจากนี้

• Apple ยังไม่ได้ผสานความสามารถของโมเดลภาษา AI ใหม่เข้าสู่อุปกรณ์ผู้บริโภค
• อย่างไรก็ตาม มีการคาดกันว่าอัปเดต iOS 18 ที่น่าจะเปิดตัวในงาน WWDC เดือนมิถุนายน จะมีฟีเจอร์ AI ใหม่ที่ใช้การประมวลผลบนอุปกรณ์เพื่อคุ้มครองความเป็นส่วนตัวของผู้ใช้
• และยังมีความเป็นไปได้ที่ Apple จะร่วมมือกับ Google หรือ OpenAI เพื่อยกระดับ Siri สำหรับงานประมวลผล AI ที่ซับซ้อนกว่านอกอุปกรณ์

[tsboard]

สงสัยจริง ๆ ว่าอัปเดต iOS 18 จะเปลี่ยนไปมากแค่ไหน ตั้งตารอ M4 ที่เสริมความสามารถด้าน AI ด้วยเหมือนกัน!