Falcon 2 พร้อมสำหรับการเปิดตัวแล้ว

 (tii.ae)
2 คะแนน โดย GN⁺ 2024-05-14 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

เปิดตัวโมเดลรุ่นถัดไปของซีรีส์ Falcon 2

  • Technology Innovation Institute (TII) เปิดตัวซีรีส์โมเดลภาษาขนาดใหญ่ (LLM) รุ่นถัดไป Falcon 2
    • Falcon 2 11B: โมเดลขนาด 11 พันล้านพารามิเตอร์ที่ฝึกด้วยโทเคน 5.5 ล้านล้านโทเคน โดยปรับปรุงทั้งประสิทธิภาพและการเข้าถึง
    • Falcon 2 11B VLM: โมเดล multimodal รุ่นแรกที่มีความสามารถ vision-to-language ซึ่งแปลงอินพุตภาพเป็นเอาต์พุตข้อความ
  • ทั้งสองโมเดลรองรับหลายภาษา และโดยเฉพาะ Falcon 2 11B VLM เป็นโมเดลระดับแนวหน้ารุ่นเดียวในขณะนี้ที่มีความสามารถแปลงภาพเป็นข้อความ

ประสิทธิภาพของ Falcon 2 11B

  • จากการประเมินของ Hugging Face พบว่า Falcon 2 11B ให้ประสิทธิภาพเหนือกว่า Llama 3 8B ของ Meta และมีประสิทธิภาพใกล้เคียงกับ Gemma 7B ของ Google (Falcon 2 11B: 64.28 vs Gemma 7B: 64.29)
  • ทั้ง Falcon 2 11B และ 11B VLM จะเปิดให้นักพัฒนาใช้งานแบบโอเพนซอร์สโดยไม่มีข้อจำกัด
  • ในอนาคต ซีรีส์ Falcon 2 มีแผนจะขยายไปเป็นโมเดลหลายขนาด และจะนำเทคโนโลยี Mixture of Experts(MoE) มาใช้เพื่อยกระดับประสิทธิภาพให้ดียิ่งขึ้น

จุดเด่นของ Falcon 2 11B VLM

  • รองรับการประมวลผลหลายภาษา เช่น อังกฤษ ฝรั่งเศส สเปน เยอรมัน และโปรตุเกส
  • มาพร้อมความสามารถ vision-to-language ที่รับรู้และตีความภาพและข้อมูลเชิงภาพจากสภาพแวดล้อม
    • สามารถนำไปใช้ได้ในหลายอุตสาหกรรม เช่น การแพทย์ การเงิน อีคอมเมิร์ซ การศึกษา และกฎหมาย
    • ครอบคลุมการใช้งานตั้งแต่การจัดการเอกสาร การเก็บถาวรดิจิทัล การทำ contextual indexing ไปจนถึงการช่วยเหลือผู้พิการทางสายตา
  • สามารถรันได้อย่างมีประสิทธิภาพบน GPU เดี่ยว ทำให้ขยายระบบได้ดี และผสานรวมกับโครงสร้างพื้นฐานขนาดเบาอย่างแล็ปท็อปได้ง่าย

ความเห็นของ GN⁺

  • ซีรีส์ Falcon 2 เป็นโมเดลรุ่นถัดไปที่ยกระดับทั้งประสิทธิภาพและความคุ้มค่าของโมเดล Falcon เดิมขึ้นไปอีกขั้น โดยเฉพาะ Falcon 2 11B VLM ที่มีความสำคัญอย่างมากในฐานะโมเดล multimodal หลายภาษาขนาดใหญ่รุ่นแรกที่มาพร้อมความสามารถ vision-to-language ซึ่งคาดว่าจะช่วยให้สามารถประมวลผลข้อมูลภาพและข้อมูลภาษาแบบบูรณาการ และเปิดทางไปสู่ปฏิสัมพันธ์ที่เป็นธรรมชาติใกล้เคียงมนุษย์มากขึ้น

  • อย่างไรก็ตาม multimodal AI ยังอยู่ในช่วงเริ่มต้น และยังมีพื้นที่ให้ปรับปรุงในด้านความเสถียรและความทนทาน ดังนั้นเพื่อการใช้งานจริง จึงน่าจะต้องมีการตรวจสอบและเสริมความพร้อมอย่างรอบคอบในประเด็นต่าง ๆ เช่น ปัญหาอคติของข้อมูล ประเด็นความเป็นส่วนตัวและความปลอดภัย รวมถึงความเปราะบางต่ออินพุตที่ไม่ถูกต้อง

  • อีกประเด็นที่น่าจับตาคือการที่ซีรีส์ Falcon 2 จะเปิดเผยแบบโอเพนซอร์ส ซึ่งคาดว่าจะดึงดูดการมีส่วนร่วมอย่างคึกคักจากชุมชนนักพัฒนา และเร่งการปรับปรุงและการขยายโมเดลได้มากขึ้น อย่างไรก็ดี สำหรับโมเดลโอเพนซอร์สก็ยังมีความกังวลเรื่องการนำไปใช้ในทางที่ไม่เหมาะสม จึงดูเป็นแนวทางที่เหมาะสมหากนโยบายไลเซนส์จะรวม acceptable use policy ไว้ด้วย เพื่อส่งเสริมการใช้ AI อย่างมีความรับผิดชอบ

  • แผนการนำเทคโนโลยี Mixture of Experts(MoE) มาใช้ก็เป็นอีกจุดที่น่าสนใจ โดย MoE เป็นแนวทางที่ผสานเครือข่ายขนาดเล็กหลายตัวที่มีความเชี่ยวชาญเฉพาะด้าน เพื่อให้เกิดความร่วมมือข้ามโดเมนและสร้างผลลัพธ์ที่ละเอียดและปรับให้เหมาะกับบริบทมากขึ้น ซึ่งคาดว่าจะมีส่วนสำคัญต่อการยกระดับประสิทธิภาพของซีรีส์ Falcon 2 ในอนาคต ทิศทางการวิจัยเช่นนี้สามารถมองได้ว่าเป็นส่วนหนึ่งของความพยายามในการสร้างระบบ AI ที่มีประสิทธิภาพและฉลาดยิ่งขึ้น ไม่ใช่เพียงแค่การเพิ่มขนาดของโมเดลเท่านั้น

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-05-14
ความคิดเห็นจาก Hacker News

  • มีการชี้ว่าผลการเบนช์มาร์กของรุ่น Falcon 2 11B อยู่ในระดับใกล้เคียงกับ Mistral 7B และ Llama 3 8B เมื่อพิจารณาว่าขนาดโมเดลใหญ่ขึ้น ก็เลยดูไม่ได้น่าทึ่งนัก

  • มีปัญหาเรื่องไลเซนส์ โดยมีการแก้ไขไลเซนส์ Apache 2 แล้วเพิ่มข้อกำหนดเพิ่มเติมว่าต้องปฏิบัติตามนโยบายการใช้งานที่ยอมรับได้ ปัญหาคือนโยบายนั้นอาจเปลี่ยนไปอย่างไรในอนาคตก็ไม่รู้ ไม่ว่าตอนนี้จะเขียนไว้อย่างไร ภายหลังก็อาจเปลี่ยนเป็นอะไรก็ได้และผู้ใช้ก็ยังต้องปฏิบัติตาม จึงมีการชี้ว่านิยามการเรียกไลเซนส์แบบนี้ว่า "โอเพนซอร์ส" เป็นแนวโน้มที่ไม่สอดคล้องกับนิยามของ OSI

  • ต่อคำกล่าวที่ว่า "Falcon 2 11B เหนือกว่า Llama 3 8B ของ Meta และมีประสิทธิภาพเทียบเท่า Gemma 7B ของ Google" ก็มีข้อโต้แย้งว่าผู้แสดงความเห็นรู้สึกอย่างมากว่า Llama 3 8B เหนือกว่า Gemma 7B ในแทบทุกด้าน

  • สำหรับคำว่า "โมเดล AI เพียงตัวเดียวที่มีความสามารถ Vision-to-Language" ก็มีการตั้งคำถามว่ามันไม่ได้ต่างจากสิ่งที่ GPT-4 Vision หรือ LLaVA ทำอยู่มากนักไม่ใช่หรือ

  • มีการชี้อีกครั้งว่าโมเดล Falcon ไม่ได้เปิดกว้างมากนัก แต่เดิม Falcon ก็ไม่ได้มีประสิทธิภาพโดดเด่นตามผลเบนช์มาร์ก แม้จะถูกประกาศว่าเป็นก้าวกระโดดครั้งใหญ่ แต่ก็ไม่รู้สึกว่ามันเหนือกว่าโมเดลคู่แข่ง

  • PR ที่บอกว่าโมเดล 11B มีประสิทธิภาพดีกว่าโมเดล 7B และ 8B ใน "ระดับเดียวกัน" ดูจะเกินจริงไปหน่อย แม้อาจจะลองใช้เพื่อทำ local inference แต่โดยสัญชาตญาณแล้ว Llama 3 8B ที่ผ่านการ fine-tune ยังดูดีที่สุดในตอนนี้

  • หากฝึกจากชุดข้อมูลสาธารณะเป็นส่วนใหญ่ ใช้ฮาร์ดแวร์ของ AWS และใช้อัลกอริทึมกับเทคนิคที่เป็นที่รู้จักกันดี ก็มีคำถามว่ามันต่างจากโมเดลอื่นที่ใครมีเงินก็ฝึกได้อย่างไรบ้าง อีกทั้งยังมีมุมมองเชิงสงสัย/วิพากษ์ว่าเรื่องนี้ดูเหมือนเป็นเพียงความพยายามจะทำให้ตัวเองดูมีความเกี่ยวข้องและเป็นการ 'โชว์พาว' มากกว่า

  • มีการกล่าวว่า Falcon 2 11B เหนือกว่า Llama 3 8B แต่เพราะมีจำนวนพารามิเตอร์มากกว่า จึงไม่ใช่การเปรียบเทียบที่ยุติธรรม ขณะเดียวกัน โมเดลโอเพนซอร์สที่ดีที่สุดน่าจะเป็น Llama 3 70B และเมื่อยังเหนือกว่าโมเดลที่ดีที่สุดไม่ได้ ก็จึงมีคำถามว่าทำไมถึงอ้างว่าเหนือกว่า Llama 3