- เปิดตัว EXAONE 3.0 ในเดือนสิงหาคม 2024 และเดิมใช้ภายใน LG เท่านั้น ก่อนจะเปลี่ยนเป็นโมเดลแบบเปิด
- ในบรรดาไลน์อัปที่ออกแบบมาสำหรับวัตถุประสงค์ที่หลากหลาย ได้เปิดซอร์สโมเดล 7.8B Instruction Tuned เพื่อการวิจัย
- คาดว่าจะมีส่วนช่วยต่อการวิจัยที่มีความหมายของนักวิจัย AI ทั้งในและต่างประเทศ และการพัฒนาระบบนิเวศ AI
- พัฒนาบนสถาปัตยกรรม Decoder-only Transformer Architecture, มีพารามิเตอร์ 7.8B, ปริมาณข้อมูลฝึก 8T
ทำระดับ Global Top ด้านภาษาอังกฤษได้: อันดับ 1 ของคะแนนเฉลี่ยใน Real-world Use Cases และมีประสิทธิภาพยอดเยี่ยมใน Benchmark เดี่ยวด้วย
- ประสิทธิภาพภาษาอังกฤษของโมเดล 7.8B อยู่ในระดับ Global Top เมื่อเทียบกับโมเดลอื่น
- ผลการประเมินจาก 4 benchmark ยืนยันว่ามีประสิทธิภาพเหนือกว่าโมเดลระดับ Global Top
- ได้อันดับ 1 ของคะแนนเฉลี่ยใน Math และ Coding และมีประสิทธิภาพสูงด้าน Reasoning
ประสิทธิภาพภาษาเกาหลีที่โดดเด่นอย่างชัดเจน: ได้อันดับ 1 ของคะแนนเฉลี่ยทั้งใน Real-world use cases และ Benchmark เดี่ยว
- เป็นโมเดลสองภาษา อังกฤษ/เกาหลี จึงมีประสิทธิภาพยอดเยี่ยมในภาษาเกาหลีด้วย
- ใช้ 2 benchmark เพื่อตรวจสอบประสิทธิภาพในมุมมองของ real-world use cases
- Benchmark เดี่ยวถูกออกแบบให้สอดคล้องกับ benchmark ประเมินภาษาอังกฤษ เช่น KMMLU
- ยืนยันผลว่าได้อันดับ 1 ของคะแนนเฉลี่ยทั้งใน real-world use cases และ benchmark เดี่ยว
คุ้มค่าทางเศรษฐกิจ: ลดต้นทุนลงเหลือระดับ 6% ผ่านการวิจัยและพัฒนา 3 ปี
- นอกจากการปรับปรุงประสิทธิภาพแล้ว การเสริมความคุ้มค่าทางเศรษฐกิจยังเป็นสิ่งจำเป็นสำหรับการนำ AI ไปใช้
- ตลอด 3 ปีที่ผ่านมา มุ่งเน้นการวิจัยและพัฒนาเทคโนโลยีลดขนาดโมเดล AI และการเพิ่มประสิทธิภาพด้านต้นทุน
- โมเดล 7.8B ลดเวลาในการประมวลผล inference ลง 56% และลดต้นทุนลง 72% เมื่อเทียบกับ EXAONE 2.0
- เมื่อเทียบกับ EXAONE 1.0 สามารถลดต้นทุนลงอย่างมากจนเหลือระดับ 6%
ความโปร่งใสด้านจริยธรรม: เปิดเผยทั้งผลลัพธ์ที่ยอดเยี่ยมและส่วนที่ยังต้องปรับปรุง
- LG AI Research ให้ความสำคัญกับจริยธรรม AI อย่างจำเป็นในกระบวนการวิจัยและพัฒนาโมเดล AI
- โมเดล EXAONE 3.0 7.8B ก็ผ่านกระบวนการ Red Teaming เพื่อประเมินด้านจริยธรรมและความปลอดภัย
- ใช้ทั้งชุดข้อมูลภายในและชุดข้อมูลจากบุคคลที่สามภายนอกในการประเมิน
- แม้จะทำได้ดีในการป้องกันการเลือกปฏิบัติทางเพศและคำตอบที่ผิดกฎหมาย แต่ยังมีบางส่วนที่ต้องปรับปรุง
- เพื่อพัฒนาจริยธรรม AI จึงเปิดเผยผลการประเมินอย่างโปร่งใส
- คาดหวังให้นักวิจัยทำวิจัยด้านจริยธรรม AI อย่างคึกคัก และ LG AI Research ก็จะเดินหน้าวิจัยต่อเนื่อง
2 ความคิดเห็น
หวังว่าข่าวในประเทศจะได้ถูกแชร์ที่นี่กันมากขึ้นด้วย ;)