- ได้พัฒนาและนำเทคโนโลยี Depth Up-Scaling มาใช้เพื่อดึงความสามารถของ Llama2 7B เดิมออกมาให้ได้สูงสุด
- จากผลเบนช์มาร์ก โมเดลที่มีพารามิเตอร์น้อยกว่า 3 พันล้านตัวแสดงประสิทธิภาพที่โดดเด่น และเหนือกว่า QWEN ที่มีขนาดใหญ่กว่า 6 เท่า รวมถึงโมเดล Mixtral 8x7B ที่เพิ่งเปิดตัวล่าสุด
- ได้อันดับ 1 บน OpenLLM Leaderboard ด้วยคะแนน 74.2 โดย QWEN-72B ของ Alibaba ได้ 73.6 และ Mixtral-8x7B ได้ 72.6
- รองรับการทำ Instruction fine-tuning ได้เป็นอย่างดี
- เนื่องจากโมเดลที่เปิดตัวครั้งนี้มีพื้นฐานเป็นภาษาอังกฤษ ประสิทธิภาพภาษาเกาหลีจึงอาจอยู่ในระดับต่ำ
1 ความคิดเห็น
Upstage คือผู้พัฒนา AskUp ซึ่งเป็น AI ที่ใช้งานได้บน KakaoTalk
Alibaba เปิดตัวโมเดล AI โอเพนซอร์ส QWEN
Mistral AI เปิดตัวโมเดล Mixtral 8x7B ที่เหนือกว่า Llama 2 70B