- โมเดลภาษาขนาดใหญ่แบบโอเพนซอร์สที่ใช้งานได้ทั้งเพื่อการวิจัยและเชิงพาณิชย์
- ฝึกด้วยข้อมูลโทเคนจำนวน 2 ล้านล้านโทเคน ซึ่งมากกว่า Llama 1 อยู่ 40%
- ความยาวคอนเท็กซ์เพิ่มเป็น 2 เท่า: 4096
- โมเดลมี 3 ขนาด: 7B, 13B, 70B
- ให้ประสิทธิภาพที่ยอดเยี่ยมกว่าโมเดลภาษาโอเพนซอร์สอื่น ๆ ในหลายเบนช์มาร์ก เช่น การให้เหตุผล การเขียนโค้ด ความชำนาญ และการทดสอบความรู้ (MPT, Falcon, Llama-1)
- ฝึกจากแหล่งข้อมูลที่เปิดเผยสู่สาธารณะ และ Llama-2-chat ที่ผ่านการปรับจูนก็ใช้ชุดคำสั่งที่เปิดเผยพร้อมคำอธิบายประกอบโดยมนุษย์มากกว่า 1 ล้านรายการ
- สิ่งที่รวมอยู่ในการดาวน์โหลด
- Model code
- Model Weights
- README (User Guide)
- Responsible Use Guide
- License
- Acceptable Use Policy
- Model Card
3 ความคิดเห็น
ครั้งนี้จะมีใครปล่อยทอร์เรนต์แม็กเน็ตโดยอ้างว่าเพื่อ "ประโยชน์สาธารณะ" อีกไหม?
คราวนี้ไม่จำเป็นต้องทำแบบนั้น สามารถเปิดเผยได้ทันที
แม้จะแตกต่างกันไปตามแต่ละด้าน แต่ดูเหมือนว่าจะได้รับการประเมินว่าเกือบใกล้เคียงกับ GPT-3.5 หรือดีกว่าด้วยซ้ำ
ดูเหมือนจะเปิดแบบโอเพนเต็มรูปแบบ แต่มีข้อจำกัดสำคัญอยู่อย่างหนึ่ง คือหากเป็น "บริการที่มี MAU เกิน 700 ล้าน" จะต้องขอไลเซนส์จาก Meta และ Meta สามารถปฏิเสธได้
เหมือนจะเป็นแนวว่า "Google, TikTok พวกนายห้ามใช้นะ!"
Microsoft ก็ขยับตัวไว เปิดให้สามารถใช้ Llama 2 บน Azure ได้แล้ว
https://blogs.microsoft.com/blog/2023/…
ดูเหมือนว่า Microsoft จะรักษาความสัมพันธ์ที่ดีกับทั้ง OpenAI และ Meta เอาไว้ได้