MPT-7B, LLM โอเพนซอร์สที่ใช้งานเชิงพาณิชย์ได้

• ทรานส์ฟอร์เมอร์ที่ฝึกด้วยโทเคน 1 ล้านล้านโทเคน
• คุณภาพใกล้เคียงกับ LLaMA-7B แต่เป็นโอเพนซอร์สและใช้งานเชิงพาณิชย์ได้
• เปิดตัวโมเดลที่ผ่านการปรับจูนเพิ่มเติมอีก 3 รุ่น
  • MPT-7B-Instruct, MPT-7B-Chat, MPT-7B-StoryWriter-65K+ (รองรับ 65K โทเคน)
• ฝึกบนแพลตฟอร์ม MosaicML เป็นเวลา 9.5 วัน ด้วยค่าใช้จ่ายประมาณ ~$200K และสามารถฝึก ปรับจูน และดีพลอยโมเดล MPT ของตนเองได้
• MPT: Mosaic Pretrained Transformers

[kuroneko]

ช่วงนี้พอเห็นโมเดล LLM โอเพนซอร์สที่นำไปใช้เชิงพาณิชย์ได้เปิดตัวออกมาเยอะมาก
ก็ดูเหมือนกำลังแข่งกันเพื่อจะเป็น Stable Diffusion แห่งวงการ LLM นะครับ

น่าติดตามว่าใครจะเป็นผู้ชนะครับ +_+

[xguru]

ผมคิดว่าการพัฒนาโดยเชื่อมต่อกับ ChatGPT ก่อนในช่วงแรก แล้วค่อยเปลี่ยนไปใช้โอเพนซอร์สที่ก้าวหน้าที่สุดในภายหลัง น่าจะเป็นทางเลือกที่ดีครับ