RedPajama เปิดตัวโมเดล 7B ที่มีประสิทธิภาพเหนือกว่าโมเดล LLM 7B แบบเปิดอื่น ๆ ในเกณฑ์ทดสอบ HELM
(together.xyz)แนะนำโมเดล RedPajama-INCITE-7B ทั้ง 3 รุ่น
- เปิดตัวโมเดลขนาด 7B จำนวน 3 รุ่น รวมถึง RedPajama-INCITE-7B-Instruct ซึ่งทำผลงานได้ดีกว่าโมเดล 7B แบบเปิดที่มีอยู่ก่อนหน้าในเกณฑ์ทดสอบ HELM
โมเดล RedPajama-INCITE-7B-Instruct
- เวอร์ชันที่ปรับแต่งแบบ Instruct ของโมเดลเดิม
- ฝึกด้วย P3 (BigScience) และ Natural Instruction (AI2)
- เป็นโมเดลแบบเปิดที่ได้คะแนนสูงสุดในเกณฑ์ทดสอบ HELM และเหมาะกับงานที่หลากหลาย
โมเดล RedPajama-INCITE-7B-Chat
- ฝึกโดยใช้เฉพาะข้อมูลโอเพนซอร์ส เช่น Dolly2 และ OASST ➡️ สามารถใช้งานเชิงพาณิชย์ได้
- (+ ไม่ใช่แค่โมเดล Chat เท่านั้น แต่โมเดลในตระกูล RedPajama-INCITE ทั้งหมดก็สามารถใช้งานเชิงพาณิชย์ได้)
- เปิดเผยพร้อมสคริปต์การฝึกสำหรับการ fine-tuning :arrow_forward: ใช้งานได้ทันทีใน OpenChatKit
- รองรับ RedPajama.cpp (fork ของ LLaMA.cpp) - รันบน CPU ได้
- ร่วมมือกับโครงการอย่าง MLC LLM เป็นต้น ➡️ ในอนาคตจะทำให้สามารถทำงานได้บนฮาร์ดแวร์ที่หลากหลาย
โมเดล RedPajama-INCITE-7B-Base
- ใช้สถาปัตยกรรมเดียวกับโมเดล Pythia ของ EleutherAI และฝึกด้วยชุดข้อมูล RedPajama-Data-1T
- ดาวน์โหลดได้จาก 🤗HuggingFace ที่ togethercomputer/RedPajama-INCITE-7B-Base
- ตามเกณฑ์ทดสอบ HELM มีประสิทธิภาพต่ำกว่า LLaMA-7B อยู่ 4 คะแนน และต่ำกว่า Falcon-7B/MPT-7B ราว 1.3 คะแนน
- มีประสิทธิภาพต่ำกว่าเฉพาะในงานที่ใช้ logprob เพื่อคำนวณความต่างของความน่าจะเป็นระหว่างคำตอบถูก/ผิด
- ในงานที่ให้สร้างคำตอบโดยตรงและวัดคุณภาพ กลับแสดงประสิทธิภาพใกล้เคียงกัน
- ผลลัพธ์ของ LM Harness ก็ใช้ logprob เช่นกัน จึงแสดงประสิทธิภาพต่ำในลักษณะคล้ายกัน
แผนในอนาคต (RedPajama2)
- กำลังพัฒนาชุดข้อมูลใหม่ RedPajama2 ขนาด 2~3T โทเคน โดยมีแผนดังนี้:
- มีแผนจะปรับสมดุลการผสมข้อมูลด้วยเทคนิคอย่าง DoReMi
- ใช้ข้อมูลอย่าง Pile v1 ของ Eleuther.ai และ Pile v2 ของ CarperAI เพื่อเสริมทั้งความหลากหลายและขนาด
- ประมวลผลข้อมูล CommonCrawl ในปริมาณที่มากขึ้น
- สำรวจกลยุทธ์การลบข้อมูลซ้ำที่หลากหลาย นอกเหนือจากแนวทางในงานวิจัย LLaMA
- เพิ่ม code token มากกว่า 150B เพื่อปรับปรุงคุณภาพของงานด้านการเขียนโค้ดและการให้เหตุผล (reasoning)
3 ความคิดเห็น
อ๊ะ.. ดูเหมือนจะพิมพ์ผิดในหัวข้อน่ะครับ T_T
@xguru-san ไม่ทราบว่าพอจะช่วยเปลี่ยน HEML ในหัวข้อเป็น HELM ให้ได้ไหมครับ T_T
แก้ไขไว้แล้วครับ!
อ่านเพิ่มเติม