Unsloth: ปรับแต่ง Llama 3 ได้เร็วขึ้น 2 เท่า, Context ยาวขึ้น 6 เท่า, ใช้ VRAM น้อยลง 68%

• Unsloth ซึ่งเป็นเครื่องมือสำหรับปรับแต่งโมเดลภาษาขนาดใหญ่ ตอนนี้รองรับโมเดล Llama 3 รุ่นล่าสุดของ Meta แล้ว โดยสามารถปรับแต่งได้เร็วขึ้น 2 เท่าเมื่อเทียบกับ Flash Attention 2 (FA2) และ Hugging Face (HF) พร้อมลดการใช้ VRAM ได้ 63%

• เมื่อใช้ Unsloth เวอร์ชัน 70B ของ Llama 3 จะปรับแต่งได้เร็วขึ้น 1.8 เท่าและใช้ VRAM น้อยลง 68% ทำให้รองรับความยาวคอนเท็กซ์ที่มากขึ้นมากระหว่างการปรับแต่ง ซึ่งมีประโยชน์เป็นพิเศษสำหรับงานที่ต้องอาศัยบริบทกว้าง เช่น การตอบคำถามหรือการสร้างข้อความ

• Unsloth ยังรองรับการควอนไทซ์ 4 บิตสำหรับโมเดล Llama 3 ช่วยให้ดาวน์โหลดได้เร็วขึ้น 4 เท่าและลดความต้องการหน่วยความจำลง โดยโมเดล 4 บิตที่ผ่านการควอนไทซ์ล่วงหน้าสำหรับ Llama 3 รุ่น 70B ทั้งเวอร์ชัน Instruct และ Base สามารถใช้งานได้บนหน้า Hugging Face

• นอกจากนี้ Unsloth ยังจัดการกับลักษณะเฉพาะและ "บั๊ก" บางอย่างของ Llama 3 ได้ด้วย เช่น การที่โทเคไนเซอร์ไม่มีโทเค็น BOS และมีโทเค็นในโมเดลพื้นฐานที่ไม่ได้ถูกฝึกไว้ โดย Unsloth จะแก้ปัญหาเหล่านี้โดยอัตโนมัติระหว่างการปรับแต่ง เพื่อให้มั่นใจว่าการฝึกมีความแม่นยำและมีประสิทธิภาพ