Mistral-finetune - ปรับจูนโมเดล Mistral แบบ Fine-tune
(github.com/mistralai)- โค้ดเบสน้ำหนักเบาที่ช่วยให้ทำ fine-tune โมเดลของ Mistral ได้อย่างมีประสิทธิภาพทั้งด้านหน่วยความจำและประสิทธิภาพการทำงาน
- ใช้ LoRA เป็นพื้นฐาน โดยน้ำหนักส่วนใหญ่จะถูกตรึงไว้ และฝึกเฉพาะน้ำหนักเพิ่มเติมเพียง 1–2% ในรูปแบบของ Low-Rank Matrix Perturbation
- หากต้องการประสิทธิภาพสูงสุด แนะนำให้ใช้ GPU A100 หรือ H100 และโค้ดเบสนี้ถูกปรับให้เหมาะกับการเทรนแบบ multi-GPU บน single node แต่สำหรับโมเดลขนาดเล็กอย่าง 7B ก็สามารถใช้ GPU เดียวได้เพียงพอ
หมายเหตุ: เป้าหมายของรีโพซิทอรีนี้คือการมอบจุดเริ่มต้นที่เรียบง่ายและมีแนวทางชัดเจนสำหรับการปรับจูนโมเดล Mistral ดังนั้นจึงมีแนวทางที่ค่อนข้างเฉพาะเจาะจงอยู่มาก (โดยเฉพาะเรื่องการจัดรูปแบบข้อมูล) และไม่ได้มุ่งหมายให้ครอบคลุมสถาปัตยกรรมโมเดลหรือประเภทฮาร์ดแวร์ที่หลากหลาย สำหรับแนวทางที่ทั่วไปกว่านี้ ลองดูโปรเจ็กต์ดี ๆ อื่น ๆ เช่น torchtune
ยังไม่มีความคิดเห็น