- ไลบรารี Native-Pytorch สำหรับการ fine-tune ที่ช่วยให้สร้าง ปรับจูน และทดลองกับ LLM ได้ง่าย
- การติดตั้งใช้งานแบบเนทีฟของ LLM ยอดนิยมบน PyTorch
- รองรับ checkpoint หลายรูปแบบ รวมถึง checkpoint ในฟอร์แมต HF
- มีสูตรการฝึกสำหรับเทคนิคการ fine-tune ที่ใช้กันอย่างแพร่หลาย พร้อม benchmark อ้างอิงและการตรวจสอบความแม่นยำอย่างครอบคลุม
- ประเมินโมเดลที่ฝึกแล้วผ่าน EleutherAI evaluation harness
- ผสานการทำงานกับชุดข้อมูล HuggingFace สำหรับการฝึก
- รองรับการฝึกแบบกระจายด้วย FSDP ของ PyTorch Distributed
- การตั้งค่าแบบ YAML ที่ช่วยให้จัดคอนฟิกการรันการฝึกได้ง่าย
- [อยู่ระหว่างดำเนินการ] รองรับ low-precision dtype และเทคนิค quantization ของ TorchAO
- [อยู่ระหว่างดำเนินการ] รองรับการเชื่อมต่อกับ inference engine ที่หลากหลาย
ยังไม่มีความคิดเห็น