วิธีไฟน์จูน LLM แบบ GPT ด้วยชุดข้อมูลแบบกำหนดเอง
(lightning.ai)- ไฟน์จูนด้วย LoRA และ Adapter โดยใช้ Lit-Parrot ซึ่งเป็นโอเพนซอร์สอิมพลีเมนเทชันที่อิงกับ nanoGPT
- รองรับ LLM อย่าง StableLM, Pythia และ RedPajama
- ใช้ FlashAttention ของ PyTorch
- ในตัวอย่างมีการปรับจูนโมเดล RedPajama-INCITE ด้วยชุดข้อมูล instruction ของ Dolly 2.0 จาก Databricks
ยังไม่มีความคิดเห็น