Alpaca-LoRA : ปรับแต่งคำสั่งให้ LLaMA ด้วย Low-Rank
(github.com/tloen)- ลองปรับแต่งคำสั่งให้ LLaMA บนฮาร์ดแวร์ส่วนบุคคลโดยใช้ Low-Rank Adaptation
- โมเดลที่ทำงานได้บน Raspberry Pi และมีคุณภาพใกล้เคียงกับ
text-davinci-003 - โค้ดสำหรับฝึกสามารถรันเสร็จได้ภายใน 5 ชั่วโมงบน RTX 4090 เพียงตัวเดียว
- ใช้ PEFT (Parameter-Efficient Fine-Tuning) ของ Hugging Face และ bitsandbytes ของ Tim Dettmer เพื่อการฟाइनจูนที่ประหยัดและมีประสิทธิภาพ
ยังไม่มีความคิดเห็น