LLaMA-Adapter V2: เครื่องมือสำหรับปรับจูน LLaMA อย่างมีประสิทธิภาพ
(github.com/ZrrSkywalker)- สามารถฝึก LLaMA ให้เป็นโมเดลแบบ Instruction-Following และ Multimodal ได้ภายใน 1 ชั่วโมง ด้วยพารามิเตอร์ที่เรียนรู้ได้เพียง 1.2 ล้านตัว
- Alpaca ต้องใช้พารามิเตอร์ 7B พื้นที่จัดเก็บ 13G และเวลา 3 ชั่วโมง แต่
LLaMA-Adapter ใช้พารามิเตอร์ 1.2M พื้นที่จัดเก็บ 4.7M และใช้เวลาเพียง 1 ชั่วโมง
1 ความคิดเห็น
ใช้วิธี PEFT ที่คล้ายกับ LoRA และที่สำคัญจริง ๆ ไม่ใช่ว่าประเด็นหลักคือรองรับ Visual Context หรอกหรือ? แนวทาง SFT (Instruction Fine Tune) ของการเข้าถึงแบบ PEFT สำหรับ LLaMA มีอยู่มากเกินพอแล้ว...