nano-llama31 - เวอร์ชัน Llama 3.1 สไตล์ nanoGPT
(github.com/karpathy)- เวอร์ชัน Llama 3.1 สไตล์ nanoGPT ที่ Andrej karpathy พัฒนา
- อิมพลีเมนต์สถาปัตยกรรม Llama 3.1 แบบมินิมอลที่ไม่มี dependency ทำให้สามารถฝึก, fine-tune และทำ inference ได้อย่างง่ายมาก
- มี dependency น้อยกว่าและโค้ดขนาดเล็กกว่าอิมพลีเมนต์ของ Meta และ HuggingFace
- ปัจจุบันมุ่งเน้นไปที่โมเดลพื้นฐาน 8B ของ Llama 3.1
- WIP: ยังอยู่ระหว่างการพัฒนาและยังไม่เสร็จสมบูรณ์
ยังไม่มีความคิดเห็น