MiniLLM - รัน LLM บน GPU ส่วนตัว
(github.com/kuleshov)- ระบบขนาดมินิมอลสำหรับรัน LLM รุ่นล่าสุดบน Nvidia GPU สำหรับผู้บริโภค
- รองรับ LLM หลายตัว (LLAMA, BLOOM, OPT) ได้สูงสุดถึงขนาด 170B
- รองรับ Nvidia GPU หลากหลายประเภท
- โค้ดขนาดเล็ก ใช้งานง่าย เขียนด้วย Python
- ภายในใช้ขั้นตอนวิธี GPTQ สำหรับการบีบอัดแบบ 3-bit เพื่อลดการใช้หน่วยความจำ GPU ให้ต่ำที่สุด
ยังไม่มีความคิดเห็น