LLaMA-rs - LLaMA ที่พัฒนาด้วย Rust
(github.com/setzer22)- โปรเจ็กต์ที่พอร์ต
llama.cppมาเป็น Rust - รองรับโมเดลเวอร์ชัน
f16หรือแบบ quantized 4-bit - ใช้ไลบรารีเทนเซอร์
ggmlเดิมเหมือนต้นฉบับ จึงให้ประสิทธิภาพใกล้เคียงกับออริจินัล
llama.cpp มาเป็น Rustf16 หรือแบบ quantized 4-bitggml เดิมเหมือนต้นฉบับ จึงให้ประสิทธิภาพใกล้เคียงกับออริจินัล
1 ความคิดเห็น
ยังมีเวอร์ชันที่พัฒนา LLaMA ด้วย Rust คือ RLLaMA - Rust+OpenCL+AVX2 ด้วย
llama.cpp - รันอนุมานโมเดล LLaMA ของ Facebook ด้วย C/C++ ล้วน