- รองรับการรัน LLM ได้อย่างง่ายดายบนคอมพิวเตอร์ส่วนใหญ่ด้วยไฟล์เพียง 1 ไฟล์ โดยไม่ต้องติดตั้ง
- เฟรมเวิร์กที่ผสาน llama.cpp และ Cosmopolitan Libc
- บิลด์เดียวสามารถรันได้บนหลายระบบปฏิบัติการและสถาปัตยกรรม CPU ที่หลากหลาย
- มีตัวอย่างโมเดล LLaVA ที่สามารถแชตและจดจำภาพได้
- เพียงดาวน์โหลดไฟล์
llava-v1.5-7b-q4-server.llamafile ขนาด 4GB แล้วรันก็ใช้งานได้เลย
- สำหรับ Mac/Linux/BSD ให้
chmod +x แล้วรันได้ทันที
- บน Windows ให้เติม
.exe ต่อท้ายส่วนขยายแล้วรันได้ทันที
- เมื่อรันแล้ว เบราว์เซอร์จะเปิดขึ้นอัตโนมัติและแสดงอินเทอร์เฟซแชต
- นอกจากนี้ยังมี llamafile อื่น ๆ เช่น Mistral-7B-Instruct และ WizardCoder-Python-13B
4 ความคิดเห็น
curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafileแค่สั่งคำสั่ง curl ครั้งเดียวก็รันได้ทันที น่าทึ่งมากจริง ๆ..
ว้าว สุดยอดมากเลย 555
รันได้ง่ายมากจริง ๆ ครับ
มีโพสต์ใน GN⁺ ไปแล้ว แต่ดูเหมือนบทแนะนำจากสรุปโดย AI จะยังไม่เพียงพอหรือไม่ค่อยได้รับความนิยม เลยขอสรุปอีกครั้งครับ คิดว่าเป็นความพยายามที่น่าสนใจทีเดียว
สามารถดีพลอยและรัน LLM เป็นไฟล์เดียวผ่าน "Llamafile"
โมเดลพื้นฐานคือ LLaVA: Visual Instruction Tuning
ตอนเปิดตัวใหม่ ๆ Cosmopolitan กับ RedBean ดูเหมือนของขำ ๆ แต่กลับนำมาใช้แบบนี้ได้ด้วย น่าจะเป็นกรณีใช้งานที่ยอดเยี่ยมมาก