- เอนจินอนุมานที่พัฒนาด้วย Rust สำหรับ รันโมเดล AI ได้อย่างรวดเร็ว บนสภาพแวดล้อม Apple Silicon
- สถาปัตยกรรมแบบไฮบริด ที่เลือกใช้ GPU kernel หรือ MPSGraph ภายใต้ CoreML ได้ตามต้องการ
- ใช้โมเดลในฟอร์แมตเฉพาะของตนเอง และสามารถ แปลงโมเดลหลากหลายแบบ เช่น Llama3 ผ่านเครื่องมือ lalamo เพื่อนำมาใช้งานได้
- เหนือกว่า llama.cpp ในด้านความเร็วเป็นส่วนใหญ่ โดยเฉพาะใน Qwen3-0.6B ที่ทำความเร็วได้มากกว่า 13 เท่า
- รองรับ Swift binding, CLI interface และ Rust API ทำให้ พัฒนาและผสานรวมได้อย่างยืดหยุ่น
- ด้วย โครงสร้างแบบโมดูลาร์ และการใช้ประโยชน์จาก unified memory ของอุปกรณ์ Apple เพื่อรีดประสิทธิภาพสูงสุด พร้อมทั้งมีเส้นทางอนุมานที่ตรวจสอบประสิทธิภาพได้ จึงให้ทั้งความน่าเชื่อถือและการขยายระบบที่ดี
ยังไม่มีความคิดเห็น