- โค้ดเบสขนาดเล็กที่ช่วยให้รัน PyTorch LLM แบบโลคัลได้ (เซิร์ฟเวอร์ เดสก์ท็อป มือถือ)
- รัน LLM ได้ทั้งในแอปพลิเคชันแบบกำหนดเอง (C/C++) บนเดสก์ท็อปหรือเซิร์ฟเวอร์ และบน iOS และ Android โดยใช้ Python
- โต้ตอบผ่านบรรทัดคำสั่งกับ LLM ยอดนิยม เช่น Llama 3/2, Mistral
- รองรับฮาร์ดแวร์และระบบปฏิบัติการยอดนิยม: Linux(x86), Mac OS(M1/M2/M3), Android(อุปกรณ์ที่รองรับ XNNPACK), iOS 17+(iPhone 13 Pro+)
- รองรับชนิดข้อมูลหลากหลาย: float32, float16, bfloat16
- รองรับสคีมการทำ Quantization ได้หลากหลาย
- โหมดการรันหลายแบบ: Python(Eager, คอมไพล์) หรือ Native(AOT Inductor(AOTI), ExecuTorch)
ยังไม่มีความคิดเห็น