Google LiteRT-LM - เฟรมเวิร์กอนุมาน LLM ประสิทธิภาพสูงสำหรับอุปกรณ์เอดจ์
(github.com/google-ai-edge)- เอนจินอนุมาน LLM แบบ on-device ระดับพร้อมใช้งานจริงในโปรดักชัน ที่ Google สร้างขึ้น สามารถรันโมเดลภาษาขนาดใหญ่ได้ในสภาพแวดล้อมเอดจ์หลากหลาย ทั้ง Android, iOS, เว็บ, เดสก์ท็อป และ IoT (Raspberry Pi)
- เพิ่มการรองรับ โมเดล Gemma 4 รุ่นล่าสุด พร้อมมอบประสิทธิภาพการอนุมานที่เหมาะสมที่สุดบนอุปกรณ์เอดจ์ผ่าน การเร่งฮาร์ดแวร์ด้วย GPU·NPU
- รองรับ มัลติโหมด สามารถประมวลผลอินพุตภาพและเสียงได้ และใน CLI ก็รองรับการอนุมานพร้อมแนบภาพด้วยออปชัน
--attachment - มี Function Calling (Tool Use) ในตัว สำหรับเวิร์กโฟลว์แบบเอเจนต์
- รองรับ โมเดล LLM หลากหลาย เช่น Gemma, Llama, Phi-4, Qwen และสามารถดาวน์โหลดโมเดลจาก Hugging Face แล้วอนุมานได้ทันทีด้วยคำสั่ง CLI เพียงบรรทัดเดียว
uv tool install litert-lm→litert-lm runเพื่อเริ่มใช้งานได้ทันที
- ถูกนำไปใช้งานจริงในผลิตภัณฑ์ของ Google เช่น Chrome, Chromebook Plus, Pixel Watch เพื่อรัน GenAI แบบ on-device
- สามารถรันโมเดลได้ทันทีบนมือถือผ่านแอป Google AI Edge Gallery (มีให้บน Google Play และ App Store)
- API ของภาษา: รองรับอย่างเสถียรสำหรับ Kotlin (Android/JVM), Python (การทำต้นแบบ), C++ (เนทีฟประสิทธิภาพสูง) และกำลังพัฒนา Swift (iOS/macOS)
- สถานะรีลีส: ล่าสุดคือ v0.10.2 โดย v0.10.1 เพิ่ม Gemma 4 และ CLI, v0.8.0 เพิ่ม GPU บนเดสก์ท็อปและมัลติโหมด, v0.7.0 เพิ่มการเร่งความเร็วด้วย NPU
- ไลเซนส์ Apache-2.0
2 ความคิดเห็น
อยากลองรันดูเหมือนกัน แต่ไม่มีหน่วยความจำเลย เฮ้อ
ช่วงนี้น่าจะดีขึ้นแล้วหรือเปล่า ก่อนหน้านี้ฝั่ง Mac ประสิทธิภาพแอบไม่ค่อยดีแบบแปลก ๆ น่ะ...