Google LiteRT-LM - เฟรมเวิร์กอนุมาน LLM ประสิทธิภาพสูงสำหรับอุปกรณ์เอดจ์

 (github.com/google-ai-edge)
14 คะแนน โดย xguru 8 일 전 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • เอนจินอนุมาน LLM แบบ on-device ระดับพร้อมใช้งานจริงในโปรดักชันที่ Google สร้างขึ้น สามารถรันโมเดลภาษาขนาดใหญ่ได้ครอบคลุมสภาพแวดล้อมเอดจ์ เช่น Android, iOS, เว็บ, เดสก์ท็อป และ IoT (Raspberry Pi)
  • เพิ่มการรองรับ Gemma 4 รุ่นล่าสุด พร้อมมอบประสิทธิภาพการอนุมานที่เหมาะสมที่สุดบนอุปกรณ์เอดจ์ผ่าน การเร่งฮาร์ดแวร์ด้วย GPU·NPU
  • รองรับ มัลติโหมด จึงประมวลผลอินพุตด้านวิชัน (ภาพ) และเสียงได้ และยังรองรับการอนุมานพร้อมแนบภาพใน CLI ผ่านตัวเลือก --attachment
  • มี Function Calling (Tool Use) ในตัวสำหรับเวิร์กโฟลว์แบบเอเจนต์
  • รองรับ โมเดล LLM หลากหลาย เช่น Gemma, Llama, Phi-4, Qwen และสามารถดาวน์โหลดโมเดลจาก Hugging Face แล้วเริ่มอนุมานได้ทันทีด้วยคำสั่ง CLI บรรทัดเดียว
    • เริ่มได้ทันทีด้วย uv tool install litert-lm → litert-lm run
  • ถูกนำไปใช้งานจริงในผลิตภัณฑ์ Google อย่าง Chrome, Chromebook Plus, Pixel Watch เพื่อขับเคลื่อน GenAI แบบ on-device
  • สามารถรันโมเดลบนมือถือได้ทันทีผ่านแอป Google AI Edge Gallery (มีให้บน Google Play และ App Store)
  • API ของภาษา: รองรับแบบเสถียรสำหรับ Kotlin (Android/JVM), Python (การทำต้นแบบ), C++ (เนทีฟประสิทธิภาพสูง) และกำลังพัฒนา Swift (iOS/macOS)
  • สถานะรีลีส: ล่าสุดคือ v0.10.2, ใน v0.10.1 ได้เพิ่ม Gemma 4 และ CLI, ใน v0.8.0 เพิ่ม GPU บนเดสก์ท็อปและมัลติโหมด, ใน v0.7.0 เพิ่มการเร่งด้วย NPU
  • ไลเซนส์ Apache-2.0

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
picopress 7 일 전

อยากลองรันดูเหมือนกัน แต่ไม่มีหน่วยความจำเลย เฮ้อ
 
hmmhmmhm 8 일 전

ช่วงนี้น่าจะดีขึ้นแล้วหรือเปล่า ก่อนหน้านี้ฝั่ง Mac ประสิทธิภาพแอบไม่ค่อยดีแบบแปลก ๆ น่ะ...