LiteRT-LM-Unity - แรปเปอร์ Unity สำหรับ Android ของ LiteRT-LM

กำลังพัฒนา LLM แบบ on-device บน Android อยู่

ก่อนหน้านี้ใช้ whisper.cpp อยู่ แต่เนื่องจากไม่มีการเร่งความเร็วด้วย GPU จึงรู้สึกว่ายังขาดเรื่องความเร็วอยู่มาก
หลังจากที่ LiteRT-LM ถูกเผยแพร่ออกมา โดยเฉพาะเมื่อมีการนำ MTP มาใช้ด้วย จึงประเมินได้ว่าความเร็วค่อนข้างสูงมาก เลยทำการพอร์ต และ
ก็ได้ผลลัพธ์ที่น่าพอใจ

ยังได้ทำการทดสอบ benchmark ของโมเดลหลากหลายตัวที่เผยแพร่ใน LiteRT Community ด้วย

เผื่อว่าจะเป็นประโยชน์กับใคร จึงนำมาเปิดเผยไว้

[wedding]

ได้มีการรองรับ Parakeet ASR แล้ว และกำลังพัฒนาการรองรับ Whisper ASR อยู่