อยากทราบวิธีใช้งาน Gemma-4-E2B-it แบบ on-device ในสภาพแวดล้อม Expo + React Native

ตอนนี้กำลังพัฒนาแอปด้วย Expo + React Native และอยากติดตั้งโมเดล Gemma-4-E2B-it ลงบนโทรศัพท์โดยตรงเพื่อรันแบบ on-device

ลองหาข้อมูลดูแล้วเหมือนจะมีตัวเลือกประมาณนี้ แต่ยังนึกภาพไม่ค่อยออกว่าในทางปฏิบัติคนส่วนใหญ่นิยมใช้วิธีไหนกัน

• llama.rn
• llama.cpp
• GGUF
• LiteRT / AI Edge
• MLC LLM

สิ่งที่ผมอยากทำมีประมาณนี้

• ดาวน์โหลด/ติดตั้งโมเดลจากในแอป
• ทำ local inference (ถ้าเป็นไปได้อยากให้ offline ได้เต็มรูปแบบ)
• ใช้งานจากภายในแอป Expo/RN

ตอนนี้ runtime/ไลบรารีที่คนใช้กันมากที่สุดคืออะไรครับ?
ถ้ามีใครเคยทำจริง รบกวนช่วยแชร์โครงสร้าง ตัวอย่าง repo หรือประสบการณ์ให้หน่อย จะขอบคุณมากครับ

[ysahn0]

เคยทำ PoC ที่คล้ายกันด้วย flutter มาก่อนครับ ตอนนั้นทำด้วย LiteRT-lm และอ้างอิงจากเรโปซิทอรีนี้ค่อนข้างมาก https://github.com/google-ai-edge/gallery

[minsoo010]

อ๋อ เข้าใจแล้วครับ ผมเองก็เคยติดตั้ง Google Edge Gallery แล้วลองใช้นั่นนี่ดูเหมือนกัน จะลองเอาไปอ้างอิงดูครับ ขอบคุณมาก!