LocalAI - API ที่เข้ากันได้กับ OpenAI และสามารถโฮสต์เองได้

• ใช้งาน LLM ได้หลากหลายผ่าน REST API ที่เข้ากันได้กับ OpenAI
• ใช้งานได้แม้ไม่มี GPU และรองรับการเร่งความเร็วด้วย GPU สำหรับ LLM ที่เข้ากันได้กับ llama.cpp
• รองรับหลายโมเดล พร้อมการถอดเสียงอัตโนมัติจากเสียง การสร้างข้อความ และการสร้างภาพ (Stable Diffusion)
• เมื่อโหลดแล้ว จะเก็บโมเดลไว้ในหน่วยความจำเพื่อรองรับการอนุมานที่รวดเร็ว
• รองรับโมเดลที่เข้ากันได้กับ ggml ทั้งหมด: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder,..