GoModel - AI Gateway ประสิทธิภาพสูงที่เขียนด้วย Go
(github.com/ENTERPILOT)- AI gateway แบบน้ำหนักเบา คล้ายกับ LiteLLM โดยเป็นไบนารีเดี่ยวของ Go จึงทำให้อิมเมจคอนเทนเนอร์มีขนาดเล็กและ cold start ได้รวดเร็ว
- รวม 11 ผู้ให้บริการ เช่น OpenAI, Anthropic, Gemini, Groq, xAI ไว้ภายใต้ OpenAI-compatible API เดียว
- เพียงส่ง API key ผ่านตัวแปรสภาพแวดล้อมให้กับ Docker container เดียว ก็ใช้งานได้ทันทีด้วย การตรวจจับผู้ให้บริการอัตโนมัติ
- รองรับ ทุก endpoint ของ OpenAI API เช่น
/v1/chat/completions(สตรีมมิง),/v1/responses,/v1/embeddings,/v1/models,/v1/files,/v1/batches - มี
/p/{provider}/...สำหรับ native API passthrough เพื่อส่งต่อคำตอบจาก upstream แบบเดิมโดยตรง (จึงใช้ฟีเจอร์ที่ gateway ยังไม่รองรับได้ทันที) - มี แคชคำตอบ 2 ชั้น ในตัว
- Layer 1: แคชแบบ exact match อิงจากแฮชของ request body (ค้นหาได้ในระดับ sub-millisecond)
- Layer 2: semantic cache อิงจากการค้นหา KNN ของ embedding vector (มีอัตรา hit 60~70% ในเวิร์กโหลดที่มีการทำซ้ำสูง)
- รองรับ Qdrant, pgvector, Pinecone, Weaviate เป็นเวกเตอร์แบ็กเอนด์
- มี Dashboard UI สำหรับการจัดการในตัว ใช้ตรวจสอบการใช้โทเคน, ติดตามค่าใช้จ่าย, audit log, สถานะผู้ให้บริการ, model override ฯลฯ ได้
- มีฟีเจอร์ด้าน observability ในตัว เช่น Prometheus metrics, audit logging, guardrail pipeline (เปิดใช้งานแต่ละส่วนผ่านตัวแปรสภาพแวดล้อม)
- ใช้
GOMODEL_MASTER_KEYสำหรับการยืนยันตัวตน API และเลือก storage backend ได้ระหว่าง SQLite, PostgreSQL, MongoDB - รองรับการลงทะเบียน หลายอินสแตนซ์ของผู้ให้บริการเดียวกัน ผ่านตัวแปรสภาพแวดล้อมแบบมี suffix (เช่น
OPENAI_EAST_API_KEY) - เลือก storage backend ได้ทั้ง SQLite (ค่าเริ่มต้น), PostgreSQL, MongoDB ทำให้ระบบขนาดเล็กใช้งานได้ทันทีหลังติดตั้ง และระบบขนาดใหญ่ขยายได้ด้วยการเปลี่ยนฐานข้อมูลเท่านั้น
- โรดแมป 0.2.0: เตรียมเพิ่ม intelligent routing, DeepSeek V3·Cohere, การจัดการงบประมาณตาม user_path, โหมดคลัสเตอร์ ฯลฯ
- ไลเซนส์ MIT
ยังไม่มีความคิดเห็น