GoModel - AI Gateway ประสิทธิภาพสูงที่เขียนด้วย Go

• AI Gateway แบบน้ำหนักเบา คล้ายกับ LiteLLM โดยเป็นไบนารีเดี่ยวของ Go จึงทำให้อิมเมจคอนเทนเนอร์มีขนาดเล็กและ cold start เร็ว
• รวม ผู้ให้บริการ 11 ราย เช่น OpenAI, Anthropic, Gemini, Groq, xAI ไว้ภายใต้ OpenAI-compatible API เดียว
• เพียงส่ง API key ผ่าน environment variable ใน Docker container ตัวเดียว ก็สามารถใช้งานได้ทันทีด้วย การตรวจจับผู้ให้บริการอัตโนมัติ
• รองรับ ทุก endpoint ของ OpenAI API เช่น /v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches
• มี /p/{provider}/... สำหรับ native API passthrough ด้วย เพื่อส่งต่อ upstream response ตามต้นฉบับโดยตรง (จึงใช้ฟีเจอร์ที่ gateway ยังไม่รองรับได้ทันที)
• มี แคชการตอบกลับ 2 ชั้น ในตัว
  • Layer 1: แคช exact match อิงจากแฮชของ request body (ค้นหาได้ในระดับต่ำกว่ามิลลิวินาที)
  • Layer 2: semantic cache อิงจากการค้นหา embedding vector แบบ KNN (มีอัตรา hit 60~70% ในงานที่มีการทำซ้ำสูง)
  • รองรับ Qdrant, pgvector, Pinecone, Weaviate เป็น vector backend
• มี Dashboard UI สำหรับการจัดการในตัว ใช้ตรวจสอบการใช้โทเคน, ติดตามค่าใช้จ่าย, audit log, สถานะผู้ให้บริการ, การ override โมเดล ฯลฯ
• มีฟีเจอร์ด้าน observability ในตัว เช่น Prometheus metrics, audit logging, guardrail pipeline (เปิดใช้งานแต่ละอย่างผ่าน environment variable)
• ใช้ GOMODEL_MASTER_KEY สำหรับยืนยันตัวตนของ API และเลือก storage backend ได้ระหว่าง SQLite, PostgreSQL, MongoDB
• รองรับการลงทะเบียน หลายอินสแตนซ์ของผู้ให้บริการเดียวกัน ผ่าน environment variable แบบมี suffix (เช่น OPENAI_EAST_API_KEY)
• เลือก storage backend ได้เป็น SQLite (ค่าเริ่มต้น), PostgreSQL, MongoDB ทำให้ระบบขนาดเล็กใช้งานได้ทันทีหลังติดตั้ง และระบบขนาดใหญ่ขยายต่อได้ด้วยการเปลี่ยน DB เท่านั้น
• Roadmap ของ 0.2.0: intelligent routing, เพิ่ม DeepSeek V3·Cohere, การจัดการงบประมาณตาม user_path, cluster mode เป็นต้น
• ไลเซนส์ MIT

[xguru]

ดูเหมือนว่าน่าจะเป็นตัวเลือกเบา ๆ ที่บริษัทซึ่งกำลังจะนำ LiteLLM มาใช้ สามารถลองพิจารณาเป็นทางเลือกแทนได้

LiteLLM ที่พัฒนาบน Python เคยโดนการโจมตีแบบ supply chain มาก่อนครั้งหนึ่ง เลยทำให้ Go ดูปลอดภัยกว่าขึ้นมาอยู่บ้างเมื่อเทียบกัน