• AI gateway แบบน้ำหนักเบา คล้ายกับ LiteLLM โดยเป็นไบนารีเดี่ยวของ Go จึงทำให้อิมเมจคอนเทนเนอร์มีขนาดเล็กและ cold start ได้รวดเร็ว
  • รวม 11 ผู้ให้บริการ เช่น OpenAI, Anthropic, Gemini, Groq, xAI ไว้ภายใต้ OpenAI-compatible API เดียว
  • เพียงส่ง API key ผ่านตัวแปรสภาพแวดล้อมให้กับ Docker container เดียว ก็ใช้งานได้ทันทีด้วย การตรวจจับผู้ให้บริการอัตโนมัติ
  • รองรับ ทุก endpoint ของ OpenAI API เช่น /v1/chat/completions (สตรีมมิง), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches
  • มี /p/{provider}/... สำหรับ native API passthrough เพื่อส่งต่อคำตอบจาก upstream แบบเดิมโดยตรง (จึงใช้ฟีเจอร์ที่ gateway ยังไม่รองรับได้ทันที)
  • มี แคชคำตอบ 2 ชั้น ในตัว
    • Layer 1: แคชแบบ exact match อิงจากแฮชของ request body (ค้นหาได้ในระดับ sub-millisecond)
    • Layer 2: semantic cache อิงจากการค้นหา KNN ของ embedding vector (มีอัตรา hit 60~70% ในเวิร์กโหลดที่มีการทำซ้ำสูง)
    • รองรับ Qdrant, pgvector, Pinecone, Weaviate เป็นเวกเตอร์แบ็กเอนด์
  • มี Dashboard UI สำหรับการจัดการในตัว ใช้ตรวจสอบการใช้โทเคน, ติดตามค่าใช้จ่าย, audit log, สถานะผู้ให้บริการ, model override ฯลฯ ได้
  • มีฟีเจอร์ด้าน observability ในตัว เช่น Prometheus metrics, audit logging, guardrail pipeline (เปิดใช้งานแต่ละส่วนผ่านตัวแปรสภาพแวดล้อม)
  • ใช้ GOMODEL_MASTER_KEY สำหรับการยืนยันตัวตน API และเลือก storage backend ได้ระหว่าง SQLite, PostgreSQL, MongoDB
  • รองรับการลงทะเบียน หลายอินสแตนซ์ของผู้ให้บริการเดียวกัน ผ่านตัวแปรสภาพแวดล้อมแบบมี suffix (เช่น OPENAI_EAST_API_KEY)
  • เลือก storage backend ได้ทั้ง SQLite (ค่าเริ่มต้น), PostgreSQL, MongoDB ทำให้ระบบขนาดเล็กใช้งานได้ทันทีหลังติดตั้ง และระบบขนาดใหญ่ขยายได้ด้วยการเปลี่ยนฐานข้อมูลเท่านั้น
  • โรดแมป 0.2.0: เตรียมเพิ่ม intelligent routing, DeepSeek V3·Cohere, การจัดการงบประมาณตาม user_path, โหมดคลัสเตอร์ ฯลฯ
  • ไลเซนส์ MIT

ยังไม่มีความคิดเห็น

ยังไม่มีความคิดเห็น