liteLLM - พร็อกซีเซิร์ฟเวอร์ที่รองรับ LLM มากกว่า 50 รายการ

• สามารถเรียกใช้ API /chat/completion กับ LLM หลากหลายตัว เช่น Azure, OpenAI, Replicate, Anthropic และ Hugging Face
• ทำให้ฟอร์แมต Input/Output เป็นมาตรฐานเดียวกันในรูปแบบ OpenAI
• รองรับ Model Fallback (เช่น หาก GPT-4 ล้มเหลว ให้เรียก llama2)
• รองรับการล็อก: Supabase, Posthog, Mixpanel, Sentry, Helicone
• ติดตามการใช้งานโทเค็น
• ใช้งาน Semantic Caching
• รองรับสตรีมมิงและอะซิงก์