Portkey AI Gateway - ใช้งาน LLM มากกว่า 100 ตัวด้วย API เดียว
(github.com/Portkey-AI)- ทำหน้าที่เป็นอินเทอร์เฟซระหว่างแอปกับ LLM จึงสามารถเรียกใช้ LLM ทั้งหมดผ่าน API แบบรวมได้
- OpenAI, Anthropic, Mistral, LLama2, Anyscale, Google Gemini เป็นต้น
- เร็วมาก (9.9x) และมี footprint ขนาดเล็ก (~45kb)
- สามารถทำ load balancing ระหว่างหลายโมเดล/ผู้ให้บริการ/คีย์ได้
- รองรับให้แอปทำงานได้อย่างเสถียรผ่าน fallback และการลองใหม่อัตโนมัติ
2 ความคิดเห็น
ถ้าใช้งานได้ดี ก็น่าจะมีประโยชน์นะ
ผมเป็นหนึ่งในผู้ดูแลโปรเจกต์ และตั้งตารอฟังความคิดเห็นจากคอมมูนิตี้ครับ!