BricksLLM - AI Gateway สำหรับ LLM
(github.com/bricks-cloud)- AI Gateway แบบคลาวด์เนทีฟที่เขียนด้วย Go
- ทำงานเป็นพร็อกซีสำหรับ OpenAI
- สามารถสร้าง API key ที่มี Rate Limit, Cost Limit และ TTL เพื่อมอบความสามารถในการควบคุมการเข้าถึงอย่างละเอียดซึ่ง OpenAI ไม่ได้มีให้
- เป้าหมายคือรองรับ LLM ที่หลากหลาย เช่น LLama2, Claude, PaLM2 เป็นต้น และทำให้การปฏิบัติการ LLM ง่ายขึ้น
ยังไม่มีความคิดเห็น