• AI Gateway แบบคลาวด์เนทีฟที่เขียนด้วย Go
  • ทำงานเป็นพร็อกซีสำหรับ OpenAI
  • สามารถสร้าง API key ที่มี Rate Limit, Cost Limit และ TTL เพื่อมอบความสามารถในการควบคุมการเข้าถึงอย่างละเอียดซึ่ง OpenAI ไม่ได้มีให้
  • เป้าหมายคือรองรับ LLM ที่หลากหลาย เช่น LLama2, Claude, PaLM2 เป็นต้น และทำให้การปฏิบัติการ LLM ง่ายขึ้น

ยังไม่มีความคิดเห็น

ยังไม่มีความคิดเห็น