Mozilla เปิดซอร์สโซลูชันบริหารต้นทุน LLM: any-llm-gateway
(aisparkup.com)Mozilla AI เปิดตัวพร็อกซีเซิร์ฟเวอร์โอเพนซอร์ส any-llm-gateway เพื่อแก้ปัญหาค่าใช้จ่ายที่พุ่งสูงและการชะลอนวัตกรรมจากการใช้งาน LLM (โมเดลภาษาขนาดใหญ่) โดยเครื่องมือนี้ต่อยอดจากไลบรารี any-llm เดิม พร้อมเสริมความสามารถด้านการจัดการงบประมาณ การจัดการคีย์ API และการวิเคราะห์การใช้งานให้แข็งแรงในระดับพร้อมใช้งานจริง
ฟีเจอร์หลัก:
- การจัดการงบประมาณอัจฉริยะ: ตั้งระดับงบประมาณแบบใช้ร่วมกันเพื่อให้ผู้ใช้หลายคนใช้งานร่วมกันได้ รีเซ็ตอัตโนมัติรายวัน/รายสัปดาห์/รายเดือน และเลือกได้ว่าจะบังคับใช้หรือใช้เพียงเพื่อติดตาม
- ระบบคีย์ API ที่ยืดหยุ่น: รองรับทั้งมาสเตอร์คีย์ (สำหรับบริการที่เชื่อถือได้) และคีย์เสมือน (ตั้งค่าการหมดอายุ/เมทาดาทา เปิดใช้งานหรือยกเลิกได้) พร้อมติดตามการใช้จ่ายรายผู้ใช้อัตโนมัติ
- การวิเคราะห์การใช้งานครบถ้วน: บันทึกจำนวนโทเคน ค่าใช้จ่าย และเมทาดาทาระดับต่อคำขอ รองรับรายงานการใช้จ่ายรายผู้ใช้และการจัดสรรค่าใช้จ่าย
การใช้งานจริง:
มี OpenAI-compatible API และกำหนดโมเดลได้ด้วยรูปแบบ provider:model (เช่น openai:gpt-4o-mini) รองรับสตรีมมิงและการติดตามโทเคนอัตโนมัติ ดีพลอยได้ง่ายด้วย Docker และเหมาะกับสภาพแวดล้อมโปรดักชันด้วยการตั้งค่าผ่าน YAML/ตัวแปรสภาพแวดล้อม รวมถึงรองรับ Kubernetes probes
เครื่องมือนี้มีประโยชน์สำหรับการทำแพ็กเกจราคาแบบ SaaS การดูแลทีมวิจัย และงานลักษณะใกล้เคียงกัน โดยเน้นการสร้างสมดุลระหว่างการควบคุมต้นทุนกับนวัตกรรม และด้วยความเป็นโอเพนซอร์ส ใครก็สามารถนำไปใช้และปรับแต่งได้อย่างอิสระ
ยังไม่มีความคิดเห็น