Token Cost - คำนวณต้นทุนต่อโทเคนของ LLM มากกว่า 400 รุ่น
(github.com/AgentOps-AI)- คำนวณค่าใช้จ่ายโดยประมาณของพรอมป์ต์และคำตอบที่สร้างเสร็จ เพื่อประเมินต้นทุนในการใช้งาน LLM API หลัก ๆ
- ติดตามโมเดลล่าสุดและราคาของผู้ให้บริการ LLM แต่ละราย
- วัดจำนวนโทเคนก่อนส่งพรอมป์ต์และจำนวนโทเคนของคำตอบที่สร้างขึ้น แล้วคำนวณยอดรวมตามต้นทุนต่อโทเคนของ LLM แต่ละตัว
- สามารถนำไปเชื่อมต่อกับระบบที่ผสาน LLM ของตนเองได้ด้วยฟังก์ชันเพียงตัวเดียว
ยังไม่มีความคิดเห็น