Token Limit - ตรวจสอบจำนวนโทเค็นที่โค้ดและไฟล์คอนฟิกใช้ในเครื่องมือ AI

ระหว่างที่ทำโปรเจกต์ซึ่งใช้ไฟล์คอนเท็กซ์ของ AI (CLAUDE.md, .cursorrules เป็นต้น) ผมก็ยังตกใจกับบิลค่า API อยู่เรื่อย ๆ ผมพบว่าการดูจากขนาดไฟล์อย่างเดียวทำให้ประเมินต้นทุนโทเค็นได้ไม่แม่นยำ

ดังนั้นผมจึงสร้างเครื่องมือ CLI ชื่อ Token Limit ขึ้นมา:

• คำนวณจำนวนโทเค็นจริงโดยใช้ tokenizer อย่างเป็นทางการ
• ตั้งงบประมาณได้ทั้งในหน่วยโทเค็นหรือดอลลาร์ ("100k", "$0.50")
• ผสานเข้ากับ CI เพื่อจับการเปลี่ยนแปลงที่มีต้นทุนสูงล่วงหน้าก่อนนำขึ้นโปรดักชัน
• รองรับโมเดลล่าสุดทั้งหมด (GPT-4, Claude 3.5, o1 เป็นต้น)