llama-tokenizer-js - ตัวแยกโทเค็น LLaMA ที่ทำงานบนเบราว์เซอร์
(github.com/belladoreai)- สามารถใช้เพื่อคำนวณโทเค็นได้อย่างแม่นยำฝั่งไคลเอนต์
- ใช้งานได้ง่ายด้วยไฟล์เดียวที่ไม่มี dependency ใด ๆ
- รองรับโมเดลส่วนใหญ่ที่อิงกับ LLaMA
- สามารถแยกโทเค็นได้ราว 2,000 โทเค็นภายใน 20ms
ยังไม่มีความคิดเห็น