tiktoken - Tokenizer ของ OpenAI

 (github.com/openai)
4 คะแนน โดย xguru 2022-12-23 | ยังไม่มีความคิดเห็น | แชร์ทาง WhatsApp
  • Tokenizer แบบ BPE (Byte pair encoding) ที่รวดเร็ว สำหรับใช้งานกับโมเดลของ OpenAI
  • เร็วกว่า Tokenizer เดิม (Huggingface) 3~6 เท่า
  • ติดตั้งได้ผ่าน PyPI
  • โอเพนซอร์ส Python + Rust

บทความที่เกี่ยวข้อง

ยังไม่มีความคิดเห็น

ยังไม่มีความคิดเห็น