• โมเดลที่เดิมพัฒนาด้วย Python ถูกพอร์ตมาเป็น C++ โดยใช้ไลบรารี GGML
  • โค้ดที่มีน้ำหนักเบาทำให้สามารถนำไปใช้งานได้หลากหลายที่
  • GGML ซึ่งตั้งชื่อตาม Georgi Gerganov ผู้สร้างดั้งเดิม เป็นไลบรารีเทนเซอร์ที่รองรับการควอนไทซ์ ซึ่งใช้สร้าง llama.cpp/whisper.cpp
    • ปรับแต่งมาเพื่อ CPU มากกว่า GPU โดยเฉพาะ Apple Silicon M1/M2

ยังไม่มีความคิดเห็น

ยังไม่มีความคิดเห็น