เปิดตัว Whisper.cpp 1.4.0
(github.com/ggerganov)- รองรับการทำ quantization แบบจำนวนเต็ม (integer quantization): สามารถแปลงโมเดล ggml Whisper จากค่าน้ำหนักแบบเลขทศนิยม 16 บิตมาตรฐานเป็นค่าน้ำหนักจำนวนเต็ม 4, 6, 8 บิตได้
- ลดขนาดบนดิสก์และการใช้หน่วยความจำ ทำให้ทำงานได้เร็วขึ้นบนบางสถาปัตยกรรม
- เป็นไปได้ด้วยโค้ดที่มีการร่วมพัฒนาให้กับโปรเจกต์ llama.cpp
- รองรับ NVIDIA GPU โดยใช้ cuBLAS
1 ความคิดเห็น
Whisper.cpp - อิมพลีเมนเทชัน C/C++ ประสิทธิภาพสูงของ OpenAI Whisper