Whisper Jax: อิมพลีเมนเทชัน Whisper API ที่เร็วที่สุด
(github.com/sanchit-gandhi)- ปรับแต่งโมเดลรู้จำเสียง Whisper ของ OpenAI ให้ทำงานได้รวดเร็ว
- รันด้วย JAX บน TPU v4-8 เร็วกว่าเมื่อรันด้วย PyTorch บน A100 GPU ได้สูงสุด 70 เท่า
- สามารถรันได้ทั้งบน CPU/GPU/TPU และใช้งานได้ทั้งแบบสแตนด์อโลนหรือเป็น Inference endpoint
ยังไม่มีความคิดเห็น