talk-llama - สนทนากับ LLaMA ในเทอร์มินัล
(github.com/ggerganov)- สาธิตการใช้งาน Whisper Medium(Whisper.cpp) + LLaMA v2 13B Q8_0 บน M2 Ultra
- ใช้ Whisper รู้จำเสียงพูด ส่งคำถามนั้นไปยัง LLaMA แล้วส่งคำตอบออกมาด้วยระบบสังเคราะห์เสียงของ MacOS โดยใช้คำสั่ง
say - รองรับการจัดการเซสชัน จึงสามารถสนทนาต่อเนื่องโดยอิงจากเนื้อหาการสนทนาก่อนหน้าได้
1 ความคิดเห็น
ดูเหมือนว่า 13B จะทำงานได้ดีบน Ultra นะครับ สงสัยว่าใน M3 Max จะเป็นอย่างไรบ้าง