- สรุปตัวเลขสำคัญที่ควรรู้เมื่อใช้งาน LLM
- หากใส่คำว่า "กระชับ" ลงในพรอมป์ต์ สามารถประหยัดค่าใช้จ่ายได้ 40~90%
- เมื่อเทียบกับ GPT-4 แล้ว GPT-3.5 Turbo มีราคาถูกกว่าถึง 50 เท่า
- หากใช้ OpenAI Embeddings สำหรับการค้นหาแบบเวกเตอร์ จะมีราคาถูกกว่า GPT-3.5 Turbo ถึง 20 เท่า
- การฝึก LLM ระดับ LLaMa มีค่าใช้จ่ายราว 1 ล้านดอลลาร์สหรัฐ (ประมาณ 1.3 พันล้านวอน)
- ขนาดหน่วยความจำของ GPU แต่ละรุ่น - V100: 16GB, A10G: 24GB, A100: 40/80GB H100: 80GB
- โดยทั่วไปต้องใช้หน่วยความจำประมาณ 2 เท่าของขนาดโมเดล - 7B = 14GB
- โดยทั่วไปโมเดล Embedding ใช้หน่วยความจำน้อยกว่า 1GB
- หากประมวลผลคำขอ LLM แบบแบตช์ อาจเร็วขึ้นได้มากกว่า 10 เท่า
- โมเดล 13B ต้องใช้ประมาณ 1MB ต่อโทเค็น ดังนั้นเมื่อประมวลผลคำขอแบบแบตช์ ความต้องการหน่วยความจำจะเพิ่มขึ้นอย่างมาก
2 ความคิดเห็น
ผมเคยลองทำให้สั้นลงหลายแบบแล้ว แต่คงต้องลองใส่
be consiseแบบที่บทความพูดถึงดูสักครั้งเหมือนกันครับคงต้องลองผสมกับ
let's think step by stepดูเหมือนกันครับ