Ollama v0.1.33 - รองรับ Llama 3 + Phi 3 + Qwen 110B

 (github.com/ollama)
8 คะแนน โดย xguru 2024-04-30 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • รองรับโมเดลใหม่
    • Llama 3: โมเดลใหม่จาก Meta และเป็น LLM แบบเปิดที่มีประสิทธิภาพดีที่สุดเท่าที่มีมาในตอนนี้
    • Phi 3 Mini: โมเดลเปิดขนาดเบารุ่นใหม่จาก Microsoft ที่มีพารามิเตอร์ 3.8 พันล้านตัว
    • Moondream: โมเดลวิชันภาษาแบบขนาดเล็กที่ออกแบบมาให้รันได้อย่างมีประสิทธิภาพบนอุปกรณ์เอดจ์
    • Dolphin Llama 3: โมเดลแบบไม่เซ็นเซอร์ที่ Eric Hartford ฝึกบนพื้นฐานของ Llama 3 พร้อมความสามารถด้านการสอน การสนทนา และการเขียนโค้ดที่หลากหลาย
    • Qwen 110B: โมเดลขนาดพารามิเตอร์ 100B จาก Alibaba ที่ทำผลงานได้โดดเด่นในการประเมินผล
  • แก้ไขบั๊ก
    • แก้ปัญหาที่โมเดลไม่ยอมปิดจนทำให้ API หยุดทำงาน
    • แก้ข้อผิดพลาดหน่วยความจำไม่พอบน Mac ที่ใช้ Apple Silicon
    • แก้ข้อผิดพลาดหน่วยความจำไม่พอเมื่อรันโมเดลสถาปัตยกรรม Mixtral
  • ฟีเจอร์ concurrency แบบทดลอง
    • OLLAMA_NUM_PARALLEL: ประมวลผลหลายคำขอพร้อมกันสำหรับโมเดลเดียว
    • OLLAMA_MAX_LOADED_MODELS: โหลดหลายโมเดลพร้อมกัน
    • ต้องตั้งค่าตัวแปรสภาพแวดล้อม
      • OLLAMA_NUM_PARALLEL=4 OLLAMA_MAX_LOADED_MODELS=4 ollama serve

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
siabard 2024-04-30

จำเป็นต้องใช้หลายโมเดลอยู่พอดี ตอนนี้ทำได้แล้วนะ ^^=b