Ollama รองรับการ์ดจอ AMD แล้ว

 (ollama.com)
3 คะแนน โดย GN⁺ 2024-03-16 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Ollama เริ่มรองรับการ์ดจอ AMD บน Windows และ Linux ในเวอร์ชันพรีวิวแล้ว
  • ฟีเจอร์ทั้งหมดของ Ollama ตอนนี้สามารถเร่งความเร็วด้วยการ์ดจอ AMD ได้ทั้งบน Linux และ Windows

การ์ดจอที่รองรับ

  • ซีรีส์ AMD Radeon RX: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
  • ซีรีส์ AMD Radeon PRO: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
  • ซีรีส์ AMD Instinct: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
  • จะมีการรองรับการ์ดจอ AMD เพิ่มเติมอีกในเร็ว ๆ นี้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-03-16
ความคิดเห็นจาก Hacker News

  • การยอมรับต่อผลงานของ llama.cpp ที่ยังไม่เพียงพอ

    • สังเกตได้ว่าเครื่องมือที่สร้างขึ้นบนเทคโนโลยีจาก llama.cpp มักไม่ได้ให้การยอมรับหรือกล่าวขอบคุณ llama.cpp โดยตรง
    • ซอฟต์แวร์ "รันแบบโลคัล" ตัวอื่นได้รับเครดิตในระดับที่เหมาะสม ขณะที่ Ollama ดูเหมือนไม่มีปัญหาในเชิงไลเซนส์ MIT แต่ก็ไม่มีการกล่าวขอบคุณไว้ทั้งในรีโพซิทอรี บล็อก หรือเว็บไซต์ของ Ollama

  • ความเห็นต่อบล็อกโพสต์เรื่องการรองรับ AMD ของ Ollama

    • รู้สึกว่าบล็อกโพสต์นี้น่าสนใจ เพราะได้รัน Ollama บน AMD RX 6650 มาหลายสัปดาห์แล้ว
    • มี ROCm container ให้ใช้มาตั้งแต่ 21 วันก่อน และดูเหมือนว่าจะเผยแพร่พร้อมกับรีลีสล่าสุด 0.1.29 จึงสงสัยว่าจริง ๆ แล้วรีลีสนี้เปลี่ยนอะไรไปบ้างในแง่การรองรับ AMD
    • มี issue ที่อธิบายขั้นตอนการรัน Ollama บนการ์ด AMD ที่ยังไม่รองรับอย่างเป็นทางการ ซึ่งทั้งหมดก็แค่ตั้งค่า environment variable
    • พบการเปลี่ยนแปลงว่าโมเดล starcoder2 ใช้งานได้แล้ว ก่อนหน้านี้มันเคยแครช

  • ข้อสงสัยต่อความสนใจที่มากเกินไปต่อ Ollama

    • ไม่แน่ใจว่าเหตุใด Ollama จึงได้รับความสนใจมาก เพราะรองรับได้ทีละหนึ่งโมเดลและมีคุณค่าแบบจำกัด ใช้เพื่อการทดลองเป็นหลัก
    • มันทำให้ขั้นตอนการทดลองง่ายมาก แต่เมื่อพิจารณาว่าพึ่งพา llama.cpp อย่างเต็มที่ และคุณค่าหลักคือการจัดการโมเดลให้ง่ายขึ้น จึงมองว่าคุณค่าของมันอาจถูกประเมินสูงเกินไปเมื่อเทียบกับความสนใจและคำชื่นชมที่ได้รับ
    • หลังจากการทดลองช่วงแรก สุดท้ายก็ต้องนำโมเดลไปดีพลอยในสภาพแวดล้อม production ประเด็นไม่ได้อยู่ที่การให้เครดิตกับ llama.cpp แต่คือผลิตภัณฑ์นี้ได้รับความสนใจมากเกินไปเมื่อเทียบกับคุณค่าที่มอบให้

  • ขอบคุณสำหรับการรองรับ RX 6800/6800 XT / 6900 XT

    • ดีใจที่สามารถนำการ์ดที่เคยซื้อมาในราคาแพงเกินจริงเพราะภาวะขาดแคลนหลังโควิดมาใช้กับงาน ML ได้
    • ขอบคุณทั้งโครงการ Ollama และ llama.cpp

  • ข้อความเตือนเกี่ยวกับ AMD ขณะรัน Ollama

    • fooocus รันได้ แต่เมื่อรัน Ollama กลับมีข้อความเตือนเกี่ยวกับไดรเวอร์ AMD บน Linux
    • เนื่องจากไม่มีไลบรารี ROCm จึงต้องไปใช้ CPU แทน
    • ต้องไปตรวจดูวิธีติดตั้ง ROCm ใหม่บน Arch Linux

  • การตอบรับเชิงบวกต่อการที่ CUDA มีความได้เปรียบน้อยลง

    • ยิ่งมีโปรเจกต์แบบนี้มากขึ้น CUDA ก็ยิ่งมีความสำคัญน้อยลง และความได้เปรียบในการแข่งขันของ Nvidia ก็ลดลง

  • ซอฟต์แวร์ LLM แบบโลคัลกระตุ้นการซื้อฮาร์ดแวร์ใหม่

    • การ์ดรุ่นเก่าอย่าง RX 570/580 ไม่ได้รับการรองรับ และแม้ฮาร์ดแวร์ใหม่จะแรงขึ้นมาก ก็ยังคิดว่าไม่ควรจำเป็นต้องใช้การ์ดรุ่นใหม่ เพราะ CUDA เปิดตัวตั้งแต่ปี 2007 และ ROCm ตั้งแต่ปี 2016

  • ประสบการณ์ใช้งาน Ollama ที่ง่ายมาก

    • ไม่เคยมีประสบการณ์รันโมเดลแบบโลคัลมาก่อน แต่บน Ubuntu 22 กับการ์ด 7600 มันใช้งานได้ทันที ถือว่ายอดเยี่ยมมาก

  • ความสงสัยเกี่ยวกับการใช้ OpenCL

    • OpenCL ถูกใช้น้อยกว่า Cuda มาก จึงสงสัยว่าทำอย่างไรถึงทำให้มันใช้งานได้สำเร็จ
    • แม้จะจ่ายเงินไปมากกับการ์ด 4090 แต่ก็อยากให้มีทางเลือก

  • ราคาการ์ด NVidia และความพยายามปรับปรุงการรองรับ AMD

    • สะท้อนว่ามีความพยายามอย่างมากในการปรับปรุงการรองรับ AMD ในช่วงที่การ์ด NVidia ระดับท็อปราคาสูงมากและหาซื้อได้ยาก