Ollama พร้อมใช้งานบน Windows ในเวอร์ชันตัวอย่าง

 (ollama.com)
2 คะแนน โดย GN⁺ 2024-02-18 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

ใช้งาน Ollama แบบตัวอย่างบน Windows ได้แล้ว

  • Ollama เริ่มมีให้ใช้งานบน Windows ในรูปแบบเวอร์ชันตัวอย่าง
  • Ollama บน Windows มาพร้อมกับการเร่งความเร็วด้วย GPU, การเข้าถึงคลังโมเดลทั้งหมด และ Ollama API ที่รองรับ OpenAI

การเร่งความเร็วด้วยฮาร์ดแวร์

  • Ollama เร่งความเร็วการทำงานของโมเดลด้วย NVIDIA GPU และชุดคำสั่ง CPU สมัยใหม่ เช่น AVX และ AVX2
  • สามารถใช้งานได้โดยไม่ต้องตั้งค่าเพิ่มเติมหรือใช้ virtualization

เข้าถึงคลังโมเดลทั้งหมด

  • สามารถเข้าถึงคลังโมเดลทั้งหมดของ Ollama ที่ทำงานบน Windows ได้
  • เมื่อรันโมเดล Vision อย่าง LLaVA 1.6 คุณสามารถลากและวางรูปภาพแล้วเพิ่มลงในข้อความได้

Ollama API ที่เปิดใช้งานอย่างต่อเนื่อง

  • API ของ Ollama ทำงานอัตโนมัติในพื้นหลังและเข้าถึงได้จากเครื่องมือและแอปพลิเคชันโดยไม่ต้องตั้งค่าเพิ่ม
  • ตัวอย่างเช่น มีการสาธิตการเรียกใช้ API ของ Ollama ผ่าน PowerShell

เริ่มต้นใช้งาน

  • ดาวน์โหลดและติดตั้ง Ollama เพื่อเริ่มใช้งาน Ollama on Windows Preview
  • หลังจากติดตั้ง เปิดเทอร์มินัลและใช้คำสั่ง ollama run llama2 เพื่อรันโมเดล
  • เมื่อมีการออกเวอร์ชันใหม่ Ollama จะแจ้งเตือนให้มีการอัปเดต
  • เชิญชวนให้ส่ง feedback หากพบปัญหา โดยแนะนำให้เปิด issue หรือเข้าร่วมเซิร์ฟเวอร์ Discord

ความคิดเห็นของ GN⁺

  • การรวมเข้ากับ Windows: การรวม Ollama เข้ากับ Windows ทำให้นักพัฒนาสามารถใช้งานโมเดลภาษาขนาดใหญ่ในสภาพแวดล้อม Windows ได้ง่ายขึ้น ซึ่งช่วยเพิ่มการเข้าถึงการพัฒนา Machine Learning และ AI
  • การเร่งความเร็วด้วยฮาร์ดแวร์: การเร่งด้วย GPU และชุดคำสั่ง CPU สมัยใหม่ช่วยยกระดับความเร็วในการรันโมเดลอย่างมาก และช่วยให้เพิ่มประสิทธิภาพสูงสุดได้โดยไม่ต้องตั้งค่าซับซ้อน
  • ความสามารถเข้าถึง API: API ที่เปิดทำงานตลอดเวลาทุกขณะและความเข้ากันได้กับ OpenAI ทำให้การเชื่อมต่อกับเครื่องมือเดิมง่ายขึ้น ช่วยให้นักพัฒนาเพิ่มประสิทธิภาพในการทำงานได้มากขึ้น

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-02-18
ความคิดเห็นจาก Hacker News
  • ผู้ใช้รายหนึ่งกำลังใช้ Open-WebUI frontend บนเดสก์ท็อปของตัวเองเพื่อจัดการชุดคอลเลกชันโมเดลที่ปรับแต่งเอง ซึ่งรวม Mistral และโมเดลอื่น ๆ บางตัว โดยให้ผลลัพธ์ดีพอสำหรับงานแชตและงานสกัดข้อมูล แอป Open-WebUI มีลักษณะคล้ายกับ chatGPT อย่างมาก และสามารถค้นหาการสนทนาได้

    หน้า GitHub ของ Open-WebUI

  • เขาแสดงความเสียดายที่ไม่กล่าวถึงการรองรับ GPU ของ AMD และรู้สึกเสียดายที่เลือก AMD มาใช้งานครั้งนี้
  • สำหรับผู้ที่กำลังมองหา chat UI ที่รองรับโมเดลออนไลน์และโมเดลท้องถิ่นผ่าน Ollama ผู้แสดงความคิดเห็นกำลังพัฒนาแอปออฟไลน์ที่เน้นความเป็นส่วนตัว และเพิ่มการรองรับ Windows เช้าวันนั้น

    msty.app

  • ตั้งคำถามว่าทำไม AI หลายตัวที่อ้างว่า "รันบนเครื่องท้องถิ่น" จึงกลับทำงานเป็นเซิร์ฟเวอร์ และตั้งข้อสังเกตว่าคนพัฒนาลืมไปหรือไม่ว่าโค้ดสามารถรันในโปรเซสของ UI ได้ เขาพบปรากฏการณ์เดียวกันใน Stable Diffusion launcher และ LLM host ทั้งในกรณีที่ไม่จำเป็นก็ไม่อยากให้มีบริการเบื้องหลังรันอยู่บนเครื่อง
  • สงสัยว่าคนคิดถึงความคิดเห็นของผู้ใช้ LM Studio และ Ollama ที่ไม่ใช่โอเพ่นซอร์สอย่างไร

    LM Studio

  • คิดว่าเมื่อไม่กี่ปีก่อน Mac users คงต้องรอ แต่ไม่รู้เลยว่าผู้ใช้ Windows เข้าถึง Ollama ไม่ได้
  • ระบุว่า Linux และ Mac สามารถใช้ได้แล้ว และตอนนี้ได้เพิ่มการรองรับ Windows ด้วย

    หน้า GitHub ของ Ollama

  • ช่วงหลายวันที่ผ่านมาได้ลองใช้ Ollama บนเครื่อง Windows เพื่อใช้งานฟีเจอร์เติมอัตโนมัติในแท็บ local ของ VS Code และเห็นว่าประสิทธิภาพดีไม่แพ้ตอนใช้บน Mac
  • หลังจากติดตั้งโมเดล llama2 บน Mac Mini ใหม่ มีการเกิด kernel panic แบบเต็มระบบขึ้น เกิดอะไรขึ้น?
  • สอบถามว่าวิธีที่คนเลือกน่าจะชอบคือการรันและพัฒนาไว้บนโมเดลท้องถิ่นหรือไม่ และมีเครื่องมือสำคัญอื่นที่ควรเรียนรู้เพิ่มอีกหรือเปล่า