วิธีรัน Llama 2 บนเครื่องโลคัล

 (replicate.com)
5 คะแนน โดย GN⁺ 2023-07-26 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • คุณสามารถรัน Llama 2 บนอุปกรณ์ของตนเองได้โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต
  • มีเครื่องมือโอเพนซอร์ส 3 ตัวที่ใช้รัน Llama 2 แบบโลคัลได้: Llama.cpp, Ollama และ MLC LLM
  • Llama.cpp คือพอร์ตของ Llama ที่เขียนด้วย C/C++ และรองรับ Mac, Windows และ Linux
  • Ollama เป็นแอป macOS ที่สามารถรัน Llama 2 ผ่านอินเทอร์เฟซบรรทัดคำสั่งได้
  • MLC LLM ช่วยให้คุณรัน Llama 2 บนโทรศัพท์มือถือได้ รวมถึง iOS และ Android
  • Ollama แนะนำให้มี RAM อย่างน้อย 8GB สำหรับรันโมเดล 3B, 16GB สำหรับโมเดล 7B และ 32GB สำหรับโมเดล 13B
  • MLC LLM รองรับ Llama 2 เวอร์ชัน 7B, 13B และ 70B แต่สำหรับผู้ใช้ iPhone ยังเป็นเวอร์ชันเบตา
  • คุณสามารถแชร์ผลงานสร้างสรรค์และขอรับการสนับสนุนได้จากชุมชน Discord
  • Replicate มีตัวเลือกสำหรับรันและปรับแต่งละเอียด Llama 2 บนคลาวด์

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
haebom 2023-07-28

ผมรันบน Mac Studio M2 แล้ว ใช้งานได้ดีครับ
 
GN⁺ 2023-07-26
ความคิดเห็นจาก Hacker News
  • ผู้ใช้ให้คำแนะนำสำหรับการ build Llama 2 บน Windows รวมถึงการติดตั้ง CUDA Toolkit และการดาวน์โหลดโมเดล
  • มีการแชร์ฟังก์ชัน PowerShell เพื่อให้รัน Llama 2 ได้ง่ายขึ้น
  • มีการกล่าวถึงไลฟ์โค้ดดิ้งสตรีมสำหรับ fine-tune Llama 2 บน Google Colab A100 GPU โดยใช้ PEFT/Lora
  • ผู้แสดงความคิดเห็นเสนอให้ใช้ Hugging Face inference เพื่อใช้ GPU บนเครื่อง Linux
  • มีการแชร์ fork ของโค้ดต้นฉบับ Llama 2 ที่สามารถรันบน CPU หรือ MPS (M1/M2 GPU) ได้
  • มีการแนะนำ GPT4All เพื่อให้ใช้งาน Llama 2 ได้ง่ายบน MacOS หรือ Windows
  • มีการเตือนเกี่ยวกับการ pipe สคริปต์จากเว็บไซต์เข้า bash โดยตรง
  • ผู้แสดงความคิดเห็นพูดคุยถึงศักยภาพของ Llama 2 ในการตีความและใช้งานภาพ
  • มีการตั้งคำถามถึงจุดประสงค์ของการใช้ Llama 2 นอกเหนือจากงานวิจัย
  • มีการกล่าวถึงข้อจำกัดของโมเดล LLM โดยระบุว่ามันปฏิเสธการสร้างอ็อบเจ็กต์ JSON เกี่ยวกับภาพยนตร์เรื่อง 'The Matrix'