LM Studio - เครื่องมือที่ช่วยให้รัน LLM บนเครื่องโลคัลได้อย่างง่ายดาย

 (lmstudio.ai)
11 คะแนน โดย GN⁺ 2023-11-23 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ค้นหา ดาวน์โหลด และรองรับการรัน LLM แบบออฟไลน์บนเครื่องโลคัล
    • โมเดลอย่าง LLaMa, Falcon, MPT, StarCoder, GPT-Neo-X เป็นต้น
  • รองรับ Mac/Windows/Linux (เบตา)
  • สามารถใช้งานโมเดลผ่าน UI แชตในตัว หรือผ่านเซิร์ฟเวอร์โลคัลที่เข้ากันได้กับ OpenAI
  • รองรับโมเดล Llama, MPT, StarCoder บนพื้นฐาน ggml จาก HuggingFace เป็นต้น
    • (เช่น Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT เป็นต้น)
  • สเปกขั้นต่ำและข้อกำหนด
    • Apple Silicon Mac (M1/M2/M3) macOS 13.6 ขึ้นไป
    • Windows / Linux PC (โปรเซสเซอร์ที่รองรับ AVX2)
    • แนะนำ RAM 16GB ขึ้นไป และบนพีซีแนะนำ VRAM 6GB ขึ้นไป
    • รองรับ NVIDIA/AMD GPUs

ความเป็นส่วนตัวและการใช้งานของ LM Studio

  • LM Studio จะไม่เก็บรวบรวมหรือติดตามข้อมูลของผู้ใช้ และข้อมูลทั้งหมดจะคงอยู่ภายในอุปกรณ์ของผู้ใช้แบบโลคัล
  • ใช้งานส่วนตัวได้ฟรี และหากต้องการใช้เพื่อการทำงานจะต้องติดต่อทีมงาน

ความเห็นของ GN⁺

  • LM Studio เป็นโซลูชันที่น่าสนใจสำหรับผู้ใช้ที่ให้ความสำคัญกับความเป็นส่วนตัว โดยความสามารถในการรัน LLM แบบออฟไลน์คือจุดสำคัญที่สุด
  • จุดที่น่าสนใจคือข้อมูลของผู้ใช้ถูกเก็บไว้เฉพาะบนเครื่องโลคัล รองรับโมเดลได้หลากหลาย และเปิดให้ผู้ใช้ทั่วไปใช้งานฟรี
  • ข้อกำหนดด้านฮาร์ดแวร์ค่อนข้างสูง จึงเหมาะกับผู้ใช้ที่มีอุปกรณ์รุ่นใหม่ และการมีแผนรองรับการใช้งานในงานก็เป็นเรื่องที่น่ามองในเชิงบวก

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-11-23
ความคิดเห็นใน Hacker News
  • แชร์ลิงก์ที่แสดงให้เห็นว่าสามารถทำสิ่งเดียวกันกับโค้ดโอเพนซอร์สได้โดยใช้ Ollama และ UI
  • ประเมิน LM Studio ในทางบวกและกล่าวถึงคุณสมบัติต่าง ๆ:
    • รันไทม์โมเดลแบบโลคัล
    • แคตตาล็อกโมเดล
    • UI สำหรับคุยกับโมเดลได้อย่างง่ายดาย
    • API ที่เข้ากันได้กับ OpenAI
    • มีปลั๊กอินอย่าง RAG (ใช้ ChromaDB) รวมอยู่ด้วย
    • อยู่ในตำแหน่งที่ดีในการใช้ประโยชน์จากความสามารถใหม่ ๆ ของ ecosystem ของ OS
    • น่าเสียดายที่ตัว LM Studio เองไม่ได้เป็นโอเพนซอร์ส
  • อยากลองโมเดลที่ไม่ผ่านการเซ็นเซอร์ พบโมเดล "TheBloke/Luna-AI-Llama2-Uncensored-GGML" และดาวน์โหลดมาแค่ไฟล์แรกเพื่อทดสอบว่าใช้งานได้หรือไม่ จึงสงสัยว่าจำเป็นต้องดาวน์โหลดไฟล์ที่เหลือด้วยหรือเปล่า และโมเดลนี้จะไม่เซ็นเซอร์คำถามอ่อนไหวบางประเภทจริงหรือไม่
  • คำถามระดับเริ่มต้นเกี่ยวกับ LLM: ถ้านำซีรีส์ "The Lord of the Rings" ป้อนเข้า LLM จะเกิดอะไรขึ้น มี LLM พื้นฐานแบบ "ไม่รู้อะไรเลย" อยู่หรือไม่ และจะใช้สิ่งนี้สร้างผู้เชี่ยวชาญเรื่องมิดเดิลเอิร์ธได้หรือเปล่า
  • ข้อกำหนดคุณสมบัติที่ชวนขำสำหรับตำแหน่งวิศวกรรมระดับสูง: ต้องมีความเข้าใจอย่างลึกซึ้งเกี่ยวกับคอมพิวเตอร์และซอฟต์แวร์ มีความสามารถด้านอัลกอริทึมและการเขียนโปรแกรม ฯลฯ แต่รู้สึกว่ายากที่จะมองข้อกำหนดเหล่านี้อย่างจริงจัง
  • แชร์ลิงก์แนะนำ UI แบบเรียบง่ายที่ทำขึ้นเองเป็นการส่วนตัว เพื่อพยายามลดความซับซ้อนของการตั้งค่า
  • สงสัยเกี่ยวกับกลุ่มผู้ใช้ที่เป็นไปได้ของซอฟต์แวร์ LLM และอยากเห็นข้อมูลหรือการคาดเดาเกี่ยวกับการแบ่งส่วนตลาด แม้ต้องตั้งค่าค่อนข้างซับซ้อน แต่ก็มองเห็นคุณค่าของอินเทอร์เฟซนี้สำหรับการสนทนาและการจัดการโมเดล
  • ข้อเสนอแนะเพื่อปรับปรุง UI ของแอป:
    • สถานะเริ่มต้นของช่องแชตบ็อกซ์ควรปรับปรุง
    • ไม่ชัดเจนว่าจะตั้งค่า CUDA acceleration อย่างไรก่อนโหลดโมเดล
    • โมเดลบางตัวบน HuggingFace ไม่ถูกแสดงในรายการ และไม่ได้อธิบายเหตุผลไว้
    • ส่วน accordion ของอินเทอร์เฟซเลื่อนด้วยเมาส์ได้เฉพาะล้อเลื่อน
    • แท็บเซิร์ฟเวอร์มีประโยชน์มากสำหรับการดีบักเบื้องต้น
  • ถามถึงปัญหาที่อาจเกิดขึ้นเมื่อใช้โมเดล LLM หลายแบบ (Mistral, Llama 2, Code Llama, Orca Mini, Vicuna) เช่น หลอนข้อมูล 50%, แนะนำโค้ด API ที่ไม่มีอยู่จริง, ผลิตซ้ำคำตอบเก่า ๆ จาก StackOverflow และขอให้แชร์กรณีใช้งานจริงของโมเดลเหล่านี้
  • หลังติดตั้งและรัน LM Studio พบว่า CPU ใช้งานเพิ่มขึ้นถึง 30% และพัดลมโน้ตบุ๊กเสียงดังขึ้น เมื่อลองปิดโปรเซส LM Studio แล้วเปิดใหม่ การใช้งานเบื้องหลังลดลงเหลือ 5%