- เครื่องมือโอเพนซอร์สที่รองรับการรันและฝึกโมเดล AI บนเครื่องโลคัลหลากหลายประเภท เช่น ข้อความ เสียง เอ็มเบดดิง และวิชัน ผ่านอินเทอร์เฟซเดียว
- สามารถรันโมเดล GGUF/safetensorแบบโลคัลได้บน Mac/Windows/Linux และระหว่างการฝึกทำได้เร็วขึ้นสูงสุด2 เท่าพร้อมใช้ VRAM น้อยลง 70%
- รองรับการอนุมานแบบหลาย GPUและโมเดลส่วนใหญ่ โดยอิงจาก llama.cpp + Hugging Face
- เคอร์เนล Unsloth ปรับแต่ง LoRA, FP8, FFT, PT ให้เหมาะสม รองรับโมเดลข้อความ วิชัน TTS/เสียง และเอ็มเบดดิงมากกว่า 500 รุ่น
- สามารถทำไฟน์จูน LLM รุ่นใหม่ล่าสุด เช่น Qwen3.5, NVIDIA Nemotron 3 และรองรับหลาย GPUอัตโนมัติ
- รองรับรูปแบบการฝึกที่หลากหลาย เช่น full fine-tuning, การฝึกแบบ 4bit/16bit/FP8, reinforcement learning (GRPO)
- มีการเพิ่มเทคนิคเพิ่มประสิทธิภาพอย่างต่อเนื่อง เช่น ฝึก MoE LLM ได้เร็วขึ้น 12 เท่า หรือฝึกโมเดล 20B ด้วยความยาวคอนเท็กซ์เกิน 500K บน GPU 80GB
- สามารถส่งออกทุกโมเดลรวมถึงโมเดลที่ไฟน์จูนแล้วเป็น safetensors/GGUF เพื่อใช้งานใน llama.cpp, vLLM, Ollama, LM Studio เป็นต้น
- มีฟีเจอร์ Data Recipes สำหรับแปลงเอกสารไม่มีโครงสร้าง เช่น PDF, CSV, JSON เป็นชุดข้อมูลโดยอัตโนมัติ พร้อมเครื่องมือเรียกใช้แบบซ่อมแซมตัวเองและความสามารถในการรันโค้ดในตัว
- มีฟีเจอร์สังเกตการณ์สำหรับติดตาม training loss และการใช้ GPU แบบเรียลไทม์
- ใน Model Arena สามารถเปรียบเทียบเอาต์พุตของ 2 โมเดลแบบวางเคียงกันได้ เช่น โมเดลพื้นฐานกับโมเดลที่ไฟน์จูนแล้ว
- รันแบบโลคัลออฟไลน์ 100% เพื่อรับประกันความเป็นส่วนตัว และมีแผนเพิ่มการรองรับ Apple MLX·AMD·Intel เร็ว ๆ นี้
- เวิร์กโฟลว์ :
เปิด Studio →
โหลดโมเดลจากไฟล์โลคัลหรือการเชื่อมต่อที่รองรับ →
นำเข้าข้อมูลฝึกจาก PDF, CSV, JSONL เป็นต้น หรือสร้างชุดข้อมูลตั้งแต่ต้น →
ปรับแต่งและขยายชุดข้อมูลใน Data Recipes → เริ่มการฝึกด้วยพรีเซ็ตที่แนะนำหรือการตั้งค่าแบบกำหนดเอง →
เปรียบเทียบเอาต์พุตของโมเดลที่ฝึกแล้วกับโมเดลพื้นฐาน →
บันทึกแบบโลคัลหรือส่งออกไปใช้กับสแตกที่ใช้งานอยู่เดิม
- ไลเซนส์
- แพ็กเกจ Unsloth หลักใช้ไลเซนส์ Apache 2.0
- มีเพียงคอมโพเนนต์เสริมบางส่วน เช่น Unsloth Studio UI ที่ใช้ไลเซนส์โอเพนซอร์ส AGPL-3.0
3 ความคิดเห็น
ผมก็ลองทันทีที่มันออกมาเหมือนกันครับ.. หน้าเพจแสดงผลพัง แล้วก็ข้ามบทแนะนำไม่ได้เลย ฮือ
https://github.com/unslothai/unsloth/…
แก้ไขได้ทันทีเลยนี่เอง!
ความคิดเห็นจาก Hacker News
ยังตั้งค่า unsloth studio บน MacBook ได้ไม่สมบูรณ์
เพราะมีปัญหาเรื่อง tooling ที่เกี่ยวกับ Python
แต่ตอนนี้รันเซิร์ฟเวอร์ llama.cpp อยู่ใน Docker container แล้ว เลยลองเทียบโค้ดเบสทั้งสามแบบดู
โค้ดเปรียบเทียบชุดแรก, โค้ดเปรียบเทียบชุดที่สอง
ผลออกมาค่อนข้างน่าสนใจ ถ้า unsloth studio ใช้งานได้สมบูรณ์แล้ว สัปดาห์หน้าจะลองใหม่อีกครั้ง
ติดตั้งได้ด้วยคำสั่งด้านล่าง
สงสัยว่า โมเดลธุรกิจ ของ unsloth คืออะไร เปิดของฟรีไว้เยอะมาก แต่ยังดูไม่ชัดว่าจะทำรายได้จากทางไหน
คิดว่าที่ซอฟต์แวร์ปิดได้รับความนิยมมากกว่า เป็นเพราะคุณภาพของ tooling และยังมีอีกหลายอย่างที่กำลังจะเปิดเผย
ฟีเจอร์เทรนนิ่งดูน่าสนใจ แต่พอเขียนว่า ‘on NVIDIA’ ก็แอบเสียดาย
อยากรู้ว่ามีทางเลือกหรือตัวสอนสำหรับทำ SFT (supervised fine-tuning) ด้วย Metal stack บน macOS ไหม
ผมก็ใช้ AMD เหมือนกันเลยกำลังรออยู่ ROCm นี่ทรมาน แต่ก็ยังชอบ AMD เอง
Unsloth เป็นโปรเจกต์ที่ดีจริง ๆ
ถ้าใครรัน AI engine ของตัวเองอยู่ ก็ควรลองใช้มาก
เป็น Apache license เลยคิดว่าจะลองใช้ในบริษัทด้วย
ส่วน LMStudio เป็นไลเซนส์แบบ proprietary เลยขออนุมัติใช้งานยาก
อยากให้รองรับ AMD จริง ๆ
ตอนนี้ต้องใช้วิธีอ้อมที่ค่อนข้างยุ่งกับ AMD GPU อยู่
ลอง build จากซอร์สบน macOS แล้วเจอ TypeScript error แบบนี้
'status' is declared but its value is never readไม่แนะนำให้ติดตั้งด้วย pip บน macOS เพราะ เสี่ยงทำระบบพัง
ควรมีแพ็กเกจ Homebrew หรือไฟล์ zip สำหรับติดตั้งแบบแมนนวล
ติดตั้งด้วย
uv tool install unslothจะจัดการได้ง่ายกว่าพื้นฐานมาจากฝั่ง Python ecosystem เป็นหลัก เลยยัง มีประสบการณ์ด้านแพ็กเกจน้อย เป้าหมายถัดไปคือรองรับ Homebrew
ใช้
pyproject.tomlจัดการ dependency และสร้าง environment ที่ทำซ้ำได้ด้วยคำสั่งเดียวก่อนหน้านี้เคยติดตั้ง unsloth เวอร์ชัน unreleased ที่ใช้ ROCm แล้วก็แก้ได้ด้วย
uv syncแค่บรรทัดเดียวคอมเมนต์ใน issue ที่เกี่ยวข้อง
เอกสารติดตั้ง pipx
ถ้ามี AMD support แล้วจะกลับมาดูอีกที
สงสัยว่าบน Mac ใช้ GPU ได้ไหม
ตอน setup ขึ้นว่าเป็น CPU only