Nativ - รันโมเดลเปิดระดับฟรอนเทียร์แบบโลคัลบน Mac

 (blaizzy.github.io)
1 คะแนน โดย GN⁺ 3 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Nativ เป็นแอปโอเพนซอร์สภายใต้ไลเซนส์ MIT ที่ให้ดาวน์โหลดและรันโมเดล AI แบบเปิดบน Apple Silicon Mac ได้โดยไม่ต้องมีบัญชี, การสมัครสมาชิก หรือคลาวด์
  • มีโมเดลจาก Google, Cohere, Liquid AI และอื่น ๆ พร้อมแนะนำโมเดลที่เหมาะกับฮาร์ดแวร์ของ Mac และสร้างคำตอบทั้งหมด ในเครื่อง
  • ในแชตรองรับการสตรีม, Markdown, การไฮไลต์โค้ด, อินพุตภาพ และสามารถดูสถานะประสิทธิภาพแบบเรียลไทม์ เช่น จำนวนโทเคนต่อวินาทีและแรงกดดันหน่วยความจำ
  • ปรับแต่งให้เหมาะกับ MLX-VLM และ หน่วยความจำรวม·Metal ของซีรีส์ M เพื่อรองรับงานด้านภาษา, วิชัน, วิดีโอ, โค้ด และเสียง
  • สามารถเชื่อมต่อเซิร์ฟเวอร์โมเดลโลคัลกับ Pi, Codex, Claude Code, Hermes, OpenCode ได้ และยังเปิดเผย โค้ดทั้งหมดของแอปและตัวโหลดโมเดล ด้วย

การรันโมเดลโลคัลที่ปรับแต่งมาสำหรับ Mac

  • เป็นแอป macOS แบบอเนกประสงค์ที่รองรับ Apple Silicon M1 ขึ้นไป และรันโมเดลจริงบน Mac ได้โดยไม่ต้องพึ่งคลาวด์หรือเลเยอร์แปลงเพิ่มเติม
  • สามารถเลือกโมเดลเปิดจาก Google, Cohere, Liquid AI ได้จากไลบรารีที่คัดสรรไว้ และยังได้รับคำแนะนำโมเดลที่เหมาะกับฮาร์ดแวร์ได้ด้วย
  • อินเทอร์เฟซแชตมีฟีเจอร์ดังต่อไปนี้
    • คำตอบแบบสตรีมและตัวชี้วัดประสิทธิภาพรายข้อความ
    • Markdown และการไฮไลต์ไวยากรณ์โค้ด
    • อินพุตภาพ
  • ผ่าน การวัดประสิทธิภาพแบบเรียลไทม์ สามารถตรวจสอบจำนวนโทเคนต่อวินาที, แรงกดดันหน่วยความจำ, สถานะความร้อน, และเวลาในการสร้างโทเคนแรกได้
  • ทำงานบน MLX-VLM และปรับจูนให้เข้ากับ หน่วยความจำรวมและ Metal ของซีรีส์ M
  • รองรับ LLM แชต, การสร้างคำบรรยายภาพ, การสรุปวิดีโอ, การเติมโค้ดอัตโนมัติ, การแปลงเสียง และการสร้างเสียง
  • ไม่ต้องใช้บัญชี, เครดิต, หรือการสมัครสมาชิก และไม่ขายข้อมูลผู้ใช้

การเชื่อมต่อเครื่องมือนักพัฒนาและหลักการโอเพนซอร์ส

  • ผ่าน เอนด์พอยต์โลคัลแบบเดียว ของ Nativ สามารถเชื่อมต่อเอเจนต์เขียนโค้ดที่มีอยู่กับโมเดลโลคัลที่รันอยู่บน Mac ได้
    • Pi
    • Codex
    • Claude Code
    • Hermes
    • OpenCode
  • เปิดเผยโค้ดทั้งหมดรวมถึงแอปเดสก์ท็อป, ตัวโหลดโมเดล, และกราฟวัดประสิทธิภาพ จึงสามารถเข้าดู, fork, และส่ง Pull Request ได้
  • แจกจ่ายภายใต้ ไลเซนส์ MIT โดยไม่มีโรดแมปแบบ VC, ฟีเจอร์ระดับองค์กร, หรือ dark pattern ที่เปลี่ยนพรอมป์ต์ให้กลายเป็นข้อมูลฝึก
  • ดู ไลบรารีโมเดลทั้งหมด ได้ที่ Hugging Face

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 3 시간 전
ความเห็นจาก Hacker News

  • แอปภายใต้ไลเซนส์ MIT นี้สร้างโดย Prince Canuma ผู้ดูแลไลบรารียอดนิยม MLX-VLM โดย MLX-VLM สามารถให้การอนุมานที่เร็วกว่า llama.cpp บนอุปกรณ์ Apple ได้ จึงถูกใช้เป็นส่วนพึ่งพาของ LM Studio และอื่น ๆ มานาน
    ระบบนิเวศ MLX แม้จะเล็กกว่า CUDA แต่รองรับโมเดลใหม่ ๆ ได้เร็วมาก โดยเฉพาะ โมเดลมัลติโหมด อย่างการมองเห็น การรู้จำเสียง การสังเคราะห์เสียง และการสร้างวิดีโอ mlx-audio-swift ก็น่าสนใจเช่นกัน และคงไม่น่าแปลกใจถ้าโมเดลเหล่านี้จะถูกรวมเข้ากับ UI นี้
    หน้าแลนดิ้งเพจอาจดูมีกลิ่นอาย vibe coding อยู่บ้าง แต่ตัวแอปส่วนใหญ่เขียนด้วย Swift จึงดูเหมือนจะพอร์ตสแตกการอนุมานนี้ไปยัง iPad และ iPhone ได้ง่ายด้วย

    • ทุกวันนี้บน Hugging Face มี เวอร์ชัน MLX ของแทบทุกโมเดลยอดนิยมอยู่แล้ว ตัวอย่างเช่น ที่หน้าหลักของ Qwen 3.6 35B-A3B ก็แค่ตามลิงก์ quantization ไป แล้วเลือกสายแปร MLX ที่นิยมและชื่อเสียงดี
    • ดีใจที่เห็น blaizzy อยู่ในโดเมน เพราะงานฝั่ง MLX ของ Prince Canuma มีคุณภาพสูงเป็นพิเศษมาโดยตลอด
    • ใน GitHub repository เขียนไว้ว่าจะเพิ่มการรองรับโมเดลเฉพาะเสียงและเฉพาะการสร้างภาพในเร็ว ๆ นี้ Prince Canuma ตอบบน X และ GitHub Issues เร็วมาก และฉันใช้ mlx-audio กับ mlx-community/Qwen3-TTS-12Hz-1.7B-Base-bf16 สำหรับโคลนเสียงแทบทุกวัน
    • คำถามแรกที่นึกขึ้นมาเลยคือ มันต่างจาก Unsloth อย่างไร
    • mlx-vlm รองรับ sampler สมัยใหม่ได้แย่มาก เมื่อเทียบกับ vllm หรือ sglang ดังนั้นการย้ายไปใช้อาจกลับให้ผลเสีย ฉันเป็นหนึ่งในผู้เขียน เปเปอร์ min_p และถ้า min_p ยังดีที่สุด ทั้งที่ llama.cpp รองรับ top-n-sigma ที่ดีกว่ามาก ก็ไม่มีเหตุผลจะย้ายไปแม้มันจะเร็วกว่า
      ถ้าอยากรองรับ sampler สมัยใหม่ ก็เริ่มดูได้จาก เปเปอร์ 1, เปเปอร์ 2, เปเปอร์ 3

  • ดูเหมือนคำว่า frontier จะถูกใช้พร่ำเพรื่อเกินไป ฉันนึกว่ามันหมายถึงโมเดลระดับท็อปแบบ Fable ในตอนนี้ แต่โมเดลแบบนั้นต้องใช้ RAM มหาศาลกับ GPU ราคาแพง เลยไม่น่าโฮสต์เองได้ง่าย ๆ

    • ที่นี่น่าจะหมายถึง Pareto frontier ซึ่งเป็นเซ็ตของคำตอบที่ดีที่สุดของปัญหาการเพิ่มประสิทธิภาพหลายวัตถุประสงค์ ถ้าวัดจากความฉลาดกับราคา โมเดลจะอยู่บน frontier ก็ต่อเมื่อไม่มีโมเดลไหนที่ให้ความฉลาดเท่ากันหรือดีกว่าในราคาถูกกว่า และไม่มีโมเดลไหนที่ฉลาดกว่าที่ราคาเท่ากันหรือต่ำกว่า
      ดูจาก กราฟของ Artificial Analysis จะเข้าใจได้ง่าย เช่น ไม่มีโมเดลไหนที่ฉลาดเท่า DeepSeek V4 Pro แล้วถูกกว่า จึงมองว่าเป็น frontier model ได้ คำตอบบน Pareto frontier คือของที่ดีที่สุดในระดับของมัน ซึ่งไม่สามารถแทนด้วยทางเลือกที่ดีกว่าได้โดยไม่ต้องเสียอะไรบางอย่าง
    • ฉันไม่ค่อยเห็นด้วยกับการใช้คำนี้เพราะมันชวนสับสน แต่โดยทั่วไปแล้ว frontier มีได้หลายเส้น และฉันมองว่า frontier ของโมเดลเล็กแบบ local ที่เป็น open weights นั้นสำคัญและน่าสนใจที่สุด
      ทุกครั้งที่ใช้ Gemma 4 12B ฉันรู้สึกว่ามันเล็ก ฉลาด และมีประสิทธิภาพ แต่พลังงานของวงการ AI กลับมุ่งไปคนละทางโดยสิ้นเชิง ถ้าเอาทุนวิจัยไปโฟกัสที่การพัฒนาโมเดลที่รันได้บนระบบหน่วยความจำรวม 16GB ก็น่าจะเกิดความก้าวหน้าที่สำคัญได้
      Qwen 3.6 กับโมเดล fine-tuned 27B ของ BottleCap ก็ดี แต่ประสิทธิภาพที่น่าทึ่งของ Gemma 4 รุ่นเล็กยังไม่เป็นที่รับรู้มากพอ ถึงเว็บไซต์นี้จะเรียก Qwen 3.6 27B ว่า frontier แล้วดูไม่ค่อยเหมาะ แต่ในเชิงประสิทธิภาพก็ไม่ได้ห่างไกลจากความจริงมากนัก
    • frontier ถูกนิยามด้วย ชุดค่าที่เหมาะที่สุด ในหลายมิติ เช่น จำนวนพารามิเตอร์ ประสิทธิภาพรายงาน ความเร็วในการสร้างโทเคนบนฮาร์ดแวร์เดียวกัน และความต้องการหน่วยความจำใช้งานจริง โมเดลที่หากจะปรับตัวชี้วัดหนึ่งให้ดีขึ้นแล้วต้องยอมให้ตัวชี้วัดอื่นแย่ลงอย่างน้อยหนึ่งอย่าง จึงถือว่าอยู่บน frontier
    • frontier คือเส้นโค้ง และหมายถึง Pareto front
    • ช่องว่างระหว่างโอเพนซอร์สกับแนวหน้ากำลังแคบลงด้วยโมเดลอย่าง Kimi K3 แต่ Kimi K3 มีพารามิเตอร์เกิน 2 ล้านล้านตัว ส่วน Gemma 4 ที่รันได้จริงบน Mac ทั่วไปนั้นไม่ได้อยู่คนละระดับเดียวกัน

  • น่าแปลกใจที่หน้าแรกนำเสนอเหมือนไม่มีแอปเดิมอย่าง LM Studio อยู่มาก่อน มองเผิน ๆ แล้ว ไม่ชัดว่ามันต่างกันอย่างไร และยังไม่พูดถึง Open WebUI ด้วย
    ฉันรัน DeepSeek V4 Flash แบบ local บน MacBook Pro ด้วย Open WebUI และ DS4 มาหลายสัปดาห์แล้ว

    • LM Studio เป็น ซอฟต์แวร์ปิด ที่สร้างบนโค้ดซึ่งนักพัฒนา Nativ เผยแพร่
    • LM Studio ก็ทำงานแบบเดียวกัน แต่ไม่ใช่โอเพนซอร์ส ดังนั้น Nativ จึงมีจุดต่างที่เพิ่มเข้ามา
    • ข้อความที่ว่า “แอป AI แบบ local อื่น ๆ ที่คุณเคยได้ยินเป็นเพียงเชลล์แบบ proprietary ที่ครอบเอนจินโอเพนซอร์สที่พวกเขาไม่ได้เป็นเจ้าของ” เป็นคำพูดที่ อ้อม ๆ พาดพิง LM Studio
    • อยากรู้สเปก MacBook ของคุณ บนเครื่อง Strix Halo ของฉัน DeepSeek V4 Flash ช้าเกินไปสำหรับใช้งานแบบ agent

  • ตอนนี้ frontier กลายเป็นคำที่ถูกใช้พร่ำเพรื่อ เหมือน load-bearing ที่คนใช้ Claude Code น่าจะคุ้นกัน โดยเฉพาะเมื่อแอปนี้ก็รันโมเดลระดับท็อปจริง ๆ แบบ local บน Mac ไม่ได้ จึงอยากให้เลิกใช้คำนี้เสียที

  • ฉันไม่ชอบ ถ้อยคำการตลาด แนว ๆ “ทำไมเราถึงเป็นโอเพนซอร์ส ทั้งที่ไม่มีใครทำ” ฉันใช้ oMLX ซึ่งเป็นโอเพนซอร์ส และดูเหมือนจะมีฟีเจอร์ทั้งหมดของ Nativ
    น่าจะเทียบกับคู่แข่งโอเพนซอร์สที่มีอยู่ก่อนแล้วให้จริงจังกว่านี้ แทนที่จะทำเหมือนไม่มีอยู่

    • น่าจะตั้งใจจะบอกเหตุผลว่าทำไมตัวเลือกแบบ LM Studio ถึงไม่เป็นโอเพนซอร์ส

  • สงสัยว่าโมเดลโลคัลขนาดเล็กถูกนำไปใช้จริงกับอะไรบ้าง แม้จะเก่งขึ้นพอสมควรแล้ว แต่ก็ยังยากจะไว้ใจให้รับผิดชอบ งานจริง นอกเหนือจากโปรเจ็กต์ของเล่นบางอย่างที่ทำเอาสนุก
    อยากรู้ว่าเอาไปใช้กับ coding agent จริงหรือไม่ หรือส่วนใหญ่ใช้กับงานแบบอื่น

    • เคยนำ โค้ดที่ Qwen3.6 27B สร้าง ไป deploy ขึ้น production จาก OpenCode มาแล้ว แม้ขอบเขตความรู้จะไม่กว้างเท่า Opus แต่ถ้าสามารถอนุมานการเปลี่ยนแปลงทั้งหมดได้จากพรอมป์ต์และโค้ดรอบข้าง ก็ทำงานได้ดีมาก
      มันอาจเขียนโค้ดจากศูนย์ในแบบที่ต้องใช้ความเชี่ยวชาญเฉพาะทาง เช่น inference engine ประสิทธิภาพสูงสำหรับ Blackwell GPU ได้ยาก แต่สำหรับ PR ทั่วไปที่เพิ่ม use case เข้าไปในโปรเจ็กต์เดิม ก็อยู่ในระดับใกล้เคียง Sonnet ต้องมีการตั้งค่าที่เหมาะสม เช่น temperature และ top-p ตามที่แนะนำ การ quantize ที่ไม่หนักเกินไป และ context อย่างน้อย 150,000 โทเค็น
    • ใช้ Gemma 4 แบบโลคัลสำหรับ การดึง memory graph ของ agent ส่วนตัว โดยแยกข้อความออกเป็นหัวข้อ แหล่งที่มา ข้อเท็จจริง เอนทิตี ฯลฯ แล้วใส่ลงในกราฟสำหรับค้นหาด้วย NLEmbeddings
      agent เป้าหมายใช้ DeepSeek V4 Flash และแม้โมเดลโลคัลจะช้าเกินกว่าจะใช้เป็น chat agent แต่สำหรับการดึง memory กลับทำงานได้ดีพอสมควร จึงช่วยลดการใช้ API ในทุกเทิร์นของบทสนทนาได้
    • ไม่ได้ใช้เป็น coding agent แต่มีประโยชน์มากสำหรับ การแปลงข้อความ·การสรุป·การดึงข้อมูล ถ้าคุณสมัครใช้โมเดลแบบเสียเงินอยู่แล้ว ก็อาจไม่มีประโยชน์พิเศษนอกจากเรื่องความเป็นส่วนตัว แต่แค่นั้นเองก็ไม่ใช่เรื่องเล็กน้อย
    • แม้แต่โมเดลเล็กก็จัดการ งานซ้ำๆ อย่างการอัปเดต dependency การแก้ merge conflict การดู --help การเขียน Markdown และ README ได้สบาย ถ้าพลาดก็ย้อนกลับด้วย git restore หรือปฏิเสธ PR แล้วให้โมเดลที่ดีกว่าทำใหม่ก็ได้
    • Qwen35ba3b สามารถทำ การทำความสะอาดข้อมูล ขนาดใหญ่ได้แม้บนฮาร์ดแวร์ที่ค่อนข้างธรรมดา ตอนนี้ประมวลผลไปแล้วราว 1 แสนล้านโทเค็นด้วย 3090 GPU สองใบ

  • สงสัยว่ามันดีกว่า LM Studio ตรงไหน และรองรับการรัน โมเดล MTP ด้วยหรือไม่ เท่าที่รู้ โมเดล MTP อยู่ในฟอร์แมต GGUF

  • เคยลองใช้ MLX ผ่าน Rapid MLX แต่ Qwen สะดุดบ่อยและชอบพูดซ้ำ พอย้ายไปใช้ llama.cpp ก็พบว่า การสร้างโทเค็นใน MTP เร็วขึ้น และโมเดลก็เสถียรกว่า
    อยากรู้ว่าคนอื่นได้ผลอย่างไรบ้างเมื่อเทียบ MLX กับ llama.cpp

    • บน M1 Max แทบไม่เห็นข้อดีของ MLX เลย มีโอกาสว่าบน M3 ขึ้นไปจะได้ประโยชน์มากกว่าเพราะการเปลี่ยนแปลงของ Apple Neural Engine
      ในโมเดลที่ฉันทดสอบ บางครั้ง ประสิทธิภาพ GGUF ของ llama.cpp ก็ดีกว่า MTP ของ Gemma 4 ไม่ได้มีคุณค่ามากนัก แต่ใน Qwen 3.6 MoE มีความต่างที่วัดได้ และถ้าเป็นฮาร์ดแวร์รุ่นใหม่กว่านี้ก็อาจมีความหมายมากขึ้น
    • เคยลอง MLX สองครั้งในช่วงเวลาต่างกัน แต่ทุกครั้งก็ได้ ประสิทธิภาพต่ำกว่า llama.cpp อย่างมาก

  • สงสัยว่าสเปก Mac ระดับกลางแบบไหนถึงจะเหมาะกับงานนี้ กำลังชั่งใจระหว่าง M5 Pro 64GB กับการซื้อ M5 Air รุ่นล่างแล้วไปจ่ายค่า cloud token แทน
    แทนที่จะจ่ายเพิ่มอีก 2,000~3,000 ดอลลาร์เพื่อรันโมเดลที่ประสิทธิภาพต่ำกว่าบนเครื่อง ก็สามารถเอาเงินนั้นไปซื้อ cloud token ได้จำนวนมาก

    • แม้แต่ M1 Max 64GB ก็รันโมเดลแบบนี้ได้หลายตัวพอสมควร

  • สงสัยว่าทำไมไม่รัน DeepSeek V4 บน ds4 น่าจะได้ผลลัพธ์ที่ดีมาก

    • ดูเหมือน Nativ จะไม่รองรับ การสตรีมจาก SSD แบบ DwarfStar