MK-1

 (mkone.ai)
1 คะแนน โดย GN⁺ 2023-08-07 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • MK-1 เป็นบริษัทใหม่ที่มุ่งนำเสนอโมเดล AI ที่มีความสามารถเทียบเท่าหรือดีกว่าผู้นำ AI ระดับแนวหน้าอย่าง OpenAI, Anthropic และ Google
  • ผลิตภัณฑ์แรกของบริษัทคือ MKML ซึ่งเป็น runtime สำหรับการอนุมานที่สามารถลดต้นทุนการอนุมานของโมเดลภาษาขนาดใหญ่ (LLM) บน GPU ได้ 2 เท่า ด้วยโค้ด Python เพียงไม่กี่บรรทัด
  • MKML เข้ากันได้กับระบบนิเวศยอดนิยมอย่าง Hugging Face และ PyTorch
  • ขณะนี้ MKML อยู่ในช่วง closed beta release และกำลังมองหาพาร์ตเนอร์กลุ่มแรก
  • MKML สามารถช่วยเพิ่มประสิทธิภาพโมเดล AI โดยลดการใช้หน่วยความจำและเพิ่มความเร็วได้ ตัวอย่างเช่น สามารถลดขนาดโมเดล Llama-2 13B จาก 26GB เหลือ 10.5GB และลดเวลาอนุมานของ forward pass ได้สูงสุด 2.3 เท่า
  • MKML สามารถใช้เพื่อเพิ่มประสิทธิภาพโมเดล AI ตามต้นทุนหรือความเร็วได้ ในสถานการณ์ที่เน้นการลดต้นทุน มันสามารถทำให้โมเดลเหมาะกับ GPU instance ที่มีราคาถูกกว่า และยังรันได้เร็วกว่าโมเดลพื้นฐานบน instance ที่แพงกว่าได้อีกด้วย ส่วนในสถานการณ์ที่เน้นความเร็ว MKML สามารถทำให้โมเดลเร็วขึ้นได้สูงสุด 2.0 เท่า เพื่อรองรับผู้ใช้ได้มากขึ้น
  • MKML สามารถผสานเข้ากับ workflow เดิมได้อย่างง่ายดาย โดยใช้ model codec ของ MKML ตัวใดตัวหนึ่งเพื่อบีบอัดโมเดลหนึ่งครั้ง จากนั้นบันทึกโมเดลที่บีบอัดแล้วลงดิสก์ และโหลดขึ้นมาเพื่อใช้ในการอนุมาน
  • MKML รองรับทั้งขนาดโมเดลและการตั้งค่าระบบที่หลากหลาย และในการทดสอบความเร็วก็ทำได้เร็วกว่า baseline อย่างสม่ำเสมอ
  • MKML ยังรักษาความเที่ยงตรงต่อโมเดลต้นฉบับไว้ได้สูง โดยแสดงความแตกต่างเพียงเล็กน้อยจนแทบไม่มีนัยสำคัญในการวัด perplexity มาตรฐาน
  • วิสัยทัศน์ระยะยาวของ MK-1 คือการผลักดันประสิทธิภาพของ AI ให้ถึงขีดสุดตลอดทั้ง inference stack และพวกเขาก็มีโรดแมปที่ทะเยอทะยานสำหรับการพัฒนาในอนาคต

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-08-07
ความคิดเห็นจาก Hacker News
  • บทความกล่าวถึงเทคโนโลยีใหม่อย่าง MK-1 แต่ไม่ได้เปรียบเทียบผลลัพธ์กับวิธีการทำ quantization ที่มีอยู่เดิม ทำให้ผู้อ่านบางส่วนมองว่านี่เป็นการตกหล่นที่สำคัญ
  • ผู้อ่านคนหนึ่งให้กราฟเปรียบเทียบ quantization แบบอื่นที่ใช้ได้กับ Llama 1 และชี้ว่า MK-1 มีประสิทธิภาพใกล้เคียงกับ Q5_1 พร้อมกับลดความซับซ้อนลงเล็กน้อยและมีความเร็วเพิ่มขึ้นมากกว่า 2 เท่า
  • ผู้อ่านบางส่วนแสดงความสงสัยต่อ MK-1 และมองว่ามันอาจเป็น wrapper ครอบเทคโนโลยีที่มีอยู่แล้วอย่าง bitsandbytes หรือ ggml
  • มีข้อกังวลเกี่ยวกับการที่ MK-1 ไม่ได้เป็นโอเพนซอร์ส และผู้อ่านบางคนระบุว่าจะไม่ใช้มันเพราะวงการนี้เปลี่ยนแปลงเร็วมากและมันขาดความสะดวก
  • ผู้อ่านคนหนึ่งเคยมีส่วนร่วมกับงาน quantization ของโมเดล ML และยืนยันว่า quantization แบบโอเพนซอร์ส 4 บิตหรือ 8 บิตไม่ใช่ตัวเลือกที่ดีที่สุด พร้อมบอกเป็นนัยว่ามีเทคนิคที่ก้าวหน้ากว่านั้น
  • มีการขอให้เปรียบเทียบ MK-1 กับ mlc-llm ที่ใช้ 4-bit quantization โดยมีรายงานว่าตัวหลังรัน Llama2 13B ได้เร็วอย่างน่าทึ่ง
  • ผู้อ่านบางส่วนแสดงความไม่พอใจต่อการพึ่งพาเทคโนโลยีแบบปิดในสแตกของตน และเลือกใช้ตัวเลือกชั้นนำอย่าง OpenAI และ Anthropic หรือไม่ก็สร้างโซลูชันของตนเอง
  • การที่บริษัทเลือกปรับแต่งโมเดลยอดนิยมและขายภายใต้ไลเซนส์ OSS จริง โดยไม่กังวลเรื่องข้อจำกัดไลเซนส์ของ weights ดูเป็นการตัดสินใจเชิงกลยุทธ์
  • ผู้อ่านบางคนจัดให้ MK-1 เป็นเพียงกลลวงของสตาร์ทอัป AI อีกราย โดยตำหนิว่ามันใช้ GGML เป็นระบบปิด และมุ่งหาเงินจาก VC
  • การขาดความเป็นโอเพนซอร์สและลักษณะปิดของ MK-1 ดูเป็นข้อเสียสำคัญ โดยผู้อ่านบางคนประกาศว่ามันเป็น "คนกำลังจมน้ำ"