Kimi K2 - โมเดลภาษาระดับแนวหน้าสถาปัตยกรรม Mixture-of-Experts (MoE)

 (github.com/MoonshotAI)
4 คะแนน โดย GN⁺ 2025-07-13 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Kimi K2 ของ Moonshot AI คือ โมเดลภาษาแบบ Mixture-of-Experts (MoE) ระดับแนวหน้าที่มีพารามิเตอร์ 1 ล้านล้านตัว
  • ในกระบวนการฝึก ได้ใช้ เทคนิคการปรับเหมาะ Muon เพื่อแก้ปัญหาความไม่เสถียรในงานสเกลใหญ่
  • มุ่งเน้นที่ agentic intelligence เพื่อรองรับ การใช้เครื่องมือ การให้เหตุผล และการแก้ปัญหาได้ด้วยตนเอง
  • พิสูจน์ประสิทธิภาพระดับแนวหน้าในหลายเบนช์มาร์กด้าน การเขียนโค้ด คณิตศาสตร์ และงานทั่วไป
  • นำไปใช้งานและดีพลอยได้สะดวก พร้อม API ที่เข้ากันได้กับ OpenAI/Anthropic และรองรับเอนจินอย่างยืดหยุ่น

ทำไม Kimi K2 จึงสำคัญ

  • Kimi K2 คือโมเดลภาษาแบบ Mixture-of-Experts (MoE) รุ่นล่าสุดที่พัฒนาโดย Moonshot AI
  • ด้วยขนาด 1 ล้านล้านพารามิเตอร์และการใช้วิธีปรับเหมาะแบบใหม่อย่าง Muon ทำให้มีทั้งประสิทธิภาพสูงและความเสถียรในกลุ่มโมเดลภาษาขนาดใหญ่
  • เมื่อเทียบกับโมเดลโอเพนซอร์สประสิทธิภาพสูงที่มีอยู่เดิม Kimi K2 ทำสถิติระดับแนวหน้าของโลก (SOTA) และอยู่ในระดับสูงสุดของโอเพนซอร์สในงานใช้งานจริงหลายด้าน เช่น การเขียนโค้ด คณิตศาสตร์ และการใช้เครื่องมือ
  • จุดแข็งอยู่ที่การฝึกโมเดลขนาดใหญ่ได้อย่างรวดเร็วและเสถียร รวมถึงมีความยืดหยุ่นในการรองรับหลากหลายสถานการณ์การใช้งาน AI

1. แนะนำโมเดล

  • Kimi K2 คือ โมเดลภาษา MoE ระดับแนวหน้าที่มีพารามิเตอร์รวม 1 ล้านล้าน (1T) และพารามิเตอร์ที่ใช้งานจริง 32 พันล้าน (32B)
  • ใช้ Muon optimizer เพื่อแก้ปัญหาความไม่เสถียรในการฝึกโมเดลขนาดใหญ่ได้อย่างมีประสิทธิภาพ
  • ออกแบบมาเฉพาะทางสำหรับความสามารถระดับสูง เช่น การใช้เครื่องมือ การให้เหตุผลที่ซับซ้อน และ autonomous agent

จุดเด่นหลัก

  • การฝึกขนาดใหญ่: พรีเทรนโมเดล 1 ล้านล้านพารามิเตอร์ด้วยโทเคน 15.5 ล้านล้านโทเคน โดยดำเนินการได้โดยไม่มีปัญหาความไม่เสถียร (unstability)
  • MuonClip optimizer: ผสานอัลกอริทึม Muon ที่ออกแบบมาสำหรับโมเดลขนาดใหญ่เข้ากับเทคนิคการปรับเหมาะใหม่เพื่อรับประกันความเสถียร
  • Agentic Intelligence: ออกแบบโดยคำนึงถึงการใช้เครื่องมือ การให้เหตุผลที่ซับซ้อน และการแก้ปัญหาได้ด้วยตนเอง

ประเภทของโมเดล

  • Kimi-K2-Base: โมเดลพื้นฐานที่เหมาะสำหรับการ fine-tune แบบกำหนดเองและการใช้งานของนักวิจัย
  • Kimi-K2-Instruct: โมเดล post-training ที่ปรับให้เหมาะกับการแชตและการขับเคลื่อนเอเจนต์ทั่วไป

2. สรุปโมเดล

  • สถาปัตยกรรม: Mixture-of-Experts (MoE)
  • พารามิเตอร์รวม: 1 ล้านล้าน (1,000,000,000,000)
  • พารามิเตอร์ที่ใช้งานจริง: 32 พันล้าน (32B)
  • จำนวนเลเยอร์: 61 (รวม Dense layer)
  • จำนวน Dense Layer: 1
  • Attention hidden dimension: 7168
  • MoE hidden dimension (ต่อผู้เชี่ยวชาญ): 2048
  • Attention Head: 64
  • จำนวนผู้เชี่ยวชาญ: 384
  • จำนวนผู้เชี่ยวชาญที่ถูกเลือกต่อโทเคน: 8
  • จำนวนผู้เชี่ยวชาญที่ใช้ร่วมกัน: 1
  • ขนาดคำศัพท์: 160K
  • ความยาวคอนเท็กซ์: 128K
  • กลไก Attention: MLA
  • ฟังก์ชันกระตุ้น: SwiGLU

3. ผลการประเมิน

ประสิทธิภาพของโมเดล Instruction

  • ทำผลงานระดับแนวหน้าในหลายเบนช์มาร์ก ทั้งงานเขียนโค้ด การใช้เครื่องมือ คณิตศาสตร์/วิทยาศาสตร์ และงานทั่วไป
  • บน SWE-bench, LiveCodeBench, OJBench, MultiPL-E, TerminalBench, AceBench, Tau2, AIME, MATH-500 และอื่น ๆ แสดงผลลัพธ์ระดับ SOTA หรือดีที่สุดในระดับเดียวกัน ทั้งในหมวดโค้ด·เครื่องมือ คณิตศาสตร์·ตรรกะ และงานทั่วไป
  • ทำคะแนน pass@1 ได้ 65.8% บน SWE-bench Verified และ 47.3% บน SWE-bench Multilingual พร้อมผลงานเด่นในสภาพแวดล้อม Agentic Coding
  • มีความแม่นยำยอดเยี่ยมในแบบทดสอบสายคณิตศาสตร์และวิทยาศาสตร์ เช่น MATH-500, AIME, HMMT, CNMO
  • ทำผลงานเหนือกว่าหรือแข่งขันได้ดีกับทั้งโมเดลโอเพนซอร์สและเชิงพาณิชย์ในงานทั่วไปหลากหลาย เช่น MMLU และ SimpleQA

ประสิทธิภาพของโมเดล Base

  • ทำคะแนนระดับสูงสุดในกลุ่มโมเดลโอเพนซอร์สระดับเดียวกันบนเบนช์มาร์กสำคัญ เช่น MMLU, TriviaQA, GPQA-Diamond
  • มีความได้เปรียบโดยรวมเมื่อเทียบกับเบสโมเดลโอเพนซอร์สขนาดใหญ่ในด้านการเขียนโค้ด คณิตศาสตร์ และการประเมินภาษาจีน

4. การดีพลอยและการรันเอนจิน

  • สามารถใช้ Kimi K2 API (เข้ากันได้กับ OpenAI/Anthropic) ได้ที่ https://platform.moonshot.ai
  • รองรับโมเดลเช็กพอยต์ (block-fp8) บน Huggingface เช่นกัน (https://huggingface.co/moonshotai/Kimi-K2-Instruct)
  • เอนจินสำหรับ inference ที่แนะนำ ได้แก่ vLLM, SGLang, KTransformers, TensorRT-LLM และมีความเข้ากันได้กับสภาพแวดล้อมที่หลากหลาย

5. ตัวอย่างการใช้งานโมเดล

อินเทอร์เฟซแชต

  • หลังจากรันบริการ inference แบบโลคัลแล้ว สามารถโต้ตอบได้โดยตรงผ่านไคลเอนต์ที่เข้ากันได้กับ OpenAI เช่น Chat Completions API
  • แนะนำให้ใช้ temperature: 0.6 และแนะนำให้ใช้ System prompt ในรูปแบบพื้นฐาน

ความสามารถในการเรียกใช้เครื่องมือ

  • Kimi-K2-Instruct มี ความสามารถด้าน tool-calling ที่ทรงพลัง
  • ผู้ใช้สามารถส่งรายการเครื่องมือที่ใช้งานได้ในแต่ละคำขอ แล้วโมเดลจะตัดสินใจเองว่าจะใช้เครื่องมือใดและเมื่อใดควรเรียกใช้งาน
  • สามารถสาธิตตัวอย่างและข้อความผลลัพธ์ได้ตลอดทั้ง pipeline
  • ต้องมีการรองรับ logic การแยกวิเคราะห์เครื่องมือสำหรับ Kimi-K2 ในเอนจิน

6. ใบอนุญาต

  • ทั้งโค้ดและน้ำหนักโมเดลเผยแพร่เป็นโอเพนซอร์สภายใต้ Modified MIT License

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-07-13
ความเห็นจาก Hacker News
  • ลองใช้ Kimi กับโจทย์โค้ดอยู่บ้าง และมันทำได้ค่อนข้างดีในปัญหาที่ Claude ตอบพลาดหรือวนไปวนมา ขนาดโมเดลใหญ่มากจนไม่เหมาะจะเป็นโมเดล “รันเองในเครื่อง” คิดว่าน่าจะต้องใช้ประมาณ GPU H200 สัก 16 ใบถึงจะรันได้ รู้สึกได้ว่ามันมีคาแรกเตอร์ต่างจากโมเดลอื่นพอสมควรและค่อนข้างน่าพอใจ อย่างน้อยก็น่าจะมีประโยชน์ในสภาพแวดล้อมที่ใช้ ensemble
    • ถ้าใช้ quantization 4 บิต ก็จะได้ความเร็วระดับใช้งานจริงบน Mac Studio 512GB สองเครื่อง (แบบ MLX TB4 Ring ดูข้อมูลได้จากลิงก์นี้) หรือบนระบบ Epyc เครื่องเดียวที่มี RAM มากกว่า 1TB ด้วยงบราว 20,000 ดอลลาร์ก็พอทดลองได้ แต่ถ้าต้องการความเร็วระดับ production จริง ๆ ก็ต้องใช้ฮาร์ดแวร์ที่แรงกว่านี้มาก มองว่าเหมาะจะเรียกว่า “โมเดลประทับตราส่วนตัว” มากกว่า “โลคัล”
    • ลองเทียบกับ Claude แบบตรง ๆ อยู่หลายครั้ง Kimi สร้างโค้ดที่ง่ายกว่าและอ่านง่ายกว่า ส่วน Claude ให้ความรู้สึก overengineered มากกว่า แต่ Kimi ก็พลาด edge case ละเอียดบางอย่างที่ Claude เก็บได้
    • บอกว่า Claude นี่หมายถึง Sonnet? 3.7? 3.5? Opus? 4? อยากรู้ว่าเป็นเวอร์ชันไหน
    • คำถามแรกที่ให้ Kimi ตอบ (เป็นโจทย์เล่นคณิตศาสตร์ที่ค่อนข้างง่าย) ตอบผิดอย่างมาก ถ้าให้แฟร์ OpenAI ก็พลาดกับคำถามนี้เหมือนกัน หลังจาก prompt เพิ่มก็พอดีขึ้นบ้าง แต่ก็น่าประหลาดใจอยู่
  • เช่นเดียวกับสาย GPT 4o และ DeepSeek-V3 โมเดลนี้ (Kimi K2) เป็น LLM แบบใช้งานทั่วไปที่น่าประทับใจมาก แถมยังโอเพนซอร์สด้วย คิดว่าที่ช่วงนี้คนพูดถึงน้อยลง เพราะแนวหน้าขยับไปทางโมเดล reasoning และ multimodal แล้ว ดูจาก benchmark ความแม่นยำ โมเดลระดับบนตอนนี้ล้วนเป็นสาย reasoning ทั้งหมด(ลิงก์อ้างอิง) ถ้ามีใครเอา Kimi K2 ไปฝึกเป็นโมเดล reasoning โดยเฉพาะ ก็อยากรู้มากว่าผลจะออกมาแค่ไหน
    • ที่บอกว่า “ถ้าเอา Kimi k2 ไปฝึกเป็นโมเดล reasoning” น่าจะเป็นไปได้ว่า MoonshotAI กำลังทำอยู่แล้ว
    • สงสัยว่าทำไมโมเดลปัจจุบันหรือโมเดลก่อนหน้าของ Kimi ยังไม่ถูกเพิ่มเข้า benchmark ของ Artificial analysis
  • นอกจากข้อดีทางเทคนิคแล้ว Kimi K2 ยังน่าทึ่งตรงที่ให้ความรู้สึกเป็นหุ่นยนต์น้อยกว่า โมเดลท็อปของ Anthropic มันมีบุคลิกที่ร่าเริง ฉลาด และลื่นไหล คล้ายกัน ถือเป็นชัยชนะเล็ก ๆ ที่ไม่ต้องเห็นคำตอบสไตล์บอตแข็ง ๆ
  • ส่วนตัวคิดว่าการปล่อยโมเดลโอเพนซอร์สของ OpenAI น่าจะเลื่อนออกไป เพราะ Kimi K2 ชิงกระแสและชนะตัวเลข benchmark ไปแล้ว
    • ฝั่ง OpenAI ก็เคยพูดประมาณว่า “มันใหญ่เกินกว่าจะโฮสต์เองที่บ้านได้” ดังนั้นก็อาจจะจริง ตอนนี้คงกำลังไล่รัน benchmark กันอยู่เพื่อหาหมวดประเมินที่ “ชนะ” ได้
    • ถ้าดูตาม benchmark Kimi K2 ชนะ GPT-4.1 ในหลายด้าน ถ้า OpenAI จะสู้จริงก็คงต้องปล่อย weights ของ GPT-4.1 หรือโมเดลระดับเดียวกันออกมา แต่ก็คงเป็นไปได้น้อย
  • มันไม่ใช่โอเพนซอร์ส แต่เป็น “Modified MIT License” โดยมีเงื่อนไขว่าถ้าใช้ในบริการเชิงพาณิชย์ที่มีผู้ใช้ต่อเดือน 100 ล้านคน หรือรายได้ต่อเดือน 20 ล้านดอลลาร์ขึ้นไป จะต้องแสดงคำว่า “Kimi K2” อย่างชัดเจนใน UI ของบริการ
    • เงื่อนไขนี้ดูเหมือนเอาข้อกำหนดการแสดง “Built with Llama” ของ Llama มารวมกับเงื่อนไข “ผู้ใช้ต่อเดือน 700 ล้านคน” แล้วห่อใหม่ให้ดูคล้าย “MIT แบบดัดแปลง”
    • ไม่คิดว่าเงื่อนไขนี้จะขัดกับ OSD (Open Source Definition) หรือคำนิยามซอฟต์แวร์เสรีของ FSF หรือเกณฑ์ของ Debian เพราะใน GPLv2, GPLv3 และ BSD 4-clause ก็มีข้อกำหนดให้ประกาศเผยแพร่ลักษณะคล้ายกันอยู่แล้ว เพียงแต่ไม่มีเกณฑ์เรื่องจำนวนผู้ใช้หรือรายได้ และ neural network ก็ไม่ได้ถูก build จากซอร์สโค้ดด้วย ดังนั้นคำว่า “โอเพนซอร์ส” เองก็คลุมเครืออยู่ ถ้าจะเทียบกับโอเพนซอร์สจริง ๆ การเปิดเผยข้อมูลฝึกและกระบวนการฝึกน่าจะใกล้เคียงกว่า แต่นั่นก็มีต้นทุนระดับหลายล้านดอลลาร์และไม่เหมือนการคอมไพล์อยู่ดี เลยเป็นประเด็นแยกจากเรื่องไลเซนส์
    • สงสัยว่าเงื่อนไขนี้ละเมิดเสรีภาพพื้นฐาน 4 ข้อของซอฟต์แวร์เสรีในแง่ไหน ช่วยชี้แบบเจาะจงได้ไหม?
    • ยังจำกัดน้อยกว่าเงื่อนไขของ OpenStreetMap เสียอีก
    • เงื่อนไขนี้ดูเหมือนใส่ไว้กันกรณีที่ Google จะเอาไปทำ “เวอร์ชันดัดแปลง” แล้วปล่อยเป็น Gemini-3.0-pro
  • สำหรับฉัน K2 คือชื่อภูเขา ส่วน SOTA หมายถึง “summits on the air” ก็เลยสะดุ้งกับพาดหัวอยู่เหมือนกัน
  • ชอบที่ LLM รุ่นใหม่ที่ไม่ใช่โมเดล reasoning แบบแน่นตรรกะยังคงขยายแนวหน้าได้ โมเดลแบบนี้ก็ยังมีกรณีใช้งานที่ดีอยู่มาก โดยเฉพาะงานที่ไม่ใช่ STEM หรือปริศนาเชิงตรรกะ และมีประโยชน์เวลาที่ไม่อยากเสียค่า reasoning token
  • บอกว่า “โอเพนซอร์ส” แต่จริง ๆ คือ open weights ตามเคย ไม่มีการให้ dataset, สคริปต์ฝึก ฯลฯ
    • ตอนนี้ยังไม่ถึงขั้น open weights ด้วยซ้ำ เพราะการปล่อย weights ยังติดเงื่อนไข “Modified MIT License” (ตามที่กล่าวไว้)
    • ภายใต้ระบบลิขสิทธิ์ปัจจุบัน การฝึกโมเดล SOTA โดยไม่ใช้ข้อความที่มีลิขสิทธิ์แทบเป็นไปไม่ได้ในทางปฏิบัติ เลยสงสัยว่าจะกระจายสิ่งนี้กันอย่างไร
  • ชอบคุณภาพและโทนของคำตอบมากกว่า ChatGPT หรือ DeepSeek เพราะสุภาพน้อยกว่าและตรงไปตรงมามากกว่า แต่ก็เหมือนจะพลาดหรือทำรูปแบบคำตอบเพี้ยนบ่อยกว่าโมเดล SOTA ปัจจุบัน (รวม DeepSeek)
  • ช่วงนี้โมเดล AI ทั้งหมดเหมือนจะใช้ em dash (—) กันพร่ำเพรื่อ แม้จะสั่ง ChatGPT ว่าอย่าใช้ em dash แล้วก็ยังใช้ต่อ มีใครรู้ไหมว่าทำไม?
    • ในฐานะคนที่ชอบใช้ em dash อยู่แล้ว น่าเสียดายที่ตอนนี้มันเริ่มถูกมองเป็นสัญลักษณ์ที่เผยความหยาบ ๆ หรือความไม่เนี้ยบแบบฉบับ LLM