รายงานทางเทคนิค Kimi-K3 [PDF]

 (github.com/MoonshotAI)
1 คะแนน โดย GN⁺ 3 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 3 시간 전
ความคิดเห็นบน Hacker News

  • หากเป็นบริษัทขนาดใหญ่ที่ใช้เงินหลายล้านดอลลาร์ต่อเดือนไปกับค่า inference ก็น่าจะคุ้มที่จะซื้อ แร็ก GB300 ราคา 6 ล้านดอลลาร์ เอง
    ในหน่วยความจำ 20.7TB ต้องใช้ไม่ถึง 10% เพื่อโหลดโมเดล MXFP4 ทั้งหมด และแบนด์วิดท์ HBM รวมอยู่ที่ 576TB/s จึงสามารถรันงานเอเจนต์ที่มีบริบทเฉลี่ย 100,000 โทเค็นได้มากกว่า 6,000 งานแบบขนานที่ราว 30 โทเค็น/s
    หากคิดค่าเสื่อมราคารายปีและค่าไฟที่ 1.5 ล้านดอลลาร์ และอัตราการใช้งานเฉลี่ย 50% ต้นทุนจะต่ำกว่า 0.6 ดอลลาร์ต่อเอาต์พุต 1 ล้านโทเค็น ข้อมูลก็ยังอยู่ในบริษัท และถูกกว่าบริการโฮสติ้งมากกว่า 10 เท่า
    สำหรับบริษัทที่เชื่อว่าโมเดลน้ำหนักแบบเปิดจะพัฒนาต่อไปและ AI จะยังคงอยู่ นี่นับเป็นครั้งแรกที่มีเหตุผลหนักแน่นพอให้ตัดสินใจ ซื้อแร็กเอง

    • กำลังรัน Kimi 2.8 บน เซิร์ฟเวอร์ราคา 107,000 ดอลลาร์ และประมวลผลได้ราวมากกว่า 50,000 โทเค็นต่อวินาทีในงานส่วนใหญ่
      ประหยัดไปได้มากกว่าค่าโทเค็นที่เคยจ่ายให้ Claude และ Gemini เมื่อปีที่แล้วเสียอีก
    • ถ้าจ้างบุคลากร DevOps 2–3 คนมาดูแล จะมีค่าใช้จ่ายเพิ่มอีก 400,000–700,000 ดอลลาร์ และบริษัทต้องรับผิดชอบเรื่องเหตุขัดข้องกับการบำรุงรักษาทั้งหมดเอง
      ถึงอย่างนั้น สำหรับข้อมูลที่ต้องเป็นความลับ ก็ยังไม่ไว้ใจ LLM แบบโฮสต์อยู่ดี
    • ยังต้องมีพื้นที่ที่รองรับ ระบบหล่อเย็นด้วยของเหลวและโครงสร้างพื้นฐานไฟฟ้าความหนาแน่นสูงมาก ด้วย ดังนั้นศูนย์ colocation ทั่วไปหรือห้องเซิร์ฟเวอร์ภายในบริษัทจึงรับมือได้ยาก
    • หากเป็นบริษัทที่ซื้อแร็กราคา 6 ล้านดอลลาร์พร้อมโครงสร้างพื้นฐานได้ ก็ยังต้องพิจารณา เงื่อนไขไลเซนส์เชิงพาณิชย์ ที่อาจนำมาใช้ด้วย ทำให้การคำนวณไม่ได้ตรงไปตรงมา

  • นอกจากโมเดลแล้ว ยังปล่อย โครงสร้างพื้นฐานโอเพนซอร์ส หลายรายการด้วย
    https://github.com/MoonshotAI/MoonEP
    https://github.com/kvcache-ai/AgentEnv
    https://github.com/MoonshotAI/FlashKDA
    ยากจะเข้าใจมุมมองที่มองว่าโอเพนซอร์สและโมเดลน้ำหนักแบบเปิดเป็นการชะลอความก้าวหน้าของ AI

    • ผมกลับมองว่าเป็น การชะลอความก้าวหน้า
      เหตุผลที่แล็บอื่นไล่ทันได้ คือพวกเขา distill โมเดลของแล็บแนวหน้า และแย่งรายได้ส่วนหนึ่งที่แล็บนั้นจะนำไปลงทุนต่อในรุ่นถัดไป
      หากต้องการเร่งให้เต็มที่จริง ๆ ผมเคยมองว่าควรทำให้แล็บหลักสองแห่งเป็นของรัฐ แล้วปิดเป็นโครงการแบบ Manhattan Project จนกว่าจะไปถึง recursive self-improvement (RSI) แต่หลังจากอ่านข้อโต้แย้งในคำตอบ มุมมองก็เปลี่ยนไปมาก

  • สามารถดูไลเซนส์ของ Kimi-K3 ได้ที่ https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE
    ผู้ให้บริการ Model as a Service ที่มีรายได้รวมของบริษัทในเครือเกิน 20 ล้านดอลลาร์ ภายในช่วง 12 เดือนติดต่อกัน ต้องทำสัญญาแยกต่างหากกับ Moonshot AI ก่อนใช้งานเชิงพาณิชย์
    เงื่อนไขเดิมยังมีข้อกำหนดว่า หากมีผู้ใช้รายเดือนเกิน 100 ล้านคน หรือรายได้จากผลิตภัณฑ์เชิงพาณิชย์เกิน 20 ล้านดอลลาร์ ต้องแสดงชื่อ Kimi ด้วย

    • Kimi 2.6 ก็ใช้ไลเซนส์ลักษณะเดียวกัน https://huggingface.co/moonshotai/Kimi-K2.6/blob/main/LICENS... และดูเหมือนจะย้อนกลับไปได้ถึง K2
      โมเดลที่เปิดตัวในปี 2025 ใช้ไลเซนส์ MIT แบบเรียบง่าย แต่ตั้งแต่ moonshotai/Kimi-K2-Thinking ในเดือนมกราคม 2026 ก็เริ่มใช้ ไลเซนส์ MIT แบบแก้ไข
    • ตั้งแต่แรกก็สงสัยว่าไลเซนส์นี้ใช้บังคับกับอะไร
      ยังไม่ชัดเจนด้วยซ้ำว่า น้ำหนักโมเดลมีลิขสิทธิ์ ได้หรือไม่
    • ในสหรัฐฯ มีการตีความได้ว่าน้ำหนักของโมเดลแมชชีนเลิร์นนิงเป็น ผลผลิตของกระบวนการปรับให้เหมาะสมอัตโนมัติ เช่น stochastic gradient descent, expectation maximization หรือ genetic algorithm จึงไม่ใช่วัตถุแห่งลิขสิทธิ์
      เรื่องนี้ยังไม่ได้ผ่านการพิสูจน์ในศาลอย่างสมบูรณ์ และค่าใช้จ่ายในการฟ้องร้องก็สูง นายจ้างจึงมักเลือกปฏิบัติตามไลเซนส์เพื่อความปลอดภัย
      คดี Thaler v. Perlmutter ยืนยันว่าลิขสิทธิ์ต้องมีผู้สร้างสรรค์ที่เป็นมนุษย์ และแนวทางของสำนักงานลิขสิทธิ์สหรัฐฯ ก็ระบุชัดว่า ผลงานที่เครื่องจักรสร้างขึ้นโดยอัตโนมัติโดยไม่มีการแทรกแซงเชิงสร้างสรรค์ของมนุษย์ไม่สามารถจดทะเบียนได้
      ข้อกำหนดถัดมายังตัดหลักการทางคณิตศาสตร์ สูตร อัลกอริทึม และสมการออกจากขอบเขตลิขสิทธิ์ด้วย ดังนั้นหากมองโมเดลเป็นอัลกอริทึม ข้อสรุปก็ค่อนข้างชัดเจน
      [1] https://media.cadc.uscourts.gov/opinions/docs/2025/03/23-523...
      [2] https://www.copyright.gov/comp3/chap300/ch300-copyrightable-...
    • การที่ดาวน์โหลดได้ก็ยังดีกว่า แต่ด้วยเงื่อนไขแบบนี้ก็น่าเสียดายที่เรียกว่า น้ำหนักแบบเปิดหรือโอเพนซอร์ส อย่างแท้จริงได้ยาก
    • ยังสงสัยด้วยว่าจะตามหาผู้ละเมิดไลเซนส์และทำให้เป็น เป้าหมายของการฟ้องร้อง ได้อย่างไร

  • แนวทาง กราฟความรู้เชิงลำดับชั้นที่วิวัฒน์ตนเอง ซึ่งเอเจนต์สำรวจโดเมนที่อัดแน่นด้วยความรู้และด้านการเขียนโค้ดในระดับเว็บ พร้อมขยายตัวอย่างต่อเนื่องนั้นน่าสนใจ

  • เห็น activation function กลับมาเป็น tanh อีกครั้งแล้วก็รู้สึกว่าเทรนด์เทคโนโลยีวนเป็นรอบ ๆ

    • ตามหน้า 6 ของงานวิจัย ไม่ได้ใช้ tanh ตรง ๆ แต่ใช้ f_gate(b,x) = b * tanh(x / b) * sigmoid(x) และ f_up(b,x) = b * tanh(x / b)
      จากกราฟ ดูเหมือนเป็นการออกแบบที่พยายามได้ทั้ง ข้อดีของ GLU ที่มีพลังการแสดงผลดีกว่าเมื่อ x มากกว่าประมาณ 5 และ ข้อดีของ SwiGLU ที่ค่าก่อนถึง 0 พุ่งขึ้น

  • การสังเคราะห์งานโดยอิงกราฟความรู้ เป็นแนวทางที่เข้ากับปัญหาเก่าแก่เรื่องจะครอบคลุมงานหลากหลายประเภทให้ครบถ้วนได้อย่างไร
    ดูเหมือนยังอาจนำไปสู่งานวิจัยเชิงทฤษฎีเกี่ยวกับความเร็วในการเกิดความรู้ใหม่ และวิธีการสร้างทั้งแบบมนุษย์และแบบเครื่องจักรได้ด้วย

  • สงสัยว่าหากต้องการปรับจูนอย่างละเอียดให้เหมาะกับงานเอเจนต์ของตนเอง ระหว่าง LoRA+DPO, GRPO ตอนนี้แบบใดดีที่สุด

    • เบื้องต้น LoRA+SFT น่าจะเหมาะ แต่โมเดลมีขนาดใหญ่จึงน่าจะมีภาระต้นทุนค่อนข้างมาก
      น่าจะดีกว่าที่จะรอ API สำหรับการปรับจูนอย่างละเอียดจากผู้ให้บริการ และดูเหมือนไม่จำเป็นต้องไปเริ่มด้วย reinforcement learning หรือวิธีคล้าย reinforcement learning แบบ off-policy อย่าง DPO ตั้งแต่แรก

  • สงสัยว่าโมเดลครูใน การกลั่นแบบ on-policy ด้วยครูหลายตัว คืออะไร
    เข้าใจได้ในโดเมนที่ตรวจสอบได้อย่างคณิตศาสตร์และการเขียนโค้ด แต่เมื่อเห็นว่ารวมถึงชีววิทยาด้วย จึงสงสัยว่าเป็นโครงสร้างที่กลั่นจากโมเดลที่ใหญ่กว่าหรือไม่

    • มีการอ้างอิง https://thinkingmachines.ai/blog/on-policy-distillation/
      เข้าใจว่าเป็นวิธีกลั่นแบบ reinforcement learning ที่โมเดลครูให้คะแนนแต่ละโทเค็นของโมเดลนักเรียนที่กำลังแก้ปัญหา ด้วยความน่าจะเป็นในการสร้างในแต่ละขั้น แล้วนำไปใช้เป็นรางวัลหรือ loss
      ครูหลายตัวน่าจะหมายถึงการกลั่นจากหลายโมเดล และอาจรวมถึงโมเดลปิดที่ล้ำสมัยด้วย
      อย่างไรก็ตามจำเป็นต้องมี log probability โดย OpenAI API อนุญาตให้ใช้สิ่งนี้ได้ ขณะที่ Anthropic ไม่ให้ข้อมูลดังกล่าว จึงอาจมีวิธีประมาณค่าจากภายนอก
      วิธีนี้สามารถนำไปใช้ได้กับทุกสาขาที่ครูมีความรู้ รวมถึงชีววิทยา
    • ครูหมายถึงโมเดลอื่น ๆ

  • สงสัยว่าเหตุผลที่ ราคาการอนุมานของผู้ให้บริการหลายรายเท่ากันทั้งหมด เป็นเพราะสัญญาไลเซนส์กับ Moonshot หรือไม่

  • สงสัยว่าต้องใช้อะไรบ้างเพื่อสร้าง โมเดลเปิดจากสหรัฐฯ ที่จะแข่งขันกับ Kimi

    • โมเดลเปิดขนาดใหญ่ล่าสุดจากแล็บใหญ่ของสหรัฐฯ ดูเหมือนจะเป็น GPT-OSS-120b ในช่วงฤดูร้อนปี 2025 หรือราว 1 ปีก่อน
      ดูแล้วไม่น่าจะออกมาโดยสมัครใจ จึงน่าจะต้องกดดันให้เปิดเผยในรูปแบบใดรูปแบบหนึ่ง
      เมื่อเร็ว ๆ นี้คาดหวังว่า Gemma จะออกมาอย่างน้อยระดับ 100B แต่ดูเหมือน Google จะเก็บโมเดลระดับนั้นไว้ใช้ภายในเท่านั้น
    • ดูเหมือนว่า MSL หรือ SpaceXAI มีโอกาสสูงที่จะ เปิดซอร์สโมเดลขนาดใหญ่รุ่นถัดไปตัวใดตัวหนึ่ง
      ทั้งสองฝ่ายเป็นมิตรกับโอเพนซอร์ส และจะมาแข่งขันกันเพื่อชิงตำแหน่ง Kimi ของสหรัฐฯ
    • หากความเชื่อทั่วไปที่ว่าจีนเพียงแค่กลั่นโมเดลแล้วโคลนได้ภายใน 2 สัปดาห์เป็นจริง สหรัฐฯ ก็ควรจะออก โมเดลโคลนภายใน 2 สัปดาห์ ได้เช่นกัน
    • Inkling ก็อยู่ในขอบเขตที่พอจะแข่งขันได้โดยประมาณ