Kimi Linear: สถาปัตยกรรม Attention ที่เพิ่มพลังการแสดงออกและประสิทธิภาพ (2025)

 (arxiv.org)
1 คะแนน โดย GN⁺ 1 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Kimi Linear เป็นโครงสร้างไฮบริดที่จัดวาง KDA และ MLA ในอัตรา 3:1 และภายใต้เงื่อนไขการฝึกเดียวกัน ทำผลงานได้สูงกว่า MLA ล้วนทั้งในบริบทระยะสั้น·ระยะยาว และการประเมินด้าน reinforcement learning โดยรวม
  • โมดูลหลัก Kimi Delta Attention(KDA) แยก gate การลืมระดับ head ของ Gated DeltaNet ให้ละเอียดเป็นระดับ channel ทำให้แต่ละมิติคุณลักษณะของหน่วยความจำ RNN ที่มีขนาดจำกัดมีอัตราการลืมเป็นอิสระต่อกัน
  • ด้วยเมทริกซ์ทรานซิชันแบบ Diagonal-Plus-Low-Rank(DPLR) เฉพาะทางและอัลกอริทึมขนานแบบราย chunk ช่วยลดปริมาณการคำนวณเมื่อเทียบกับ DPLR ทั่วไป และประสิทธิภาพของ operator เพิ่มขึ้นประมาณ 100%
  • ฝึกโมเดลที่มี active parameters 3B·พารามิเตอร์รวม 48B ด้วยโทเค็น 1.4T ได้คะแนน 51.0 บน MMLU-Pro 4K, 84.3 บน RULER 128K พร้อมความเร็วเพิ่มขึ้น 3.98 เท่า และที่ 1M โทเค็น เวลาในการสร้างต่อ output token เร็วกว่า MLA 6.3 เท่า
  • ในการสร้างข้อความยาว สามารถ ลด KV cache ได้สูงสุด 75% และนำไปใช้ได้โดยไม่ต้องเปลี่ยนอินเทอร์เฟซ cache·scheduling ของ pipeline full attention เดิม อีกทั้งยังเผยแพร่ kernel KDA, การใช้งานบน vLLM และ model checkpoint แล้ว

คอขวดที่ full attention สร้างขึ้นในการ reasoning ระยะยาว

  • LLM แบบ agent และการขยาย test-time ด้วย reinforcement learning ต้องประมวลผล trajectory ยาว ๆ, การโต้ตอบกับการใช้เครื่องมือ และพื้นที่การตัดสินใจที่ซับซ้อนระหว่างการ inference
  • softmax attention มาตรฐานมี time complexity เพิ่มขึ้นแบบกำลังสอง และ KV cache โตตามความยาวบริบท จึงจำกัด throughput, การขยายบริบท และการโต้ตอบแบบเรียลไทม์
  • linear attention สามารถลดความซับซ้อนในการคำนวณได้ แต่มีพลังการแสดงออกจำกัด จึงเคยทำผลงานต่ำกว่า softmax attention แม้ในการทำ language modeling บน sequence สั้น
  • กลไก gating·decay และ delta rule ในระยะหลังช่วยลดช่องว่างด้านคุณภาพบน sequence ความยาวปานกลาง แต่โครงสร้าง linear ล้วนมีข้อจำกัดในการ modeling sequence ระยะยาวและการค้นคืนภายในบริบท เพราะความจุสถานะแบบจำกัด
  • โครงสร้างไฮบริดที่ผสานชั้น global attention บางส่วนกับชั้น linear จำนวนมากเริ่มเกิดขึ้นเป็นทางเลือกประนีประนอมระหว่างคุณภาพและประสิทธิภาพ แต่โมเดลเดิมมีสเกลจำกัดหรือยังขาดการประเมิน benchmark ที่หลากหลาย

จาก linear attention ถึง Gated DeltaNet

  • linear attention พื้นฐานสะสมความเชื่อมโยง key-value เข้าในสถานะวนซ้ำรูปแบบเมทริกซ์อย่างต่อเนื่อง และใช้สิ่งนี้เป็น fast weight ซึ่งเป็นหน่วยความจำเชื่อมโยงชั่วคราว
    • ไม่มีเกณฑ์ตัดสินว่าควรลบความจำใด ทำให้สถานะสะสมอย่างไม่จำกัดและเกิดการรบกวนในบริบทยาว
  • DeltaNet ทำ online gradient descent ต่อ reconstruction loss เพื่อให้สถานะกู้คืน key เป็น value ได้
    • ใช้ delta rule แบบคลาสสิกที่แก้ไขสถานะเดิมอย่างต่อเนื่อง
    • การอัปเดต rank 1 เทียบเท่ากับ generalized Householder transform และสามารถทำ parallelization แบบราย chunk ได้
  • Gated DeltaNet(GDN) เพิ่ม scalar forgetting gate αt เพื่อทำให้ความเชื่อมโยงเก่าค่อย ๆ จางลง
    • gate ทำงานคล้าย weight decay ต่อ fast weight และทำให้เกิดกลไกการลืมที่คล้าย data-dependent L2 regularization
    • ควบคุมอายุของหน่วยความจำและลดการรบกวน ขณะยังคงโครงสร้าง parallelization ของ DeltaNet
  • GDN สามารถตีความได้ว่าเป็น positional encoding แบบคูณที่ผ่อนคลายข้อจำกัด orthogonality ของ RoPE เนื่องจากเมทริกซ์ทรานซิชันขึ้นกับข้อมูลและเรียนรู้ได้

การควบคุมหน่วยความจำอย่างละเอียดของ Kimi Delta Attention

  • KDA แทนที่ scalar decay ตัวเดียวของ GDN ด้วย gate ระดับ channel แบบ diagonalized เพื่อควบคุมการ decay ของหน่วยความจำและข้อมูลตำแหน่งในแต่ละมิติคุณลักษณะอย่างเป็นอิสระ
  • อัตราการลืมราย channel ช่วยปรับหน่วยความจำ RNN แบบ finite state ที่จำกัดได้แม่นยำขึ้น และให้ความละเอียดคล้ายกับ Gated Linear Attention(GLA)
  • dynamics ของทรานซิชันถูก parameterize ด้วย เมทริกซ์ DPLR แบบเฉพาะทาง โดยยังคงความสอดคล้องกับ delta rule แบบคลาสสิก
  • ลำดับของการแปลงเมทริกซ์ rank 1 ถูกบีบอัดเป็น representation แบบ dense เพื่อรองรับการประมวลผลขนานแบบราย chunk ที่เสถียร แม้อยู่ภายใต้ diagonal gating

อัลกอริทึมขนานแบบราย chunk

  • แบ่ง sequence เป็น chunk ความยาวคงที่ และใช้สถานะสุดท้ายของ chunk ก่อนหน้าเป็นสถานะเริ่มต้นของ chunk ถัดไป
  • ใช้ WY representation มัดการอัปเดต rank 1 หลายรายการเป็น representation บีบอัดหนึ่งชุด และทำตามการกระจายของ Comba เพื่อไม่ให้ต้องทำ matrix inversion เพิ่มเติมในการคำนวณถัดไป
  • UT transform ลด FLOP ของการดำเนินการที่ไม่ใช่ matrix multiplication ช่วยเพิ่มอัตราการใช้ฮาร์ดแวร์ระหว่างการฝึก
    • inverse ของเมทริกซ์สามเหลี่ยมล่างคำนวณทีละแถวโดยใช้ forward substitution ของ Gaussian elimination
  • การอัปเดตสถานะทำในรูปแบบเมทริกซ์แบบราย chunk และในขั้น output จะผสานการประมวลผลวนซ้ำระหว่าง chunk กับการประมวลผลขนานภายใน chunk
  • จัดโครงสร้างการคำนวณภายใน chunk ให้เน้น matrix multiplication เพื่อใช้ throughput ของ Tensor Core

ปริมาณคำนวณที่ลดลงเมื่อเทียบกับ DPLR ทั่วไป

  • ทั้ง KDA และ generalized DPLR รองรับการ decay อย่างละเอียด จึงสอดคล้องกันในแง่ความจุในการแสดงออก
  • การ decay อย่างละเอียดอาจก่อปัญหาความแม่นยำเชิงตัวเลขในการหารภายใน chunk
    • GLA ใช้การคำนวณใน log domain และ secondary chunking แบบ full precision แต่จำกัดการใช้ matrix multiplication แบบ half precision ทำให้ความเร็วของ operator ต่ำลง
  • KDA ผูกตัวแปรทั้งสองของ DPLR transition เข้ากับ key k
    • ลดการคำนวณเมทริกซ์ chunk ลำดับที่สองจาก 4 ชุดเหลือ 2 ชุด
    • ตัด matrix multiplication เพิ่มเติมออก 3 ครั้ง
  • จากการวัด kernel ตามความยาว input ประสิทธิภาพ operator ของ KDA สูงกว่า DPLR ทั่วไปประมาณ 100%

องค์ประกอบของโมเดล Kimi Linear

  • backbone ของโมเดลตาม Moonlight โดยวางชั้น MoE channel mixing ไว้หลังชั้น token mixing
  • query·key·value ของแต่ละ head ใน KDA คำนวณผ่าน ShortConv และ Swish
    • เพิ่ม L2 normalization ให้ query และ key เพื่อเสถียรภาพของ eigenvalue
    • มิติ head ของ key และ value ตั้งไว้ที่ 128 ในทุกการทดลอง
  • gate การ decay ราย channel ถูก parameterize ด้วย low-rank projection ที่มี rank เท่ากับมิติ head และใช้ฟังก์ชัน decay คล้ายกับ GDN·Mamba
  • ก่อน output projection ใช้ RMSNorm ราย head และ data-dependent output gate
    • output gate ก็ถูกจัดเป็น low-rank เพื่อคงประสิทธิภาพใกล้เคียงกับ full-rank gate พร้อมรองรับการเปรียบเทียบจำนวนพารามิเตอร์อย่างเป็นธรรม
    • gate นี้ช่วยบรรเทา Attention Sink

ไฮบริด KDA และ MLA แบบ 3:1

  • เพื่อชดเชยข้อจำกัดของ linear attention ล้วนในการค้นคืนบริบทระยะยาว จึงวางชั้น Full MLA ซึ่งเป็น full global attention ไว้ระหว่างชั้น KDA
  • แทนที่จะผสม head ภายในชั้นเดียว จะสลับวางเป็นชั้นเต็ม ๆ
    • การจัดระดับชั้นทำให้ infrastructure เรียบง่ายและเสถียรภาพการฝึกสูงขึ้น
  • ในการทดลอง อัตรา 3:1 ที่ทำซ้ำ KDA 3 ชั้นตามด้วย MLA 1 ชั้น ให้สมดุลดีที่สุดระหว่างคุณภาพกับ throughput
  • ในการสร้างข้อความยาว เฉพาะชั้น full attention เท่านั้นที่คง KV cache จึงลดการใช้หน่วยความจำและ KV cache ได้สูงสุด 75% พร้อมรักษาการไหลของข้อมูลทั่วทั้งโมเดล

การใช้ NoPE และผลการประเมิน

  • ชั้น MLA ทั้งหมดใช้ NoPE ที่ไม่ใช้ positional encoding และให้ KDA รับผิดชอบข้อมูลตำแหน่งกับอคติด้านความใหม่
  • KDA ทำหน้าที่คล้ายหรือแข็งแรงกว่าองค์ประกอบช่วยรับรู้ตำแหน่ง เช่น short convolution หรือ sliding window attention
  • เมื่อใช้ NoPE สามารถแปลง MLA เป็น Multi-Query Attention(MQA) ล้วนที่มีประสิทธิภาพในการ inference ได้
  • ไม่จำเป็นต้องใช้เทคนิคอย่างการปรับแต่งตามความถี่ของ RoPE หรือ YaRN ทำให้การฝึกบริบทระยะยาวง่ายขึ้น
  • ในการเปรียบเทียบที่ฝึกด้วยโทเค็น 1.4T ด้วยวิธีเดียวกัน Kimi Linear ได้ผลลัพธ์ดังนี้
    • บน MMLU-Pro 4K ได้ 51.0 คะแนน เหนือ MLA 47.2 คะแนน และ GDN-H 47.9 คะแนน
    • บน RULER 128K ได้ 84.3 คะแนนและเร่งความเร็ว 3.98 เท่า เหนือ MLA 81.3 คะแนน และ GDN-H 80.5 คะแนน
    • ที่ 1M โทเค็น เวลาในการสร้างต่อ output token(TPOT) คือ 1.84ms ซึ่ง เร็วกว่า 6.3 เท่า เมื่อเทียบกับ 11.48ms ของ MLA
    • ยังรักษา TPOT ต่ำได้แม้กับ sequence ยาว ทำให้ใช้ batch ที่ใหญ่ขึ้นได้
  • โมเดล pre-training มี active parameters 3B และพารามิเตอร์รวม 48B โดยเหนือกว่า MLA ล้วนอย่างสม่ำเสมอในงานบริบทระยะสั้น บริบทระยะยาว และงาน post-training แบบ reinforcement learning
  • เผยแพร่ KDA kernel, การผสานกับ vLLM และ checkpoint Kimi-Linear-48B-A3B-Instruct แล้ว
    • สามารถแทนที่ได้โดยไม่ต้องแก้ไขอินเทอร์เฟซ cache หรือ scheduling ของ pipeline full attention เดิม

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 1 시간 전
ความคิดเห็นจาก Hacker News

  • หากดู บทความวิจัย Kimi K3 ที่เพิ่งเผยแพร่ จะเห็นว่าเป็นสถาปัตยกรรมที่ขยาย Kimi Linear ที่กล่าวถึงที่นี่ไปสู่สเกลใหญ่ และเพิ่ม native vision รวมถึงการปรับปรุงด้าน reinforcement learning เป็นต้น
    https://arxiv.org/abs/2607.24653

  • สงสัยว่าความฉลาดที่เห็นในโมเดลล้ำสมัยนั้นเป็น ปรากฏการณ์อุบัติใหม่ ที่เกิดขึ้นจริง ๆ เฉพาะเมื่อขยายสถาปัตยกรรมหรือไม่
    โมเดลโครงสร้างเดียวกันที่มีพารามิเตอร์ 1 ล้านตัวยังแก้ปริศนาพื้นฐานไม่ได้ แต่โมเดล 1 ล้านล้านพารามิเตอร์กลับสร้างตัวอย่างโต้แย้งต่อข้อคาดการณ์จาโคเบียนได้ ดูขัดกับสัญชาตญาณอยู่เหมือนกัน ต่อให้เพิ่มการคำนวณให้กับอัลกอริทึมจัดเรียงแบบง่าย ๆ ก็ไม่ได้ทำให้ชนะ quicksort ได้ แต่การวิจัย LLM สมัยใหม่ดูเหมือนการแข่งขันที่คาดหวังว่าคำตอบจะเกิดขึ้นจากการขยายอัลกอริทึมและโครงสร้างเดิมไปเรื่อย ๆ

    • นี่เป็นปรากฏการณ์ที่รู้จักกันดีในแมชชีนเลิร์นนิงในชื่อ บทเรียนอันขมขื่น (The Bitter Lesson) เราต้องเรียนรู้พลังของวิธีการทั่วไปที่ยังขยายต่อได้แม้ปริมาณการคำนวณจะเพิ่มขึ้นมาก และวิธีการเหล่านั้นก็คือการค้นหาและการเรียนรู้
      ต้นฉบับสั้น ๆ ก็น่าอ่าน: http://www.incompleteideas.net/IncIdeas/BitterLesson.html
    • ตอนนี้ผมออกจากสายนี้แล้ว และสาขาที่เรียนมาก็ใกล้กับ reinforcement learning มากกว่า LLM แต่สุดท้ายผมมองว่า ความหมายและสติปัญญาอยู่ใน internal representation โมเดลเล็กอาจไม่มีความจุพอที่จะเรียนรู้ internal mapping ที่เชื่อมอินพุตกับความหมายและเอาต์พุตได้ตั้งแต่ต้น หรือแม้ในทางทฤษฎีจะเป็นไปได้เหมือนการจัดเรียงแบบง่าย ๆ แต่ในทางปฏิบัติอาจต้องใช้เวลาที่รับไม่ไหว
      โมเดลใหญ่สร้างฐานตั้งต้นในพื้นที่ internal representation นั้นได้ง่ายกว่า และหลังจาก optimize ไปแล้ว น้ำหนักส่วนใหญ่ก็อาจแทบไม่ได้ทำอะไรเป็นพิเศษก็ได้ เรายังไม่ชัดเจนว่าต้องใช้ expressiveness แค่ไหนในการเรียนรู้พื้นที่นี้ แต่จนถึงตอนนี้ดูเหมือนต้องใช้พารามิเตอร์ระดับหลายพันล้าน
      คำถามที่น่าสนใจกว่าคือโมเดลควร invariant ต่อข้อมูลมากแค่ไหน ผมคิดว่าสาเหตุที่ความสามารถด้านคณิตศาสตร์และการเขียนโปรแกรมยกระดับ performance โดยรวมได้มาก เพราะเป็น ทักษะ ที่นำไปใช้ซ้ำได้กับงานหลากหลาย การฝึกตรรกะการเขียนโปรแกรมที่ไม่ขึ้นกับภาษาและงานอย่างเข้มข้น อาจเป็นทางไปสู่โมเดลที่เล็กลงได้
    • การขยายขนาดโมเดล เป็นหนึ่งในวิธีที่สม่ำเสมอและน่าเชื่อถือที่สุดในการเพิ่มสติปัญญา การฝึก AI คือกระบวนการที่ใช้อัลกอริทึมเพื่อค้นหาและปรับแต่งอัลกอริทึมอื่นในเชิงคำนวณ และเมื่อเพิ่มสเกล ก็มีทรัพยากรมากขึ้นในการค้นหาอัลกอริทึมที่เหมาะกับเป้าหมายกว่าเดิม
      ถ้าเปรียบเทียบ โมเดลเล็กอาจติดอยู่ภายในระดับ bubble sort เพราะข้อจำกัดด้านความจุและสัญญาณการเรียนรู้ แต่โมเดลใหญ่สามารถค้นลึกกว่าและพบวิธีที่ใกล้กับ quicksort ได้
      สติปัญญาไม่ใช่เรื่องสองขั้ว โมเดล 1 พันล้านพารามิเตอร์และ 10 ล้านล้านพารามิเตอร์ต่างก็มีสติปัญญาในระดับหนึ่ง แบบแรกอาจถูกมองข้ามง่ายเพราะพึ่งพาความสม่ำเสมอทางสถิติมากเกินไป ส่วนแบบหลังเพียงพัฒนาจนถึงขั้นหาตัวอย่างโต้แย้งใหม่ต่อข้อคาดการณ์ที่ยังไม่แก้ได้ ระหว่างสองจุดนี้ก็ดูใกล้เคียงกับการสะสมของการปรับปรุงเล็ก ๆ จนกลายเป็นหิมะถล่ม มากกว่าการกระโดดแบบฉับพลัน
      ผลลัพธ์เฉพาะอย่างความสามารถทางคณิตศาสตร์อาจดูเหมือนพุ่งขึ้นอย่างรวดเร็ว แต่เบื้องล่างคือการสะสมทีละน้อยของ ความสามารถทั่วไป ในการลดข้อผิดพลาดและฟื้นตัวจากข้อผิดพลาด เมื่อความสามารถแบบนี้ดีพอ ปัญหาตรรกะชนิดใหม่ทั้งหมดก็เริ่มแก้ได้
    • จากมุมมองทฤษฎี deep learning สติปัญญามาจาก การขยายสเกล เป็นหลัก และเมื่อการจับคู่ระหว่างโมเดลกับ optimizer ที่ออกแบบมาดีมี implicit bias ที่แรงไปทางความเรียบง่าย performance ก็อาจดีขึ้นต่อเนื่องตามขนาดโมเดล
      แล็บของ Marcus Hutter แสดงสิ่งนี้ด้วย Solomonoff induction และชี้ว่า bias นี้มีประสิทธิภาพในเชิงสากล bias ที่มีประสิทธิภาพสามารถใช้ curse of dimensionality ในทางกลับกัน ทำให้ performance ในโมเดลใหญ่เพิ่มขึ้นต่อเนื่อง คล้ายกับการได้คำตอบที่ดีกว่าเมื่อมีข้อมูลมากขึ้น
      อย่างไรก็ตาม กลุ่มโมเดลที่มีคุณสมบัตินี้แคบอย่างยิ่ง และใกล้เคียงกับการโชคดีที่ไปถึงจุดนั้นได้ นี่คือเหตุผลที่หลักสถิติทั่วไปยังคงสอนว่าโดยมากไม่ควรคาดหวังพฤติกรรมแบบนี้
    • สิ่งที่มนุษย์แบ่งเป็นปัญหาพื้นฐานกับปัญหาที่ยากมาก อาจ อยู่ใกล้กันมาก ในสเกลสัมบูรณ์ ความต่างหลัก ๆ คือสัดส่วนของมนุษย์ที่แก้ปัญหานั้นได้ แต่แม้ขีดล่างของความสามารถมนุษย์ก็ยังค่อนข้างสูง สำหรับมนุษย์ส่วนใหญ่ สัตว์ที่แก้ปัญหาพื้นฐานได้นั้นพบไม่บ่อย แต่สัตว์ก็ทำพฤติกรรมซับซ้อนและเรียนรู้ได้ และขนาดระดับนิวรอนก็ไม่ได้ต่างจากมนุษย์อย่างสุดโต่ง
      การเพิ่มจาก 1 ล้านเป็น 1 ล้านล้านพารามิเตอร์คือ การขยาย 1 ล้านเท่า คล้ายกับการย่อสมองมนุษย์ลงเหลือ 1% ในแต่ละมิติ หรือระดับไม่กี่มิลลิเมตร

  • เริ่มสร้างโมเดลภายในด้วย Kimi Linear แต่ Gated Deltanet 2 ที่ออกมาภายหลังดูเหมือนเป็นรุ่นพัฒนาต่อในแง่ expressiveness และในการทดสอบของเราเองก็ทำได้ดีกว่าจริง
    https://arxiv.org/abs/2605.22791

    • อ่านแล้วรู้สึกเหมือนเป็น การ implement LSTM ขึ้นมาใหม่

  • ยอดเยี่ยมที่เปิดซอร์ส KDA kernel และ implementation สำหรับ vLLM เพื่อการวิจัย และยังเผยแพร่ checkpoint ของโมเดลทั้งแบบ pre-training และ instruction tuning ด้วย

  • ถ้าอยากเชื่อว่าความสำเร็จของ Kimi มาจาก การโจมตีด้วยการกลั่นโมเดล เท่านั้น ก็ข้ามงานวิจัยนี้ไปได้เลย

    • ตอนนี้อยากให้เลิกเรียกสิ่งนี้ว่า การโจมตีด้วยการกลั่นโมเดล ได้แล้ว
    • ความจริงที่ว่าแล็บจีนกำลังสร้างนวัตกรรมที่น่าประทับใจ กับความเป็นไปได้ที่พวกเขาได้ประโยชน์จาก distillation นั้นอยู่ร่วมกันได้ เราไม่รู้ว่าแต่ละด้านมีส่วนแค่ไหน แต่การบอกว่าต้องจริงได้เพียงอย่างใดอย่างหนึ่งคือ false dichotomy
    • การตำหนิ distillation ฟังดูเหมือนคาสิโนตำหนิ การนับไพ่
    • ผมอยากให้สหรัฐฯ ชนะการแข่งขัน AI แต่ก็ยากจะเข้าใจว่าการประดิษฐ์ส่วนใหญ่ในวันนี้ไม่ใช่ การกลั่น จากความรู้ในอดีตหรืออย่างไร สงสัยว่า Anthropic กำลังอ้างว่าข้อมูลที่ตัวเองนำมาใช้นั้นเป็นความลับทางการค้าหรือไม่
    • โมเดลล้ำสมัยไม่ได้สร้างขึ้นจากองค์ประกอบเดียว สิ่งนี้เป็นเพียงการปรับปรุงแบบค่อยเป็นค่อยไป ไม่ได้อธิบายความสำเร็จทั้งหมดของโมเดล และไม่ว่าจะมีจุดยืนต่อ distillation อย่างไร ชุดข้อมูลสำหรับการฝึก ก็สำคัญมหาศาล

  • เมื่อเทียบกับโมเดล full attention ขนาดเดียวกัน อยากรู้ว่า performance ด้าน การค้นหาในบริบทยาว โดยเฉพาะ needle-in-a-haystack หรือ RULER เป็นอย่างไร ประสิทธิภาพที่ดีขึ้นนั้นยอดเยี่ยม แต่โมเดลผสม linear attention มักพังตรงส่วนนี้

  • ถ้า Transformer นอกมาตรฐาน แบบนี้เริ่มถูกใช้อย่างแพร่หลาย สงสัยว่าบริษัทอย่าง Etched จะลำบากหรือไม่

  • บทความนี้เป็น ข้อมูลปี 2025 และผ่านไปแล้ว 9 เดือน ระหว่างนั้นมีโมเดลหลัก ๆ เปิดตัวใหม่

    • ถ้าเป็นเรื่อง K3 ควรอ่านบทความนี้มากกว่า: https://arxiv.org/abs/2607.24653
      contribution หลักของบทความ K3 คือ Stable LatentMoE เนื่องจากบีบอัดข้อมูลที่ส่งต่อระหว่างเลเยอร์เหมือนโมเดลบางตัว จึงมีเงื่อนไขเฉพาะที่ router ต้องมี และ K3 เพิ่ม performance ด้วยกลยุทธ์การเลือก expert ที่สมดุลกว่า
    • ตอนนั้นยังไม่ได้ถูกพูดคุยกันมากพอ: https://news.ycombinator.com/item?id=45766937
    • ดูเหมือนนำมาโพสต์อีกครั้งเพราะ Kimi K3 ใหม่มี KDA 69 เลเยอร์และ Gated MLA 24 เลเยอร์ เท่าที่รู้ โมเดล Kimi ขนาดใหญ่รุ่นก่อนใช้เฉพาะ MLA layers