สิ่งที่ยังเรียนรู้ได้จาก Kimi K3 และเบนช์มาร์กนกกระทุง

 (simonwillison.net)
1 คะแนน โดย GN⁺ 3 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Kimi K3 ที่ Moonshot AI เปิดตัวเป็นโมเดลประสิทธิภาพสูงสุดของบริษัท มีพารามิเตอร์ 2.8 ล้านล้านตัว ให้บริการผ่านเว็บไซต์และ API และมีกำหนดเปิดเผยเวทแบบเปิดภายในวันที่ 27 กรกฎาคม 2026
  • ในเบนช์มาร์กของบริษัทเอง โดยรวมแล้วทำคะแนนเหนือ Claude Opus 4.8 max และ GPT-5.5 high แต่ตามหลัง Claude Fable 5 และ GPT-5.6 Sol ส่วนใน Arena.ai Frontend Code arena ขึ้นอันดับ 1
  • ราคา $3 ต่ออินพุต 1 ล้านโทเคน และ $15 ต่อเอาต์พุต 1 ล้านโทเคน แพงที่สุดในบรรดาโมเดลจากแล็บ AI จีน และการสร้าง SVG นกกระทุงหนึ่งภาพใช้เอาต์พุต 16,658 โทเคน ซึ่งรวมโทเคนสำหรับการอนุมาน 13,241 โทเคน คิดเป็น $0.25
  • การทดสอบ SVG นกกระทุงขี่จักรยานไม่สามารถวัด การเรียกใช้เครื่องมือแบบเอเจนต์ ที่สำคัญในปัจจุบัน หรือความน่าเชื่อถือของการใช้เครื่องมือในการสนทนายาว ๆ ได้ จึงไม่เหมาะสำหรับเปรียบเทียบสมรรถนะโดยรวมระหว่างโมเดล
  • ถึงอย่างนั้น การรันพรอมป์ต์ง่าย ๆ เดียวกันด้วยตนเองก็ช่วยดู การเข้าถึง API และต้นทุน, ปริมาณการอนุมาน, ความถูกต้องของ SVG, การรับรู้เชิงพื้นที่, ประสิทธิภาพด้านวิชัน และการปรับปรุงข้ามรุ่นภายในตระกูลผลิตภัณฑ์ได้อย่างรวดเร็ว

การเปิดตัวและประสิทธิภาพของ Kimi K3

  • Moonshot AI เปิดตัว Kimi K3 เป็นโมเดลประสิทธิภาพสูงสุดของบริษัทที่มี พารามิเตอร์ 2.8 ล้านล้านตัว
    • ใช้งานได้บนเว็บไซต์และ API
    • มีกำหนดเปิดเผยเวทแบบเปิดภายใน 27 กรกฎาคม 2026
  • เรียก K3 ว่าเป็น “โมเดลระดับ 3T แบบเปิด” ตัวแรก โดยจัดหมวดหมู่จากการปัด 2.8 ล้านล้านขึ้นเป็น 3 ล้านล้าน
    • DeepSeek V4 Pro ซึ่งถูกกล่าวถึงว่าเป็นโมเดลขนาดใหญ่ที่สุดก่อนหน้านี้ มีพารามิเตอร์ 1.6 ล้านล้านตัว
    • K3 ใหญ่กว่า Kimi K2.6 ซึ่งมีพารามิเตอร์ 1 ล้านล้านตัว มากกว่าสองเท่า
  • ใน เบนช์มาร์กของบริษัทเอง โดยรวมแล้วทำคะแนนเหนือ Claude Opus 4.8 max และ GPT-5.5 high แต่ตามหลัง Claude Fable 5 และ GPT-5.6 Sol

การประเมินภายนอกและราคา

  • ในงานความรู้ระยะยาวแบบไม่เปิดเผยของ การประเมินโดย Artificial Analysis ได้คะแนนรวม Elo 1,547
    • สูงกว่า Kimi K2.6 อยู่ 732 คะแนน
    • เป็นอันดับ 2 รองจาก Claude Fable 5
  • ต้นทุนต่อหนึ่งงานอยู่ที่ $0.94 ใกล้เคียงกับ $1.04 ของ GPT-5.6 Sol
    • อยู่ที่ประมาณครึ่งหนึ่งของ $1.80 ของ Claude Opus 4.8
    • แต่แพงกว่าโมเดลเวทแบบเปิดอื่น ๆ
  • ใน Artificial Analysis Intelligence Index การใช้โทเคนเอาต์พุตลดลง 21% เมื่อเทียบกับ K2.6
  • ใน Arena.ai Frontend Code arena ขึ้นสู่อันดับ 1 แซง Claude Fable 5
  • ราคา API คือ $3 ต่ออินพุต 1 ล้านโทเคน และ $15 ต่อเอาต์พุต 1 ล้านโทเคน
    • อยู่ในระดับเดียวกับตระกูล Anthropic Claude Sonnet
    • เป็นโมเดลที่แพงที่สุดในบรรดาโมเดลที่แล็บ AI จีนเปิดตัว
    • เพิ่มขึ้นมากจาก $0.95/$4 ของ Kimi K2.6

การทดลองสร้าง SVG นกกระทุง

  • ใช้ OpenRouter และ ปลั๊กอิน llm-openrouter เพื่อรันพรอมป์ต์ Generate an SVG of a pelican riding a bicycle
  • กระบวนการสร้าง ใช้อินพุต 95 โทเคน และเอาต์พุต 16,658 โทเคน
    • ในเอาต์พุตนั้น 13,241 โทเคนเป็นโทเคนสำหรับการอนุมาน
    • ค่าใช้จ่ายรวมอยู่ที่ $0.25
  • เนื่องจากรองรับอินพุตรูปภาพด้วย จึงนำพรอมป์ต์ข้อความทดแทนไปใช้กับ SVG ที่สร้างขึ้น
    • ผลการวิเคราะห์ จับรายละเอียดได้ถูกต้อง ทั้งนกกระทุงสีขาวที่พันผ้าพันคอสีแดง จักรยานสีแดง เส้นแบ่งเลนและสัญลักษณ์การเคลื่อนไหว รวมถึงท้องฟ้า เมฆ ดวงอาทิตย์ นก หญ้า และดอกไม้
    • การวิเคราะห์รูปภาพใช้อินพุต 822 โทเคน เอาต์พุต 243 โทเคน และมีค่าใช้จ่าย $0.006

ข้อจำกัดในฐานะเบนช์มาร์กโดยรวม

  • การทดสอบ SVG นกกระทุงขี่จักรยานเริ่มต้นเมื่อ 21 เดือนก่อนในฐานะมุกล้อเลียนความยากของการเปรียบเทียบโมเดล แต่ในช่วงปีแรกกลับมี สหสัมพันธ์สูงอย่างคาดไม่ถึง กับคุณภาพจริงของโมเดล
  • ตอนนี้สหสัมพันธ์นั้นแทบหายไปแล้ว
    • นกกระทุงที่ GPT-5.6 และ Claude Fable 5 สร้างออกมาแย่กว่าผลลัพธ์ของ GLM-5.2
    • แต่ก็ยากที่จะมองว่า GLM-5.2 เป็นโมเดลระดับ Claude Fable
  • ไม่มีความมั่นใจว่าแล็บต่าง ๆ ฝึกโมเดลให้เข้ากับการทดสอบนี้โดยเฉพาะ
    • หากปรับให้เหมาะจริง ผลลัพธ์ควรจะดีกว่านี้มาก
    • ยังมีความเป็นไปได้ว่า Gemini ถูกปรับให้เหมาะกับชุดผสมกว้าง ๆ แบบ “สัตว์ขี่ยานพาหนะ”
  • ข้อจำกัดใหญ่ที่สุดคือมันไม่ประเมิน การเรียกใช้เครื่องมือแบบเอเจนต์ ซึ่งสำคัญกับโมเดลปัจจุบันเลย
    • และวัดความสามารถในการใช้เครื่องมืออย่างเสถียรเมื่อบทสนทนายาวขึ้นไม่ได้ด้วย
    • ดังนั้นจึงไม่ควรใช้ผลลัพธ์นกกระทุงเพื่อเปรียบเทียบสมรรถนะโดยรวมระหว่างโมเดล

การทดลองที่บังคับให้ต้องรันเอง

  • การทดสอบนกกระทุงทำหน้าที่เป็น กลไกบังคับ ให้เรียกใช้งานโมเดลใหม่จริง ๆ
    • การมีผลลัพธ์ออกมาหมายความว่าอย่างน้อยก็รันพรอมป์ต์สำเร็จ
    • ถ้ามี API ทางการก็จะใช้ API นั้น
    • โมเดลเวทแบบเปิดที่เล็กพอจะใส่ใน MacBook Pro M5 128GB จะรันในเครื่องด้วย llama.cpp, LM Studio, Ollama
    • มักใช้ OpenRouter เพราะสามารถใช้พร็อกซี API ทางการได้โดยไม่ต้องมีคีย์ API ใหม่
  • ผลลัพธ์ส่วนใหญ่สร้างด้วย เครื่องมือ LLM CLI และในกระบวนการนี้ยังได้ตรวจสอบด้วยว่าปลั๊กอินรองรับโมเดลล่าสุดหรือไม่
  • พรอมป์ต์ SVG เดียวก็สามารถเผยให้เห็นลักษณะด้าน ต้นทุน·วิธีการอนุมาน·การประมวลผลอินพุต ของโมเดลได้

ลักษณะที่เห็นจาก Kimi K3

  • ตอนนี้ระดับความพยายามในการอนุมานของ K3 มีเพียง max ระดับเดียว และใช้โทเคนสำหรับการอนุมาน 13,241 โทเคนเพื่อสร้างคำตอบ 3,417 โทเคน
    • ค่าใช้จ่ายของการสร้างนกกระทุงแบบง่าย ๆ สูงถึง $0.25 จึงค่อนข้างหนัก
  • การที่พรอมป์ต์สั้น ๆ ถูกนับเป็นอินพุต 95 โทเคน ชี้ว่ามีอินพุตที่ซ่อนอยู่
    • tokenizer ของ OpenAI นับพรอมป์ต์เดียวกันเป็น 10 โทเคน
    • เครื่องคำนวณโทเคนของ Anthropic นับเป็น 10 โทเคนใน Opus 4.6, 30 โทเคนใน Opus 4.7 และ 25 โทเคนใน Sonnet 5/Fable 5
    • เมื่อส่ง hi ไปยัง K3 ก็ถูกนับเป็น 86 โทเคน จึงมีความเป็นไปได้ว่ามี system prompt ที่ซ่อนอยู่ราว 85 โทเคน
    • K3 ปฏิเสธคำขอให้เปิดเผย system prompt ดังกล่าว
  • จากคุณภาพข้อความทดแทนที่วิเคราะห์ SVG ที่สร้างขึ้น เห็นได้ว่า ฟังก์ชันวิชัน ทำงานได้ดี
  • K3 มีระดับความพยายามในการอนุมานเพียงระดับเดียว แต่ในโมเดลอื่น ๆ สามารถรันพรอมป์ต์เดียวกันที่หลายระดับความพยายามเพื่อเปรียบเทียบผลกระทบได้อย่างรวดเร็ว

สิ่งที่การทดสอบนกกระทุงยังบอกได้

  • ใช้เป็นแบบฝึก “Hello World” สำหรับส่งพรอมป์ต์ไปยังโมเดลใหม่ได้
  • ช่วยประเมินคร่าว ๆ ถึงต้นทุนและปริมาณการอนุมานที่ต้องใช้กับงานง่าย ๆ
  • ใช้ดูได้ว่าส่งออก SVG ที่ถูกต้องหรือไม่ และมีการรับรู้เรขาคณิต·พื้นที่ขั้นพื้นฐานแค่ไหน
    • ความสามารถนี้สำคัญยิ่งขึ้นโดยเฉพาะกับโมเดลขนาดเล็กที่รันบนโน้ตบุ๊ก
  • การเปรียบเทียบระหว่างรุ่นที่ออกในตระกูลโมเดลเดียวกันยังคงมีคุณค่า
    • นกกระทุงของ K3 ดีขึ้นอย่างชัดเจนเมื่อเทียบกับ Kimi 2.5
  • สามารถแชร์ได้ว่าได้ลองใช้โมเดลด้วยตนเองแล้ว และบน Hacker News การโพสต์ผลลัพธ์นกกระทุงในคอมเมนต์เกี่ยวกับโมเดลใหม่ก็กลายเป็นธรรมเนียมอย่างหนึ่ง

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 3 시간 전
ความเห็นจาก Hacker News

  • เบนช์มาร์ก Pelican สะท้อนปัญหาการจ้างงานในอุตสาหกรรมเทคโนโลยีแบบตรงตัว ไม่ต่างจากการสัมภาษณ์ที่ให้วาดนกกระทุงแล้วประเมินความสามารถ ทั้งที่ไม่เกี่ยวกับงานจริงเลย

    • ฟังดูเป็นคำพูดของคนที่ไม่มี ประสบการณ์ 9 ปีในฐานะนักพัฒนา 10x ด้านการวาดนกกระทุง

  • เหตุผลที่พรอมป์ต์ “สร้าง SVG ของนกกระทุงขี่จักรยาน” ถูกนับเป็น อินพุต 95 โทเค็น อาจเป็นเพราะเมื่อกำหนดระดับความเข้มของการให้เหตุผลแบบกำหนดเอง จะมีพรอมป์ต์สำหรับระดับการให้เหตุผลถูกแทรกไว้ก่อนโทเค็นเริ่มต้น กรณีของโหมดสูงสุดใน DeepSeek-V4 ก็น่าใช้ประกอบการพิจารณา: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • ขอเสนอ SWE-bench-adversarial-pelican-gen แบบจริงจัง คล้ายกับ SWE-bench แต่ทุก ๆ การสนทนาหรือการเรียกใช้เครื่องมือ 5 ครั้งให้หยุด สร้าง SVG ของสัตว์แบบสุ่ม แล้วกลับมาทำงานต่อ และแทรกคอมเมนต์เกี่ยวกับ SVG นกกระทุงไว้ตามผลลัพธ์ของเครื่องมือต่าง ๆ
    เมื่อบริบทแตะ 800,000 โทเค็น ก็ให้สร้าง SVG นกกระทุงอีกครั้ง แล้วประเมินทั้งคุณภาพของนกกระทุงกับความสมบูรณ์และประสิทธิภาพของงานเดิม ต้องแก้ปัญหาให้ได้ท่ามกลางการโจมตีของนกกระทุง SVG ถึงจะถือว่ามีฝีมือจริง

    • ถ้ารันด้วย Codex ก็น่าจะ ราว 5 ดอลลาร์ แต่ก็น่าคิดว่าทำไมไม่มีใครอยากลองรันดู

  • ตามข้อสรุปของ Simon ประโยชน์หลักของเบนช์มาร์กนี้ไม่ใช่การฟันธงว่าโมเดลไหนดีกว่า แต่คือการดูความสัมพันธ์ระหว่าง คุณภาพ·ต้นทุน·ความเร็ว ช่วงหลังลองเทียบ Opus, Fable, Kimi แบบคร่าว ๆ พบว่า Kimi ถูกกว่า 5 เท่า แต่ช้ากว่า 2 เท่า
    https://9gpyw4uxr2.evvl.io/

    • ผลลัพธ์สามอันตรงกลางมองว่าเป็น ความล้มเหลวแบบ Gemini/Google ตามตำรา คือสร้างออกมามากกว่าที่พรอมป์ต์ต้องการ K2.6 ก็ใช้ HTML+CSS+SVG ไม่ใช่ SVG ล้วน จึงใกล้เคียงกับความล้มเหลวแบบก้ำกึ่ง
      ข้อความ “Expires in 6 days” ที่มุมขวาบนของเว็บไซต์ก็ดูแปลก ไม่เข้าใจว่าทำไมหน้าที่มีข้อมูลแค่ไม่กี่ KB ถึงต้องหมดอายุ

  • น่าประหลาดใจที่ Simon เชื่อว่าสิ่งเหล่านี้ไม่ได้อยู่ในข้อมูลฝึก ทั้งที่มีนกกระทุงขี่จักรยานอยู่เป็นร้อย ๆ ตัวในบล็อก ฟอรัม และ GitHub บล็อกของบริษัทเรามีทราฟฟิกน้อยกว่าไซต์ของ Simon 1,000 เท่า แต่หลังโพสต์ไป 6 เดือน LLM ก็รู้จักแล้ว

    • ภาพนกกระทุงที่มีอยู่เดิมก็ยังแย่มาก ต่อให้อยู่ในข้อมูลฝึกก็ไม่ได้ช่วยให้สร้างนกกระทุงได้ดีขึ้น แถมอาจทำให้ประสิทธิภาพแย่ลงด้วย
    • Simon เองก็ยอมรับหลายครั้งว่านกกระทุงอาจรวมอยู่ในข้อมูลฝึก และเขาก็มีการทดสอบอื่นที่ไม่ได้เผยแพร่ด้วย แค่ เขาชอบนกกระทุง เท่านั้น
    • ต่อให้นกกระทุงกับจักรยานต่างก็อยู่ในข้อมูลฝึก ก็ไม่ได้แปลว่าโมเดลเคยฝึกกับเบนช์มาร์กเฉพาะนี้
    • นกกระทุงขี่จักรยานเองก็ไม่ใช่หัวข้อพิเศษอะไร สามารถให้โมเดลใด ๆ สร้างการผสมมั่ว ๆ เป็น SVG ได้ เช่น ไส้เดือนชกมวยกับนกโรบิน และไม่ว่าจะเป็นโมเดลวิชันหรือไม่ โมเดลที่ฉลาดกว่ามักให้ผลลัพธ์ที่ดีกว่าอย่างมี สหสัมพันธ์สูง
      ตอนแรกเห็นการประเมินนี้แล้วคิดว่าไร้สาระ แต่หลังลองทดสอบชุดผสมที่ไม่น่ามีอยู่ในข้อมูลฝึกแน่ ๆ ก็ยืนยันได้ว่ามันใช้ได้
    • ทำให้นึกถึงกระแสข่าวปีที่แล้วที่ว่า ข้อมูลฝึกกำลังจะหมด และข้อกล่าวอ้างนั้นน่าขำแค่ไหน

  • คำตอบของเราต่อเบนช์มาร์กนกกระทุงคือ เบนช์มาร์ก MacBook SVG: https://playcode.io/blog/macbook-svg-benchmark

    • ผลลัพธ์ของ Terra xhigh ดีมากจริง ๆ
    • ตรงที่ Fable 5 ใช้เวลาคิดนานเกินไปจน ใช้งบประมาณเอาต์พุตหมด ก่อนวาดภาพเสร็จนั่นตลกดี

  • ยังรู้สึกคาใจที่แต่ละโมเดลสร้างนกกระทุงแค่ครั้งเดียว โมเดลเดียวกันก็ให้ผลต่างกันทุกครั้งที่รัน ดังนั้นการเลือกผลลัพธ์ไหนอาจส่งผลต่อการตัดสินว่า “โมเดลนี้ดีกว่า” ได้
    อยากเห็น ผลลัพธ์ 8 รอบ ของแต่ละโมเดลวางเทียบกัน ถ้าเป็นสองโมเดลที่ใกล้เคียงกัน ความแปรปรวนระหว่างการรันแต่ละครั้งก็น่าจะมากพอ ๆ กับความต่างระหว่างโมเดล

    • เมื่อก่อนรันสามครั้งแล้วเลือกผลที่ดีที่สุด สักวันอยากทำอัตโนมัติให้ ผู้ตัดสิน LLM จากตระกูลโมเดลเดียวกันเลือกผลที่ดีที่สุดแล้วส่งต่อไปแข่งรอบถัดไป
      เคยทำระบบคะแนน ELO ไว้ด้วย: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      ตัวเบนช์มาร์กเองอาจดูเก่าไปนิด แต่มีความต้องการแกลเลอรีผลลัพธ์มาก จึงน่ากลับไปใช้เวลากับมันอีกครั้ง

  • ช่องว่างกำลังแคบลง Kimi 3 ตามหลังโมเดลสหรัฐฯ ประมาณ 3 เดือน และดูเหมือนเป็นโมเดลระดับ GPT 5.5 ที่ออกช่วงปลายเดือนเมษายน

  • สงสัยว่าห้องแล็บจีนฝึก โมเดล 3 ล้านล้านพารามิเตอร์ ได้อย่างไรด้วยทรัพยากรคำนวณที่น่าจะมีน้อยกว่ามาก หากความได้เปรียบด้านทรัพยากรคำนวณของสหรัฐฯ ยังดำเนินต่อไป ทางกายภาพแล้วจีนคงไล่ตามตลอดไปได้ยาก แต่จนถึงตอนนี้ก็ทำได้ดี

    • จริง ๆ แล้วอาจไม่มีข้อจำกัดในการเข้าถึงทรัพยากรคำนวณอย่างมีนัยสำคัญ บริษัทจีนสามารถใช้ GPU ในประเทศใกล้เคียงที่ไม่ถูกจำกัดการส่งออก เช่น มาเลเซีย และ ByteDance ก็ทำเช่นนั้นอย่างเปิดเผย: https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      มีข่าวลือว่า Tencent ก็เข้าถึงผ่านญี่ปุ่น: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      ยังมีวิธีซื้อจากสิงคโปร์แล้วลักลอบนำเข้า และชิปสำหรับ AI โดยเฉพาะออกแบบและผลิตค่อนข้างง่ายกว่า CPU·GPU ประสิทธิภาพสูง จึงไม่มีเหตุผลต้องคิดว่าการออกแบบของจีนเองจะตามหลังตลอดไป สุดท้ายก็สามารถใช้ foundry เดียวกันได้
    • Gamers Nexus มีวิดีโอดี ๆ ที่ลงพื้นที่ทำข่าวในจีนโดยตรง: https://www.youtube.com/watch?v=1H3xQaf7BFI
      5090 ที่ใช้ GB202 และ RTX 6000 Pro Blackwell ซึ่งอยู่ภายใต้ข้อจำกัดการส่งออก ผลิตโดย TSMC แล้วไปแพ็กเกจและประกอบเสร็จในจีน จึงมีช่องโหว่ใหญ่ตั้งแต่แรก NVIDIA กับพาร์ตเนอร์จัดจำหน่ายก็ขายในประเทศอย่างสิงคโปร์โดยแทบไม่ตรวจสอบ และต่อให้คนหิ้วของถือเข้าไปเอง ศุลกากรจีนก็ไม่มีเหตุผลต้องบังคับใช้กฎหมายสหรัฐฯ บนดินแดนจีน
    • ชิป Huawei Ascend ถูกใช้ฝึก DeepSeek v4 ตั้งแต่กว่า 4 เดือนก่อนแล้ว และ Huawei ก็แชร์เคอร์เนลกับห้องแล็บจีนอื่น ๆ จีนยังมี foundry DDR5 ของตัวเองด้วย
    • การมีจำนวนพารามิเตอร์เท่ากันไม่ได้แปลว่าโมเดลเหมือนกัน จึงไม่คิดว่าตัวเลขนั้นเป็นตัวชี้วัดคุณภาพหรือความต้องการด้านการคำนวณ การสร้างโมเดลที่ดีต้องการมากกว่าแค่ การเพิ่มจำนวนพารามิเตอร์
    • จีนเคยปล่อยน้ำมันสำรองมหาศาลที่ไม่มีใครรู้มาก่อนจนช่วยเศรษฐกิจโลกไว้ ดังนั้นถ้ามี ทรัพยากรคำนวณ ที่ซ่อนอยู่จำนวนมากก็ไม่น่าแปลกใจ

  • น่าสนใจที่คุณภาพนกกระทุงกับคุณภาพโดยรวมของโมเดลไม่ได้ขยับไปด้วยกัน คาดไว้ว่าความสามารถทั่วไปเกิดจาก pretraining ดังนั้น pretraining คุณภาพสูงน่าจะสร้างนกกระทุงได้ดีกว่า และ reinforcement learning น่าจะมีผลต่อคุณภาพนกกระทุงน้อยมาก
    แต่ผลที่ GLM 5.2 นำหน้า GPT 5.6 และ Claude Fable ไม่สอดคล้องกับสมมติฐานนี้ นึกออกแค่ความเป็นไปได้ว่า GLM 5.2 อาจทำ reinforcement learning สำหรับการสร้าง SVG แยกต่างหากจนได้ประสิทธิภาพสูง