Kimi-K3 ที่เผยแพร่บน Hugging Face

 (huggingface.co)
1 คะแนน โดย GN⁺ 3 시간 전 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • Kimi K3 เป็นโมเดลเอเจนต์เนทีฟมัลติโมดัลแบบเปิดน้ำหนัก ที่มีพารามิเตอร์ 2.8 ล้านล้านตัวและคอนเท็กซ์ 1,048,576 โทเคน รองรับงานเขียนโค้ดระยะยาว งานความรู้ และการให้เหตุผล
  • ผสาน Kimi Delta Attention (KDA), Attention Residuals และ Stable LatentMoE โดยเปิดใช้งานผู้เชี่ยวชาญ 16 ตัวต่อโทเคนจากทั้งหมด 896 ตัว และมีประสิทธิภาพการสเกลโดยรวมสูงกว่า Kimi K2 ราว 2.5 เท่า
  • ในการประเมินที่เปิดเผยต่อสาธารณะ ทำได้ GPQA Diamond 93.5, Terminal-Bench 2.1 88.3, BrowseComp 91.2, OmniDocBench 91.1 แต่ควรพิจารณาความแตกต่างของฮาร์เนส การตั้งค่าการให้เหตุผล และฮาร์ดแวร์ของแต่ละโมเดลร่วมด้วย
  • ผ่านการฝึกแบบรับรู้การควอนไทซ์ด้วย น้ำหนัก MXFP4 และค่า activation MXFP8 และสามารถรันได้ด้วย Transformers, vLLM, SGLang, Docker และ API ที่เข้ากันได้กับ OpenAI และ Anthropic
  • ในการสนทนาหลายเทิร์นและการเรียกใช้เครื่องมือ ต้องส่งข้อความ assistant ทั้งหมดกลับไปตามเดิม รวมถึง reasoning_content และ tool_calls ที่ API ส่งกลับมา และโค้ดกับน้ำหนักถูกเผยแพร่ภายใต้ Kimi K3 License

โครงสร้างและขนาดของโมเดล

  • Kimi K3 เป็นโมเดลเอเจนต์เนทีฟมัลติโมดัลแบบเปิดน้ำหนัก ที่ออกแบบมาสำหรับงานเขียนโค้ดระยะยาว งานความรู้ และการให้เหตุผล
  • มีพารามิเตอร์รวม 2.8T และพารามิเตอร์ที่ active อยู่ 104B โดยประกอบด้วย 93 เลเยอร์
    • ใช้ Dense layer 1 ชั้น, KDA layer 69 ชั้น, และ Gated MLA layer 24 ชั้น
    • attention hidden dimension คือ 7,168 และมี attention head 96 หัว
  • Stable LatentMoE เลือกผู้เชี่ยวชาญ 16 ตัวต่อโทเคนจากทั้งหมด 896 ตัว และใช้ผู้เชี่ยวชาญแบบ shared 2 ตัว
    • Latent MoE dimension คือ 3,584 และ MoE hidden dimension ต่อผู้เชี่ยวชาญคือ 3,072
    • เมื่อเทียบกับ Kimi K2 ประสิทธิภาพการสเกลโดยรวมดีขึ้นราว 2.5 เท่า
  • มีขนาด vocabulary 160K, ความยาวคอนเท็กซ์ 1,048,576 โทเคน และใช้ฟังก์ชัน activation แบบ SiTU-GLU
  • ใช้ MoonViT-V2 ขนาด 401M พารามิเตอร์เป็น vision encoder
  • ความสามารถหลักรวมถึงความเข้าใจข้อความ ภาพ และวิดีโอ แต่ในช่อง modality ของตารางสรุปโมเดลระบุไว้เพียง Text และ Image

งานเขียนโค้ดระยะยาวและงานความรู้

  • รักษาเซสชันวิศวกรรมที่ยาวนานด้วยการกำกับดูแลจากมนุษย์เพียงเล็กน้อย พร้อมสำรวจรีโพขนาดใหญ่และประสานเครื่องมือในเทอร์มินัล
    • รองรับการเพิ่มประสิทธิภาพ GPU kernel และการพัฒนาคอมไพเลอร์
    • รวมถึงการพัฒนาเกมที่ใช้วิชัน, CAD และการออกแบบชิป
  • ใน งานความรู้แบบเอเจนต์ สามารถสร้าง visualization แบบโต้ตอบ วิดเจ็ต และแดชบอร์ด ควบคู่กับการค้นคว้าเชิงลึก
    • การออกแบบ motion และการตัดต่อวิดีโอก็อยู่ในขอบเขตการรองรับด้วย
  • แนะนำให้ใช้ Kimi Code CLI เป็นเฟรมเวิร์กเอเจนต์สำหรับงานเขียนโค้ด และสามารถเลือก Kimi K3 ได้ด้วยคำสั่ง /model ในเทอร์มินัล

ผลการประเมิน

  • ผลลัพธ์ทั้งหมดของ Kimi K3 วัดที่ reasoning_effort="max" และ temperature 1.0
    • งานขั้นตอนเดียว เช่น GPQA Diamond, HLE-Full และการประเมินวิชันแบบไม่ใช้เครื่องมือ ใช้ top-p 0.95
    • งานแบบเอเจนต์ใช้ top-p 1.0
  • ใน การประเมินด้านการให้เหตุผลและความรู้ ได้ GPQA Diamond 93.5, CritPt 23.4, AA-LCR 74.7
    • HLE-Full ได้ 43.5 เมื่อไม่ใช้เครื่องมือ และ 56.0 เมื่อใช้เครื่องมือ
  • ใน การประเมินด้านโค้ด ได้ ProgramBench 77.8, Terminal-Bench 2.1 88.3, FrontierSWE 81.2
    • DeepSWE ได้ 67.5 บน Kimi Code harness และ 67.3 บน mini-SWE-agent harness
    • ได้ SWE-Marathon 42.0, PostTrainBench 36.6, MLS-Bench-Lite 48.3, SciCode 58.7, Kimi Code Bench 2.0 72.9
  • ใน การประเมินด้านเอเจนต์ ได้ BrowseComp 91.2, DeepSearchQA F1 95.0, ResearchRubrics 76.2
    • ได้ MCPMark-Verified 94.5, AutomationBench 30.8, SpreadsheetBench 2 34.8, OSWorld-Verified 84.8
    • วัดได้ Harvey Lab-AA 94.6, CorpFin v2 71.6, Finance Agent v2 54.4, Legal Research Bench 44.2
  • ใน การประเมินด้านวิชัน ได้ OmniDocBench 91.1, Video-MME 90.0, MMVU 82.1
    • MMMU-Pro ได้ 81.6 เมื่อไม่ใช้เครื่องมือ และ 83.4 เมื่อใช้เครื่องมือ
    • MathVision เพิ่มจาก 94.3 เป็น 97.8 เมื่อใช้ Python
    • ZeroBench pass@5 เพิ่มจาก 23.0 เป็น 41.0 เมื่อใช้เครื่องมือ

เงื่อนไขการประเมินและข้อจำกัดในการเปรียบเทียบ

  • โมเดลที่ใช้เปรียบเทียบมี Claude Fable 5, GPT-5.6 Sol, Claude Opus 4.8, GPT-5.5, GLM-5.2 แต่ ฮาร์เนสการประเมินอาจแตกต่างกันไปในแต่ละโมเดล
    • Kimi K3 ใช้ Kimi Code หรือ Claude Code เป็นหลัก
    • ตระกูล GPT ใช้ Codex เป็นหลัก ส่วน Claude และ GLM รุ่นอื่น ๆ ใช้ Claude Code หรือ Terminus 2 เป็นต้น
  • SWE-Marathon ประเมินบนบรันช์ที่ปรับงานตามสภาพแวดล้อม H20 โดยอิงงาน ณ วันที่ 9 กรกฎาคม 2026 ก่อน final v1.1
    • มีการปรับเทียบ Docker image, เกณฑ์ประสิทธิภาพ GPU และ reference oracle ใหม่สำหรับ H20 แต่ไม่เปลี่ยนตัวตรวจสอบความถูกต้องและการป้องกันการโกง
    • Claude Fable 5 มี fallback เกิดขึ้นใน 35% ของงาน จึงอาจส่งผลลบต่อประสิทธิภาพที่วัดได้
  • PostTrainBench เป็นค่าเฉลี่ยของผลลัพธ์ 3 ครั้งที่รันบน GPU H20 ด้วยความพยายามในการให้เหตุผลสูงสุด แทนสภาพแวดล้อมทางการที่ใช้ H100
  • Kimi Code Bench 2.0 รวมงานด้านความปลอดภัยไซเบอร์และความปลอดภัย
    • Claude Fable 5 มี fallback 13 ครั้งและปฏิเสธ 1 ครั้งจากทั้งหมด 80 งาน
    • GPT-5.6 Sol ปฏิเสธ 10 ครั้ง และ GPT-5.5 ปฏิเสธ 3 ครั้ง
  • BrowseComp 91.2 เป็นผลลัพธ์ที่ใช้กลยุทธ์บีบอัดคอนเท็กซ์ซึ่งทำงานที่ 300K โทเคน
    • หากใช้หน้าต่าง 1M โทเคนเต็มโดยไม่จัดการคอนเท็กซ์เพิ่มเติม จะได้ 90.4
  • การประเมินมัลติโมดัลใช้ค่าเฉลี่ย 3 ครั้ง ยกเว้น ZeroBench
    • ZeroBench รัน 5 ครั้งตามการตั้งค่าอย่างเป็นทางการ
    • PerceptionBench เป็นเบนช์มาร์กภายในที่ใช้วัดความสามารถการรับรู้ภาพในระดับอะตอม

การควอนไทซ์แบบเนทีฟ

  • ใช้ การฝึกแบบรับรู้การควอนไทซ์ ตั้งแต่ขั้น SFT
  • ใช้น้ำหนัก MXFP4 และค่า activation MXFP8 โดยมุ่งให้รองรับฮาร์ดแวร์ได้อย่างกว้างขวาง

การดีพลอยและวิธีรัน

  • สามารถเลือก kimi-k3 เพื่อเข้าถึง Kimi API ได้ และมี API ที่เข้ากันได้กับ OpenAI และ Anthropic
  • ใน Hugging Face Transformers สามารถโหลดด้วย pipeline("image-text-to-text", ...) หรือ AutoModel.from_pretrained(...)
    • หากต้องใช้โค้ดโมเดลแบบกำหนดเอง ต้องตั้งค่า trust_remote_code=True
  • รองรับการเสิร์ฟแบบโลคัลด้วย vLLM และ SGLang
    • ทั้งสองเอนจินสามารถจัดการคำขอข้อความและภาพผ่านเอนด์พอยต์ /v1/chat/completions ที่เข้ากันได้กับ OpenAI
  • ใน Docker Model Runner ให้รันด้วย docker model run hf.co/moonshotai/Kimi-K3
  • สามารถใช้โมเดลได้บน HuggingChat, Google Colab และ Kaggle เช่นกัน

วิธีใช้ API เพื่อคงสถานะการให้เหตุผล

  • Kimi K3 มี โหมดคิดเปิดใช้งานตลอดเวลา และจะส่งกลับ reasoning_content
  • ฟิลด์คำขอระดับบนสุด reasoning_effort รองรับ "low", "high", "max" โดยค่าปริยายคือ "max"
  • การสนทนาหลายเทิร์นและการเรียกใช้เครื่องมือต้องสอดคล้องกับแนวทางเก็บประวัติการคิดไว้
    • ต้องส่งข้อความ assistant ที่ API ส่งกลับมาใส่ใน messages ซ้ำกลับไปตามเดิม
    • ต้องรวมไม่เพียง content แต่รวมถึง reasoning_content และ tool_calls ด้วย
  • รายละเอียดเกี่ยวกับอินพุตวิชัน, structured output, partial mode, การเลือกเครื่องมือ, dynamic tool loading และ context caching ดูได้ที่ Kimi K3 Quickstart และ Thinking Effort

ใบอนุญาต

  • ทั้งรีโพโค้ดและน้ำหนักโมเดลเผยแพร่ภายใต้ Kimi K3 License

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
treestae 1 시간 전

หวังว่าจะมีผู้ให้บริการในประเทศนำมาให้ใช้บ้างนะครับ
 
GN⁺ 3 시간 전
ความเห็นจาก Hacker News

  • เมื่อมีการกำหนดราคากลางของบุคคลที่สามสำหรับโมเดล 3 ล้านล้านพารามิเตอร์ ก็น่าจะประเมินได้ว่าต้นทุนการให้บริการจริงเป็นเท่าไร และสถาบันวิจัยกำลังอุดหนุน API token อยู่หรือไม่
    เนื่องจากเป็น MXFP4 แบบเนทีฟ จึงต้องใช้ VRAM ราว 1.5TB ซึ่งแตะขีดจำกัดของ 8×B200 และหากคำนึงถึงการปรับบริบทและ throughput ให้เหมาะสมด้วย ก็ดูเหมือนว่าในทางปฏิบัติจะต้องใช้ 16 ใบ
    ในเบนช์มาร์กความมั่นคงปลอดภัยไซเบอร์ AISI ทำได้ดีกว่า GLM 5.2 แต่ยังห่างจากโมเดลปิดระดับล้ำสมัยมาก จึงอาจต้องมีการ fine-tune เพิ่มเติม และก็น่าสงสัยว่า Cursor อาจจะฝึกใหม่เพื่อให้เปรียบเทียบโดยตรงกับตระกูล Composer ซึ่งเป็นรุ่น fine-tune ของ Kimi 2.6/2.7 และ Grok 4.5 หรือไม่
    ยังน่าคาดหวังด้วยว่าอาจสร้างโมเดลขนาดเล็กผ่านknowledge distillationที่แท้จริงซึ่งเรียนรู้การกระจายความน่าจะเป็นทั้งหมด โดยเฉพาะ DSV4-Kimi ที่มีต้นทุนให้บริการต่ำดูมีอนาคตมาก

    • อยากรู้ว่าประสิทธิภาพการอนุมานแบบช้าที่ได้จากเซิร์ฟเวอร์ Xeon แบบ dual/quad socket ซึ่งมีแค่ RAM 1.5~3TB โดยไม่มี GPU จะเป็นอย่างไร หากเป็นงานระยะยาว 4~6 ชั่วโมง ต่อให้ได้เพียง 5~6 โทเคนต่อวินาทีก็อาจใช้งานได้แล้วขึ้นอยู่กับกรณี
      ถ้าจัด RAM 3TB ด้วยเซิร์ฟเวอร์ 4U มือสองและ ECC DIMM 64GB จำนวน 32 แถว ก็ยังต่ำกว่า 30,000 ดอลลาร์ ทำให้ต่างจากราคาเครื่อง GPU จริงมาก แม้ตอนนี้จะยังไม่มีน้ำหนักแบบ full precision หรือรุ่น quantized Q8/Q8-XL ของ Unsloth แต่หากจะใช้บริบทที่กว้างพอ ก็เหมือนจะต้องเกิน 1,536GB ไปเป็น 2TB และถ้าเป็นไปได้ควรมี 2.5~3TB
      Q4 และ Q6 มีแนวโน้มจะเป็นจุดประนีประนอมที่แย่ที่สุด เพราะทั้งเสียความรู้และความแม่นยำ แถมยังช้าและเชื่อถือได้ยาก ดังนั้นถ้าจะรันโมเดลที่ฉลาดแต่ช้าบนเครื่องงบจำกัด ก็มองว่าQ8เป็นสิ่งจำเป็น
    • ปัจจุบันการ fine-tune มักใช้ LoRA บนโมเดลฐานแบบ bnb 4-bit แต่ตอนนี้น่าจะถึงเวลาที่ต้องเปลี่ยนฟอร์แมตฐานเป็นGGUFแล้ว GGUF รองรับสถาปัตยกรรมโมเดลใหม่และการ quantization ที่หนักขึ้นอย่างต่อเนื่อง
      ได้ทำ proof of concept ไว้ที่ https://github.com/woct0rdho/transformers5-qwen3.5-recipe และสามารถ fine-tune Qwen3.5-35B-A3B ได้ด้วย VRAM 16GiB และ DeepSeek-V4-Flash 284B-A13B ได้ด้วย VRAM 90GiB โดยไม่ต้องทำ CPU offloading อีกทั้งยังทำงานได้ดีบนระบบ unified memory อย่าง Strix Halo
      ถึงอย่างนั้น โมเดลระดับ Kimi-K3 ก็ยังต้องใช้หลาย GPU และหลายโหนด จึงมีเรื่องให้แก้อีกมากกว่าแค่การฝึกบน GPU เดี่ยว
    • Anthropic และ OpenAI มีนวัตกรรมด้าน optimization ที่สถาบันวิจัยจีนไม่มี ดังนั้นราคานี้จึงแสดงได้เพียงเพดานบนของต้นทุน แต่ไม่ได้แสดงเพดานล่าง
    • เนื่องจากเป็นโมเดล MXFP4 แบบเนทีฟ จึงน่าสนใจในมุมฮาร์ดแวร์ด้วย เพราะใส่ในโหนด8×AMD MI355Xได้อย่างสบาย จึงอาจลดราคาต่อโทเคนลงได้อีก
    • ถ้าไม่รู้ต้นทุนการฝึก ก็ทำได้เพียงอนุมานต้นทุนส่วนเพิ่มของการให้บริการโมเดลแบบนี้เท่านั้น และไม่อาจรู้ได้ว่าสถาบันวิจัยกำลังอุดหนุน API token อยู่หรือไม่ อีกทั้งก็ไม่รู้ขนาดจริงของโมเดลปิด และไม่รู้ด้วยซ้ำว่า Fable เป็น 10 ล้านล้านหรือ 1 ล้านล้านพารามิเตอร์

  • ในการเปิดตัวครั้งนี้ ส่วนที่น่าสนใจกว่าราคามากคือการปรับแต่งให้เหมาะกับงาน สตาร์ตอัปก็สามารถดาวน์โหลดน้ำหนักโมเดลไปแก้ไขและ fine-tune ได้ และข้อได้เปรียบที่แท้จริงไม่ได้อยู่ที่ต้นทุน แต่อยู่ที่ประสิทธิภาพบนข้อมูลของบริษัทเองและอธิปไตยด้านทรัพย์สินทางปัญญา ถือเป็นความสำเร็จครั้งใหญ่ของทีม Kimi

  • รู้สึกว่าฮาร์ดแวร์สำหรับบุคคลทั่วไปที่อยากรัน LLM ถูกจัดวางมาแบบไม่เหมาะกับงาน ต้องทนใช้ unified memory ที่ได้ 5~10 โทเคนต่อวินาที หรือไม่ก็ต้องไปใช้การ์ดดาต้าเซ็นเตอร์ที่กิน VRAM หลายร้อย GB และใช้ไฟเกิน 1kW
    ไม่มี GPU กึ่งมืออาชีพที่มี TDP 180~250W พร้อม VRAM 128GB หรือ 256GB ทั้งที่ถ้ามีการ์ดแบบนี้สักสองใบและมีการเชื่อมต่อระดับ NVLink ที่ใช้กันทั่วไป ก็น่าจะมีประโยชน์มาก การรัน Kimi K3 แบบโลคัลคงต้องใช้โฮมแล็บและงบประมาณมหาศาล แต่ถ้ารัน GLM 5.2 ได้ราว 100 โทเคนต่อวินาทีในเซสชันเดียว และราว 60 โทเคนต่อวินาทีเมื่อใช้ sub-agent หลายตัว ก็คงดีมาก

    • โมเดลใหญ่แบบ Q8ที่ต้องการนั้นใส่ในระบบราคา 3,995 ดอลลาร์ที่มี RAM สูงสุด 128GB ไม่ได้ และก็ไม่สามารถเผื่อพื้นที่บริบทที่ใช้งานได้จริงด้วย Qwen 3.5 122B Q8, DeepSeek V4 Flash Q8, Laguna S 2.1 Q8 ต้องใช้ RAM 170~190GB เมื่อรวมบริบททั้งหมด จึงพอใส่ในเวิร์กสเตชันหรือเซิร์ฟเวอร์ dual socket 256GB ที่ไม่มี GPU ได้
      ค่าที่วัดจากการรัน llama-server รุ่นล่าสุดด้วย --no-mmap คาดว่า DeepSeek-V4-Flash Q4_K_XL ใช้ 178,175MiB, Q8_K_XL ใช้ 184,636MiB, Laguna-S-2.1 Q8_K_X ใช้ 172,860MiB และ Qwen3.5-122B-A10B Q8_K_XL ใช้ 170,038MiB
    • การอนุมาน LLM สำหรับผู้ใช้คนเดียวไม่เหมาะกับฮาร์ดแวร์ผู้บริโภคทั่วไปเป็นพิเศษ ภาระงานมาเป็นช่วง ๆ แต่ตัวน้ำหนักโมเดลต้องอยู่ในหน่วยความจำตลอด ดังนั้นเซิร์ฟเวอร์หลายผู้ใช้ที่คงน้ำหนักไว้และเพิ่มเฉพาะ KV cache ตามผู้ใช้จึงมีประสิทธิภาพกว่ามาก และยังช่วยไม่ให้คอร์ GPU ราคาแพงว่างงานเกือบตลอดเวลา
      ตรงข้ามกับงานเดสก์ท็อปที่แม้จะมาเป็นช่วง ๆ เช่นกัน แต่กำลังประมวลผลที่ต้องการกลับมีราคาถูกพอแล้ว จนสามารถวางเครื่องที่แรงเกินความจำเป็นไว้บนโต๊ะได้แม้ในช่วง idle
    • หลังยุคบูมคริปโต ผู้ผลิต GPU เริ่มแบ่งตลาดด้วย VRAMเพื่อทำ price discrimination Nvidia จำกัดหน่วยความจำของการ์ดผู้บริโภคให้ต่ำเพื่อป้องกันไม่ให้ผู้ให้บริการคลาวด์กว้านซื้อไปใช้ และสามารถขายฮาร์ดแวร์ที่โดยเนื้อแท้แทบเหมือนกันให้ตลาดพีซีกับดาต้าเซ็นเตอร์ในราคาที่ต่างกันมาก จึงกินกำไรได้ทั้งสองฝั่ง
    • รู้สึกว่าโมเดลกำลังใหญ่ขึ้นเรื่อย ๆ และกำลังเดินไปในทิศทางตรงข้ามกับการปฏิวัติพีซี ยิ่งดูไม่ยุติธรรมเมื่อห้องแล็บแถวหน้าปล่อยแต่โมเดลปิด เปิดข้อยกเว้นแค่ gpt-oss ระดับหนึ่ง ทำให้การรันโมเดลเปิดยากขึ้น แต่ก็ยังพูดถึงการทำให้เป็นประชาธิปไตย
    • การรัน LLM แบบนี้ที่บ้านคงยากจะใช้งานได้จริง เว้นแต่จะมีการทะลุข้อจำกัดด้านการออกแบบ วิธีที่สมเหตุสมผลมีเพียงประมวลผลเป็นแบตช์ใหญ่บนฮาร์ดแวร์ที่ใช้ร่วมกัน
      ถ้ามีเงินซื้อ GPU ราคาหลายพันดอลลาร์ได้ ก็คงซื้อในฐานะคนคลั่งเทคที่มีฐานะ แต่ก็ต้องยอมรับว่ามันเป็นความฟุ่มเฟือยที่ไร้ประสิทธิภาพอย่างยิ่งเหมือนรถสปอร์ต เรื่องที่น่าเศร้าจริง ๆ คือเราไม่มีทั้งเทคโนโลยีคอมพิวติ้งหรือสถาบันทางการเมืองและสังคมที่จะบริหารฮาร์ดแวร์ใช้ร่วมกันได้อย่างน่าเชื่อถือ

  • ตามเงื่อนไขไลเซนส์ หากผู้ถือไลเซนส์หรือบริษัทในเครือดำเนินธุรกิจ model-as-a-service และมีรายได้รวมตลอด 12 เดือนต่อเนื่องเกิน 20 ล้านดอลลาร์ จะต้องทำสัญญาแยกกับ Moonshot AI ก่อนนำซอฟต์แวร์หรือผลงานดัดแปลงไปใช้เชิงพาณิชย์

    • ดูคล้ายแนวทางที่ Meta เคยใช้กับ Llama รุ่นแรก ๆ นอกจากนี้ยังมีข้อกำหนดว่าหากใช้ซอฟต์แวร์หรือผลงานดัดแปลงในผลิตภัณฑ์หรือบริการเชิงพาณิชย์ที่มีผู้ใช้ต่อเดือนเกิน 100 ล้านคน หรือมีรายได้ต่อเดือนเกิน 20 ล้านดอลลาร์ ต้อง แสดง Kimi K3 ให้เห็นเด่นชัด ในส่วนติดต่อผู้ใช้ด้วย ซึ่งเป็นการตลาดที่ชาญฉลาด

  • ใช้งานได้ที่ https://app.fireworks.ai/models/fireworks/kimi-k3 โดยมีราคา 3 ดอลลาร์ต่อ 1 ล้านโทเค็นสำหรับ input ที่ไม่แคช, input ที่แคชแล้ว 0.30 ดอลลาร์ และ output 15 ดอลลาร์

    • แพ็กเกจ Kimi priority ของ Fireworks ก็มีบน OpenRouter ที่ 3.75 ดอลลาร์ต่อ 1 ล้านโทเค็น: https://openrouter.ai/moonshotai/kimi-k3#providers
      ตอนนี้ latency ต่ำกว่า Moonshot มาก แต่ปริมาณการใช้งานก็น้อยกว่ามากเช่นกัน จึงต้องรอดูว่าจะรักษาระดับนี้ไว้ได้หรือไม่ ถึงอย่างนั้นการ เปิดให้ใช้งานในวันเดียวกันกับที่ปล่อย ก็น่าประทับใจ
    • Claude Opus 5 มีราคา input ที่ไม่แคช 5 ดอลลาร์, input ที่แคชแล้ว 0.50 ดอลลาร์, output 25 ดอลลาร์ และยังมีค่าใช้จ่ายเพิ่มสำหรับการเขียนแคชอีก 25% ในกรอบ 5 นาที และ 100% ในกรอบ 1 ชั่วโมง
    • Fireworks ทำให้เราเปิดให้ผู้ใช้บนแพลตฟอร์มของเราใช้งานได้ภายในไม่กี่ชั่วโมงหลังเปิดตัว แต่ก็น่าเสียดายที่เลิกให้บริการ Flux model แบบ on-demand ไปแล้ว ตอนนี้เลยไม่รู้จะไปสร้างภาพที่ไหน
    • ใช้งานได้บน Together.ai ในราคาขายเท่ากัน และ Fireworks กับ Together คือสองที่แรกที่ตรวจสอบ

  • เพราะการแข่งขัน ราคา GLM 5.2 ลดลงราว 45% ภายในประมาณ 1.5 เดือนหลังเปิดตัววันที่ 16 มิถุนายน และตอนนี้ผู้ให้บริการรายใหม่ก็ยังแข่งขันด้านราคาอยู่: https://openrouter.ai/z-ai/glm-5.2#providers
    ในทางเศรษฐศาสตร์ ราคาไม่ได้ห้ามต่ำกว่าต้นทุนรวม แต่ห้ามต่ำกว่าต้นทุนส่วนเพิ่ม และสำหรับดาต้าเซ็นเตอร์ที่มีอัตราการใช้งาน GPU ต่ำ สิ่งนี้ก็ประมาณได้ว่าเป็นค่าไฟฟ้า คาดว่าเพราะกำลังการผลิตส่วนเกินของดาต้าเซ็นเตอร์ขนาดเล็กและการแข่งขัน อีกไม่นานอาจมีที่ขายโทเค็นต่ำกว่าระดับที่รวมค่าไฟฟ้ากับค่าเสื่อมราคา GPU เข้าด้วยกัน

    • อาจเป็นโครงสร้างที่ขายโทเค็นราคาถูก แล้วนำ ข้อมูลโทเค็น ของผู้ใช้ไปขายต่อที่อื่น
    • ตัวเลขลดลง 45% น่าสงสัย ผู้ให้บริการราคาถูกบน OpenRouter ใช้ FP4 ต่างจาก Z.ai ทางการที่ใช้ FP8 แม้จะมีผู้ให้บริการ FP8 ราคาถูกอย่าง Novita แต่ใน UI ดูเหมือนเป็นส่วนลดชั่วคราว และราคาปกติก็แทบเท่ากับ Z.ai ทางการ
    • SemiAnalysis ประเมินต้นทุนของโมเดลขนาดราว 2 ล้านล้านพารามิเตอร์ไว้ที่ ต่ำกว่า 1 ดอลลาร์ต่อ 1 ล้านโทเค็น แม้จะขึ้นอยู่กับ throughput และ quantization แต่ถ้าต้นทุนของผู้ให้บริการรายใหญ่ต่ำพอ แม้แต่ราคาต่ำสุดปัจจุบันของ GLM 5.2 ที่ 2.42 ดอลลาร์ก็ยังอาจทำกำไรได้มาก

  • บน Hugging Face พอถามว่า “Tell me about yourself” แล้ว Kimi K3 ตอบว่าตัวเองคือ Claude ที่สร้างโดย Anthropic ซึ่งก็น่าสนใจ

    • เมื่อถามคำถามเดียวกันอีกครั้ง ก็กลับตอบตามปกติว่าเป็น “Kimi ที่พัฒนาโดย Moonshot AI”
    • คำตอบแบบนี้ไม่ได้มีความหมายมากนัก ถ้าถาม Opus ด้วยภาษาจีนด้วยคำถามเดียวกัน มันก็บางครั้งตอบว่าตัวเองคือ DeepSeek เช่นกัน เพราะข้อมูลฝึกปะปนกันและโมเดลก็เกิดอาการหลอนได้
    • ไม่ใช่เรื่องน่าแปลกใจ การกลั่นความรู้ เป็นเรื่องปกติ และทุกแล็บก็ใช้ไม่ทางใดก็ทางหนึ่ง ไม่ว่าจะตั้งใจหรือไม่ก็ตาม เพราะคอร์ปัสสำหรับการฝึกหลังยุค ChatGPT ย่อมมีคอนเทนต์ที่สร้างโดย AI ปนอยู่เสมอ

  • แนะนำให้ ดาวน์โหลดเก็บรักษา โมเดลระดับแนวหน้าไว้ แม้จะ 1.5TB ก็ควรเก็บลงดิสก์ราคาถูกและ seed torrent ไว้ จะมีประโยชน์กว่า
    เหมือนที่ในอดีตเคยพยายามควบคุมอัลกอริทึมการเข้ารหัส โมเดลก็อาจถูกปิดกั้นด้วยกฎระเบียบได้ และซอฟต์แวร์ที่เปิดเผยสู่สาธารณะจะอยู่รอดได้ก็ต่อเมื่อถูกแจกจายอย่างกว้างขวาง เมื่อเวลาผ่านไป การลงทุนมหาศาลในเทคนิคและการผลิตฮาร์ดแวร์น่าจะทำให้การรันจริงเป็นไปได้ในระดับที่จับต้องได้ แต่ถ้าตอนนั้นการแจกจายกลายเป็นสิ่งผิดกฎหมายและต้องจ่ายต้นทุนจาก regulatory capture ก็คงน่าเสียดาย

    • ไฟล์ torrent อยู่ที่ https://terminalbytes.com/kimi-k3-torrent/Kimi-K3.torrent
      ส่วน magnet คือ magnet:?xt=urn:btih:1e63a865fbf9b58decc8b71091db54d673c5da6f&dn=Kimi-K3&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A6969%2Fannounce&tr=udp%3A%2F%2Fopen.stealth.si%3A80%2Fannounce&tr=udp%3A%2F%2Fexplodie.org%3A6969%2Fannounce&tr=udp%3A%2F%2Ftracker.torrent.eu.org%3A451%2Fannounce&tr=udp%3A%2F%2Fexodus.desync.com%3A6969%2Fannounce
    • สุดท้ายแล้วทางการน่าจะไปจำกัดตั้งแต่การ ซื้อฮาร์ดแวร์ สำหรับรันโมเดลเหล่านี้
    • ตอนนี้ก็ไม่มีดิสก์ราคาถูกแล้ว และก็ไม่อยากจ่ายเงินหลายร้อยดอลลาร์เพราะความกังวลเรื่องกฎระเบียบที่ยังคลุมเครือ

  • หลังตรวจสอบไลเซนส์และลองบนฮาร์ดแวร์จริงแล้ว ดูเหมือนว่าผู้ให้บริการจะขายถูกกว่าราคา Moonshot ได้ถึง 60~70% ค่อนข้างยาก อาจลดได้บ้างเล็กน้อย แต่ถ้าไม่ยอมแลกด้วยความเร็วประมวลผลที่ลดลงมาก ก็คงทำส่วนลดระดับเดียวกับ GLM ได้ยาก
    ประเมินว่า margin ของ Kimi อยู่ราว 40~50% แม้จะสมมติว่าเช่า GPU ในราคาสูง และถ้าใช้เครื่องของตัวเองก็อาจสูงกว่านี้ แต่ก็คงไม่ถึง margin มากกว่า 90% ของ Anthropic ที่บางคนคาดกันไว้ และแม้แต่ตัวเลข margin 80% ของ Anthropic API ก็ยังน่าสงสัย
    ถ้าต้นทุนมีแค่ค่าไฟ 80~90% ก็อาจเป็นไปได้ แต่เมื่อดูจำนวนโทเค็นต่อวินาทีที่ให้บริการอยู่ตอนนี้แล้วก็ดูไม่ง่าย ทดสอบแค่บน B200 และหา B300 ไม่ได้ อีกทั้งโมเดลก็ถูก quantize มาแล้ว และก็ไม่ได้ใช้บริบท 1 ล้านโทเค็น จึงดูเหลือช่องให้ optimize หน่วยความจำได้ทันทีไม่มากนัก ถ้ามีใครที่เข้าถึง R100 ได้ช่วยตรวจสอบต้นทุนก็คงดี
    ผู้ให้บริการรายใหญ่ต้องทำสัญญากับ Kimi ดังนั้นตราบใดที่ Kimi ยังเป็นโมเดลเปิดที่ดีที่สุด ก็คงยากจะคาดหวังส่วนลดแรง ๆ

  • สงสัยว่าลิงก์ต้นฉบับตอบกลับเป็น 404 เพราะถูกบล็อกหรือถูกเซ็นเซอร์ภายในเองหรือไม่

    • เมื่อไม่กี่นาทีก่อนยังมีหน้าตัวนับถอยหลังสำหรับการเปิดเผย weights อยู่ และเหลืออีก 19 นาทีจะสิ้นสุด แต่จู่ ๆ ก็กลายเป็น 404
    • มีความเป็นไปได้สูงว่าเป็นปัญหาทางเทคนิคระหว่างกระบวนการเปลี่ยนผ่าน แม้แทบจะไม่มีใครรันได้จริง แต่ถ้ามีผู้ใช้จำนวนมากดาวน์โหลดโมเดลขนาดหลาย TB จาก Hugging Face พร้อมกัน ก็ชวนให้สนใจว่าจะเกิดอะไรขึ้นกับ Hugging Face
      น่าจะมีความต้องการเก็บสำรองไว้เผื่อกรณีที่มันหายไปกะทันหันเพราะการควบคุมของภาครัฐ ช่วงหลังจีนเองก็เริ่มพูดถึง การควบคุมการส่งออกโมเดล และตอนนี้สถานการณ์ก็เปลี่ยนไปแล้ว เพราะเริ่มปล่อยโมเดลระดับแนวหน้ามาแล้ว ไม่ใช่โมเดลที่ตามหลัง
    • ฟังดูอาจเหมือนทฤษฎีสมคบคิด แต่ก็เป็นโอกาสที่ดีให้สหรัฐหรือจีนแสดงอิทธิพลของตัวเอง และดูมีแนวโน้มว่าจะเป็นฝั่งสหรัฐมากกว่า