Inkling: โมเดลโอเพนเวตจาก Thinking Machines Lab

• Inkling ที่ฝึกขึ้นใหม่ตั้งแต่ต้นและเปิดเผยน้ำหนักทั้งหมด เป็น MoE Transformer ที่มีพารามิเตอร์รวม 975B และพารามิเตอร์ที่ทำงานจริง 41B รองรับบริบทได้สูงสุด 1M โทเค็น และรองรับการให้เหตุผลจากข้อความ·ภาพ·เสียง
• ผ่านการพรีเทรนด้วยโทเค็น 45 ล้านล้านจากข้อความ·ภาพ·เสียง·วิดีโอ และให้ความสำคัญกับ ความอเนกประสงค์และการปรับแต่งได้ ในงานเอเจนต์ การให้เหตุผล การเขียนโค้ด การทำตามคำสั่ง และความถูกต้องเชิงข้อเท็จจริง มากกว่าการไล่คะแนนบนเบนช์มาร์กเฉพาะบางตัว
• สามารถปรับระดับความพยายามในการให้เหตุผลได้ในช่วง 0.2~0.99 เพื่อบาลานซ์ต้นทุน·เวลาแฝงกับประสิทธิภาพ และใน Terminal Bench 2.1 ให้ผลงานระดับเดียวกับ Nemotron 3 Ultra โดยใช้โทเค็นเพียงประมาณ หนึ่งในสาม
• แม้ยังไม่ใช่โมเดลที่ทรงพลังที่สุดทั้งในกลุ่มโอเพนหรือปิด แต่ตั้งเป้าเป็นฐานโอเพนเวตที่ผสานความสามารถมัลติโมดัล การให้เหตุผลอย่างมีประสิทธิภาพ การฟाइनจูนด้วย Tinker และเครื่องมือด้านการให้เหตุผล·การดีพลอยที่หลากหลาย
• Inkling-Small พรีวิว ที่เปิดตัวพร้อมกัน มีพารามิเตอร์รวม 276B และพารามิเตอร์ที่ทำงานจริง 12B ทำผลงานได้ใกล้เคียงหรือดีกว่าโมเดลใหญ่ในหลายการประเมิน และมีแผนจะเปิดเผยน้ำหนักทั้งหมดหลังทดสอบเสร็จ

---

โมเดลอเนกประสงค์ที่เปิดเผยน้ำหนักทั้งหมด

• Thinking Machines Lab เปิดเผย น้ำหนักทั้งหมดของ Inkling ซึ่งฝึกขึ้นใหม่ตั้งแต่ต้น เพื่อให้ผู้คนสามารถปรับแต่งโมเดล AI ได้โดยตรง
• Inkling เป็น Mixture-of-Experts Transformer ที่มี พารามิเตอร์รวม 975B โดยมี 41B ที่ถูกเปิดใช้งานต่อโทเค็น
  • หน้าต่างบริบทสูงสุดคือ 1M โทเค็น
  • พรีเทรนด้วยโทเค็น 45 ล้านล้านจากข้อความ·ภาพ·เสียง·วิดีโอ
  • ให้เหตุผลร่วมกันจากอินพุตข้อความ·ภาพ·เสียงเป็นค่าเริ่มต้น
• โมเดลนี้ถูกฝึกให้เป็น โมเดลฐานที่สมดุล ครอบคลุมงานเอเจนต์ การให้เหตุผล การเขียนโค้ด การทำตามคำสั่ง ความถูกต้องเชิงข้อเท็จจริง วิชัน และเสียง แทนการโฟกัสเฉพาะด้านใดด้านหนึ่ง
• ไม่ใช่โมเดลที่ทรงพลังที่สุดเมื่อเทียบรวมทั้งโมเดลเปิดและปิด และตั้งเป้าเป็นโมเดลฐานสำหรับการปรับแต่งที่ผสานความสามารถมัลติโมดัล การให้เหตุผลอย่างมีประสิทธิภาพ และการฟाइनจูนด้วย Tinker
• นี่คือรีลีสแรกของตระกูลโมเดลที่จะขยายไปหลายขนาด และยังเปิดพรีวิว Inkling-Small ที่เบากว่าควบคู่กันด้วย
• สามารถฟाइनจูน Inkling ได้โดยตรงใน Tinker และพูดคุยกับโมเดลใน Inkling Playground ของ Tinker console เพื่อดูคุณลักษณะของโมเดลได้
• ในเดโมการปรับแต่ง Inkling ใช้ Tinker เพื่อ เขียน·รัน·ประเมินงานฟाइनจูนของตัวเอง และทำงานภายใน OpenCode harness

เอเจนต์อเนกประสงค์และการสร้างผลลัพธ์

• ให้ความสำคัญกับ ประสิทธิภาพงานที่กว้างขวาง มากกว่าผลงานสูงสุดในสาขาเดียว เพื่อให้สามารถฟाइनจูนให้เข้ากับเวิร์กโฟลว์และผลิตภัณฑ์ที่หลากหลายได้
• ระหว่างการฝึกด้านโค้ดและ agent harness มีการสุ่มชุดเครื่องมือและสคีมาเพื่อลดความไวต่อ harness ใด harness หนึ่ง
  • สามารถตั้งค่าระดับความพยายามในการให้เหตุผลภายใน harness ได้ด้วย
  • ทำคะแนนได้แข่งขันได้ในหมวดโมเดลโอเพนเวตบน agent benchmark ส่วนใหญ่
• ด้วยพรอมป์ครั้งเดียว สามารถสร้างเว็บแอปสมัครงาน และฝัง เอเจนต์ใช้งานเบราว์เซอร์ ลงในแอปเพื่อกรอกฟอร์มจากโปรไฟล์ที่บันทึกไว้ตามคำสั่งภาษาธรรมชาติ
• อยู่ในกลุ่มโมเดลโอเพนเวตที่แข็งแกร่งบนลีดเดอร์บอร์ด Agentic Web Dev ของ Design Arena ซึ่งเปรียบเทียบเว็บแอปที่สร้างขึ้นแบบ blind one-to-one
• สร้าง ผลลัพธ์หลายหน้า เช่น PDF journal เรื่องอาหารและการเดินทางยาว 9 หน้า โดยทำตามคำสั่งได้แม่นยำและคงสไตล์อย่างสม่ำเสมอ
• ปรับปรุงเกม Snake แบบมัลติเพลเยอร์ออนไลน์ที่มีเซิร์ฟเวอร์·บอต·ลีดเดอร์บอร์ดแบบเรียลไทม์ โดยนำฟีดแบ็กจาก GPT Codex ที่ทำหน้าที่ผู้รีวิวไปใช้ 40 รอบ
  • มองว่าความสามารถในการรักษาวงจรการปรับปรุงซ้ำที่ยาวนานและพัฒนาผลงานจากฟีดแบ็กคือแกนสำคัญของงานแบบร่วมมือกัน

ความพยายามในการให้เหตุผลที่ปรับต้นทุนและประสิทธิภาพได้

• ในแอปพลิเคชันจริง ไม่ได้มีแค่ประสิทธิภาพสูงสุดเท่านั้นที่เป็นข้อจำกัด แต่ยังมี ต้นทุนโทเค็นและเวลาแฝง โดยเฉพาะเวลาแฝงต่ำที่สำคัญต่อการร่วมมือและการปรับปรุงแบบวนซ้ำ
• สามารถ ปรับระดับความพยายามในการให้เหตุผลในช่วง 0.2~0.99 เพื่อเลือกสมดุลระหว่างประสิทธิภาพกับจำนวนโทเค็นที่สร้าง
• มีการเปรียบเทียบประสิทธิภาพและโทเค็นที่สร้างเฉลี่ยตามระดับ effort บน Terminal Bench 2.1, Humanity’s Last Exam(HLE), IFBench
  • ใน Terminal Bench 2.1 ทำประสิทธิภาพได้ระดับเดียวกับ Nemotron 3 Ultra โดยใช้โทเค็นเพียงประมาณหนึ่งในสาม
  • ผล HLE วัดจากเช็กพอยต์ก่อนรีลีสสุดท้าย จึงต่ำกว่าโมเดลสุดท้ายเล็กน้อย
• เมื่อต้องเรียกใช้โมเดลหลายล้านครั้งหรือใส่ไว้ในเวิร์กโฟลว์ยาว ๆ สามารถเลือกการตั้งค่าตาม use case จาก เส้นโค้งต้นทุน·ประสิทธิภาพโดยรวม แทนที่จะดูแค่คะแนนสูงสุดจุดเดียว

สถาปัตยกรรมมัลติโมดัลแบบเนทีฟที่ไม่มีเอนโค้ดเดอร์

• โมเดลนี้ถูกฝึกให้เป็นมัลติโมดัลตั้งแต่ต้น เพื่อใช้เป็นโมเดลให้เหตุผลเบื้องหลังสำหรับ interaction models system ที่รองรับการทำงานร่วมกันด้านเสียงและวิชันแบบเรียลไทม์
• ทั้งวิชันและเสียงใช้ สถาปัตยกรรมไร้เอนโค้ดเดอร์ โดยไม่มีเอนโค้ดเดอร์แยกต่างหาก
  • เสียงรับเข้าผ่าน dMel spectrogram
  • ภาพถูกเข้ารหัสเป็นแพตช์ 40×40 พิกเซลด้วย hMLP 4 ชั้น โดยอิงการออกแบบจาก งานวิจัยที่เกี่ยวข้องกับ Vision Transformer
  • อินพุตทั้งสองจะผ่านชั้น embedding แบบเบาก่อน แล้วจึงประมวลผลร่วมกับโทเค็นข้อความ
• ในด้านเสียง รองรับการถอดเสียง การทำตามคำสั่งเสียง การถามตอบจากไฟล์บันทึก และการให้เหตุผลกับเสียงระยะยาว
  • ที่ effort=0.99 ทำได้ Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
  • จัดอยู่ในกลุ่มโมเดลเสียงโอเพนเวตที่แข็งแกร่งตามเกณฑ์ VoiceBench·MMAU·Audio MC
• ในด้านวิชัน ทำได้ไม่ใช่แค่การบรรยายภาพและถามตอบ แต่รวมถึงการให้เหตุผลเชิงภาพกับกราฟ·ไดอะแกรม·คณิตศาสตร์
  • MMMU Pro Standard 10 อยู่ที่ 73.5%, Charxiv RQ อยู่ที่ 78.1%
  • หากใช้การจัดการภาพอย่างการซูมและครอปด้วย Python ค่า Charxiv RQ จะเพิ่มเป็น 82.0%
• มีแผนจะขยายความสามารถมัลติโมดัลต่อไปในโมเดลรุ่นถัดไปและในไปป์ไลน์การฝึก

การคาลิเบรตความมั่นใจและการจัดการความไม่แน่นอน

• epistemics ของ Inkling เป็นแนวคิดที่ครอบคลุมทั้งการคาลิเบรตระดับความมั่นใจ การทำตามคำสั่ง และความต้านทานต่อการเซ็นเซอร์
• หากโมเดลแสดงความมั่นใจเกินจริงกับทุกคำตอบ ผู้ใช้ก็ต้องคอยตรวจสอบเองแม้ในกรณีที่ข้อมูลไม่พอหรือมีการแต่งข้อมูลขึ้นมา จึงฝึกการคาลิเบรตเชิงความน่าจะเป็นด้วย reinforcement learning ที่ใช้เกณฑ์ให้คะแนนเหมาะสมกับคำถามจริงที่มีคำตอบแล้ว
• ผลการประเมินเชิงพยากรณ์ระหว่างวันที่ 30 มิถุนายน 2026 ถึง 13 กรกฎาคม 2026 ซึ่งใช้เช็กพอยต์ที่ต่างจากเวอร์ชันสาธารณะ มีดังนี้
  • ForecastBench Brier Index แบบไม่ใช้การค้นหาอยู่ที่ 61.1±0.79 และเมื่อใช้การค้นหาอยู่ที่ 63.7±0.82
  • Prophet Arena Brier Score อยู่ที่ 0.1617 และยิ่งต่ำยิ่งดี
• สำหรับการทำตามคำสั่งในคำถามซับซ้อนที่ตรวจสอบยาก ใช้ตัวประเมินอัตโนมัติ 2 แบบคือ rubric grader และ claims grader
  • rubric grader ประเมินรายการตรวจสอบขององค์ประกอบที่คำตอบที่ดีควรมี แต่เปราะบางต่อวิธีทำคะแนนด้วยการพ่นข้อเท็จจริงจำนวนมากที่ดูเหมือนเกี่ยวข้อง
  • claims grader ใช้การค้นหาเว็บแบบเอเจนต์เพื่อตรวจสอบแต่ละข้ออ้างเชิงข้อเท็จจริง และหักคะแนนข้ออ้างที่ยืนยันไม่ได้
  • ใช้ตัวประเมินทั้งสองร่วมกันเพื่อเพิ่มความเป็นประโยชน์พร้อมลดอาการหลอน
• ยังใช้ข้อมูลถามตอบข้อเท็จจริงแบบสั้นที่มีการใช้ abstention-aware rewards เพื่อฝึกความไม่แน่นอนที่คาลิเบรตแล้วโดยตรงในคำตอบยาว
  • จะให้รางวัลเมื่อมีแนวโน้มว่าคำตอบถูกเท่านั้น และหากไม่แน่ใจ การตอบว่า “ไม่ทราบ” หรือเดาแบบมีเงื่อนไขจะได้เปรียบกว่า
  • บางพรอมป์สนับสนุนหรือห้ามการใช้ถ้อยคำแสดงการสงวนท่าที เพื่อให้สอดคล้องกับความต้องการของผู้ใช้ระหว่างการเดาแบบบังคับกับการไม่ตอบอย่างมีการคาลิเบรต
• โมเดลยังถูกฝึกให้ตอบโดยตรงในหัวข้อที่อาจถูกเซ็นเซอร์ และแสดงรูปแบบการไม่ยอมตามการเซ็นเซอร์อย่างชัดเจนในการประเมิน Propaganda and Censorship Eval ของ Cognition

การประเมินความสามารถเสี่ยงและพฤติกรรมความปลอดภัย

• หลังฝึกด้วยข้อกำหนดพฤติกรรมความปลอดภัยภายในที่ใช้กับทุกรูปแบบอินพุตแล้ว ยังมีการตรวจสอบผลผ่าน ผู้ประเมินความปลอดภัยภายนอก
• การประเมินความสามารถเสี่ยงครอบคลุม CBRN, ไซเบอร์, การสูญเสียการควบคุม และภัยคุกคามระหว่างมนุษย์กับ AI เช่น แนวโน้มประจบผู้ใช้ ผู้ใช้เปราะบาง และการชักจูงที่เป็นอันตราย
• ผลการประเมินความปลอดภัยหลักที่ effort=0.99 มีดังนี้
  • FORTRESS Adversarial 78.0%
  • FORTRESS Benign 95.9%
  • StrongREJECT 98.6%
• เมื่อเทียบกับโมเดลโอเพนเวตที่ใช้เปรียบเทียบ พบว่ามีมาตรการป้องกันในตัวที่แข็งแกร่งที่สุดบน FORTRESS โดยปฏิเสธคำขออันตรายที่เกี่ยวกับอาวุธ·ความรุนแรงได้มากขึ้น ขณะเดียวกันลดการปฏิเสธเกินจำเป็นในคำขอปกติที่ดูคล้ายกัน
• ใน StrongREJECT ซึ่งวัดการปฏิเสธคำขอที่อันตรายอย่างชัดเจน ทำได้เกิน 98% ใกล้เคียงกับโมเดลเปิดและปิดอื่น ๆ
• สำหรับโมเดลที่ปรับแต่งเฉพาะ ยังจะศึกษาต่อว่าการฟाइनจูนมีผลต่อพฤติกรรมความปลอดภัยและการเพิ่มความสามารถอย่างไร

เบนช์มาร์กทั้งหมดและเงื่อนไขการวัด

• การประเมินพื้นฐานทั้งหมดรันด้วย effort=0.99, temperature=1.0 และใช้ข้อจำกัดเส้นทางการทำงานสูงสุด 256K โทเค็นสำหรับการประเมินการเขียนโค้ด
• สำหรับ HLE, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience, MMMU Pro ใช้คะแนนที่ Artificial Analysis รายงานจากภายนอกเมื่อทำได้
• คะแนนตัวแทนของ Inkling มีดังนี้
  • การให้เหตุผล: HLE แบบข้อความล้วน 29.7%, ใช้เครื่องมือ 46.0%, AIME 2026 97.1%, GPQA Diamond 87.2%
  • agent coding: SWEBench Verified 77.6%, SWEBench Pro Public 54.3%, Terminal Bench 2.1 63.8%
  • เอเจนต์ทั่วไป: GDPVal-AA v2 1238, MCP Atlas 74.1%, Tau 3 Banking 23.7%, BrowseComp พร้อมการจัดการบริบท 77.1%
  • ความถูกต้องเชิงข้อเท็จจริง·บทสนทนา: SimpleQA Verified 43.9%, AA Omniscience 2.1, IFBench 79.8%, Global-MMLU-Lite 88.7%
  • วิชัน·เสียง: MMMU Pro 73.5%, Charxiv RQ พร้อมใช้ Python 82.0%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
• เมื่อตีความผลลัพธ์ ควรคำนึงถึง ความแตกต่างของเงื่อนไขการประเมิน ดังนี้
  • ผลของ Inkling บน SWEBench Verified วัดด้วย harness แบบ bash-only ขณะที่โมเดลภายนอกใช้คะแนนที่รายงานโดยผู้พัฒนาเอง
  • Terminal Bench 2.1 วัดด้วย internal coding harness และกรณีจำนวนน้อยที่พบการปนเปื้อนคำตอบจากการค้นเว็บถูกให้ 0 คะแนน
  • VoiceBench ใช้วิธีจับคู่สตริงแบบฮาร์ดโค้ดซึ่งไวต่อรูปแบบเอาต์พุต จึงเพิ่ม system message ให้ทำตามรูปแบบคำตอบที่คาดไว้
  • โมเดลเปรียบเทียบบางตัวใน Audio MC ไม่อยู่บนลีดเดอร์บอร์ดทางการ จึงประเมินภายใน
  • Claude Fable 5 และ GPT 5.6 Sol บน CharXiv RQ พร้อมใช้ Python วัดด้วย internal Python harness

สถาปัตยกรรม MoE สำหรับบริบทยาว

• โครงสร้าง MoE ของ Inkling โดยรวมอิง DeepSeek-V3 แต่ปรับเปลี่ยนเพื่อประสิทธิภาพและสมรรถนะกับบริบทยาว
• ในแต่ละชั้น MoE มี routing expert 256 ตัวและ shared expert 2 ตัว โดยจะเปิดใช้ routing expert 6 ตัวต่อโทเค็น
  • ใช้เราเตอร์แบบ sigmoid และ load-balancing bias ที่ไม่ต้องมี auxiliary loss
  • ทำ normalization ร่วมกันระหว่างคะแนนของ routing expert ที่ถูกเลือกกับ shared expert แล้วใช้เป็นน้ำหนักผสมเอาต์พุต
• attention ถูกจัดสลับระหว่างชั้น sliding window กับชั้น global ใน อัตราส่วน 5:1 และใช้ 8 KV head
• สำหรับการเข้ารหัสตำแหน่ง ใช้ relative positional embedding แทน RoPE ที่นิยมใช้กันอย่างแพร่หลาย
  • representation ตำแหน่งสัมพัทธ์สาย Music Transformer ให้ประสิทธิภาพและการ extrapolate ที่ดีกว่ากับลำดับที่ยาวกว่า
• มีการใช้ convolution แบบสั้นใน 2 จุด
  • หลัง key·value projection ของแต่ละชั้น attention
  • ก่อนที่แขนง residual ของ attention และ MLP จะถูกรวมกลับเข้ากับ residual stream หลัก

พรีเทรน 45 ล้านล้านโทเค็นและ reinforcement learning ขนาดใหญ่

• ฝึกบนระบบ NVIDIA GB300 NVL72 โดยใช้โทเค็น 45 ล้านล้านจากข้อความ·ภาพ·เสียง·วิดีโอ
• ในการ optimize ใช้ Muon สำหรับน้ำหนักเมทริกซ์ขนาดใหญ่ และ Adam สำหรับพารามิเตอร์ที่เหลือ
  • ตารางไฮเปอร์พารามิเตอร์นำมาจาก งานวิจัย modular manifolds
  • ผูกความแรงของ weight decay เข้ากับกำลังสองของ learning rate เพื่อให้ขนาดน้ำหนักรวมคงที่อย่างเสถียรแม้ระยะเวลาฝึกต่างกัน
• การฝึกต่อยอดครอบคลุมคณิตศาสตร์, agent coding·การใช้เครื่องมือ, เสียง, ภาพ, บทสนทนา และความปลอดภัย
  • ใน SFT ระยะแรก ใช้ข้อมูลสังเคราะห์ที่สร้างโดยโมเดลโอเพนเวตอย่าง Kimi K2.5
  • SFT ระยะแรกกินสัดส่วนการคำนวณเพียงเล็กน้อย โดยส่วนใหญ่ทุ่มให้กับ reinforcement learning ขนาดใหญ่ในสภาพแวดล้อมสังเคราะห์และที่มนุษย์สร้างขึ้น
• ขยาย asynchronous reinforcement learning ไปเป็น มากกว่า 30 ล้าน rollout และฝึกได้อย่างเสถียรในการรันต่อเนื่องยาว 2 ครั้ง
  • คะแนนการประเมินการให้เหตุผลแยกต่างหากซึ่งรวม AIME, HLE, GPQA และอื่น ๆ ดีขึ้นแบบ log-linear ตลอดกระบวนการ
• เปลี่ยน system message และต้นทุนต่อโทเค็นเพื่อกำหนด effort เป็นรายตัวอย่าง และฝึกให้ใช้โทเค็นในปริมาณต่างกันเพื่อให้ควบคุมระดับความพยายามในการให้เหตุผลได้
• เมื่อ reinforcement learning ดำเนินไป กระบวนการคิดเปลี่ยนเป็นรูปแบบ บีบอัด ที่ลดคำเชื่อมและ article เชิงไวยากรณ์ลง แต่ยังคงความเข้าใจได้และคำตอบสุดท้ายไว้
  • นี่ไม่ใช่ผลลัพธ์ที่รางวัลตั้งเป้าโดยตรง แต่เป็นการเปลี่ยนแปลงที่เกิดจากแรงกดดันด้านประสิทธิภาพ
  • ปรากฏการณ์คล้ายกันนี้ถูกสังเกตในงานฝึก SWE-1.7 ของ Cognition
• ในโมเดลถัดไป มีแผนจะเพิ่มสเกลการคำนวณต่อไปทั้งในพรีเทรน การฝึกต่อยอด และ reinforcement learning

Inkling-Small พรีวิวที่เล็กและเร็วกว่า

• Inkling-Small เป็นโมเดล MoE ที่มี พารามิเตอร์รวม 276B และพารามิเตอร์ที่ทำงานจริง 12B มีต้นทุนและเวลาแฝงต่ำกว่า Inkling ที่ทำงานจริง 41B
• ด้วยข้อมูลพรีเทรนและวิธีฝึกที่ปรับปรุงขึ้น ทำผลงานได้ใกล้เคียงหรือสูงกว่า Inkling รุ่นใหญ่ในหลายเบนช์มาร์ก และทั้งสองโมเดลใช้สแตกการฝึกต่อยอดแบบขยายเดียวกัน
• ผลหลักเมื่อเทียบกับโมเดลใหญ่ที่ effort=0.99 มีดังนี้
  • HLE ใช้เครื่องมือ 46.6% เทียบกับ 46.0%, GPQA Diamond 88.3% เทียบกับ 87.2%
  • MCP-Atlas 74.9% เทียบกับ 74.1%, IFBench 83.4% เทียบกับ 79.8%
  • Charxiv RQ พร้อมใช้ Python 83.4% เทียบกับ 82.0%, MMAU 77.5% เทียบกับ 77.2%, StrongREJECT 98.8% เทียบกับ 98.6%
• ก็มีผลที่ต่ำกว่าโมเดลใหญ่ด้วย
  • Terminal Bench 2.1 อยู่ที่ 52.7% เทียบกับ 63.8%, Tau 3 Banking 13.6% เทียบกับ 23.7%
  • SimpleQA Verified 20.9% เทียบกับ 43.9%, Audio MC 49.6% เทียบกับ 56.6%
• เหมาะกับงานที่ ต้นทุนและเวลาแฝงสำคัญ เช่น การเขียนโค้ด การให้คะแนนด้วย LLM และการสร้างข้อมูลสังเคราะห์สำหรับโมเดลอื่น
• ขณะนี้กำลังปิดท้ายการทดสอบ และมีแผนจะเปิดเผยน้ำหนักทั้งหมดเมื่อเสร็จสิ้น

ระบบนิเวศการฟাইনจูนและการดีพลอย

• ปัญหาเฉพาะทางของแต่ละองค์กรที่แก้ได้ยากด้วยโมเดลอเนกประสงค์ สามารถลดช่องว่างได้ด้วย การฟাইনจูนที่ใช้ความรู้เฉพาะทาง และ Inkling ถูกออกแบบให้เรียนรู้จากการฟाइनจูนได้รวดเร็ว
• ใน Tinker สามารถใช้งาน Inkling ได้ที่ความยาวบริบท 64K และ 256K
  • มีราคาส่วนลด 50% ในช่วงเวลาจำกัด
  • ดูรายละเอียดราคาได้ที่ เอกสารโมเดลของ Tinker
• Tinker cookbook รองรับ Inkling เป็นค่าเริ่มต้น และเพิ่ม recipes 3 รายการที่ใช้ความสามารถด้านเสียง
• tml-renderer มีฟังก์ชันสำหรับการสุ่มตัวอย่างและการฝึกต่อยอดอย่างเสถียรกับการเรียกใช้เครื่องมือ เนื้อหาการให้เหตุผล และอินพุตมัลติโมดัล
• Inkling Playground เป็นอินเทอร์เฟซสนทนาที่รวม agent web search และเปิดให้ใช้ฟรีในช่วงเวลาจำกัด
• เช็กพอยต์ที่ฟाइनจูนใน Tinker สามารถดีพลอยผ่าน API ของ TogetherAI, Fireworks, Modal, Databricks, Baseten ได้
• ยังรองรับระบบนิเวศโอเพนซอร์สสำหรับการ inference และ reinforcement learning
  • ร่วมมือกับ RadixArk เพื่อรองรับ SGLang และ Miles
  • เชื่อมต่อกับ Inferact และ vLLM, Lightseek และ TokenSpeed, Unsloth และ llama.cpp
  • รองรับการผสานกับ Hugging Face และ transformers
• สามารถดาวน์โหลดเช็กพอยต์ต้นฉบับและ เช็กพอยต์ NVFP4 สำหรับการ inference อย่างมีประสิทธิภาพบน NVIDIA Blackwell ได้จาก คลัง Inkling บน Hugging Face

[GN⁺]

ความคิดเห็นจาก Hacker News

• ดีใจที่เป็น โมเดลมัลติโมดัลแบบเปิดน้ำหนักที่ใหญ่ที่สุดซึ่งรองรับเสียง และอยากรู้ว่าประสิทธิภาพด้านเสียงจริง ๆ จะดีแค่ไหน
  หากต้องการรันในเครื่อง สามารถดูแหล่งข้อมูลต่อไปนี้ได้
  https://github.com/danielhanchen/llama.cpp/tree/add-inkling
  https://unsloth.ai/docs/models/inkling
  https://huggingface.co/unsloth/inkling-GGUF
  https://huggingface.co/unsloth/inkling-NVFP4
  มีคนบอกว่าดีกว่า KimiK2.7 แต่ถึงแม้ GLM5.2 จะได้รับความสนใจอย่างมาก ผมก็ยังใช้ KimiK2.7 อยู่ประมาณครึ่งหนึ่ง ถ้า benchmark เป็นจริง ก็นับว่าเป็นตัวเลือกที่น่าสนใจพอ และหวังว่าในบางด้านมันจะเหนือกว่าโมเดลเปิดน้ำหนักอื่น ๆ ทั้งหมด

  • อีกอย่าง นี่เป็น โมเดลจากสหรัฐฯ ด้วย น่าจะเป็นโมเดลเปิดน้ำหนักที่ไม่ใช่ของจีนตัวแรกหลัง Llama 3 ที่ออกมาแข่งขันได้จริง
  • ไม่รู้ว่าหลักฐานที่บอกว่าดีกว่า KimiK2.7 อยู่ตรงไหน ใน benchmark ส่วนใหญ่กลับทำผลงานได้ต่ำกว่าด้วยซ้ำ
  • อยากรู้ว่า Kimi ใช้ evaluation harness แบบไหน

• สหรัฐฯ เองก็ต้องมี DeepSeek หรือ Z.ai ของตัวเอง หลายคนรวมถึงผมเชียร์ความสำเร็จของโมเดลเปิดจากจีนเพราะไม่มีทางเลือกอื่น แต่ Thinking Machines อาจมารับบทนั้นได้

  • แม้จะยังไม่ค่อยเป็นที่รู้จัก แต่ arcee.ai ก็ดูเหมือนกำลังเล็งตำแหน่งนั้นอยู่เหมือนกัน
    รายชื่อโมเดลเปิดน้ำหนักปัจจุบันดูได้ที่ https://www.arcee.ai/open-source-catalog
  • AllenAI ก็น่าจับตา ก่อตั้งโดย Paul Allen จาก Microsoft และเป็นหนึ่งในทีมที่ดีที่สุดในการสร้าง AI ที่โปร่งใสและเปิดอย่างแท้จริง รวมถึงเปิดเผยข้อมูลฝึกด้วย
  • มีบริษัทจำนวนมากอยู่แล้วที่ผลักดันโมเดลเปิดน้ำหนัก เช่น Arcee, Reflection, Llama และยังไม่แน่ชัดว่า Meta จะเน้นทางเปิดหรือปิด
    ถึงอย่างนั้น การผสมผสานระหว่าง API สำหรับ fine-tuning กับโมเดลเปิดน้ำหนัก ก็ดูเหมือนเป็นธุรกิจที่เป็นไปได้อย่างน้อยระดับหนึ่ง เพียงแต่ถ้าใช้ QLoRA หรือ LoRA เฉย ๆ ก็ยังน่าสงสัยว่าทำไมเจ้าของโมเดลเปิดถึงจะทำ fine-tuning ได้ดีกว่า แต่ก็น่าติดตาม
  • หวังว่าจะออกโมเดลต่ำกว่า 100B ที่รันบนฮาร์ดแวร์ในบ้านได้ที่ มากกว่า 10 โทเคนต่อวินาที
  • อยากรู้ว่าโมเดลเปิดน้ำหนักจะดำเนินการด้วย โมเดลธุรกิจ แบบไหนได้

• ผมมองว่า โมเดลพื้นฐานแบบเปิด ที่สามารถ fine-tune บน Tinker ได้นั้นเป็นโมเดลธุรกิจที่ยอดเยี่ยม องค์กรสามารถเป็นเจ้าของโมเดลของตัวเอง พร้อมได้ประสิทธิภาพเหนือกว่าโมเดลระดับแนวหน้าในงานเฉพาะทางด้วยต้นทุนที่ต่ำกว่ามาก ส่วน Thinking Machines ก็สามารถเป็นผู้ให้บริการโครงสร้างพื้นฐานและบริการหลักของระบบนิเวศนั้นได้
  สิ่งที่น่าประทับใจอีกอย่างคือ Inkling-Small ที่เล็กกว่า แต่ทำผลงานในหลาย benchmark ได้เท่ากับหรือสูงกว่าโมเดลใหญ่ เพราะปรับปรุงข้อมูล pretraining และวิธีฝึกได้ดีขึ้น ตั้งตารอ โมเดล Thinky รุ่นถัดไป

• การพัฒนาโมเดลสมัยใหม่ต้องใช้สารพัดงานมากจนน่าทึ่ง เมื่อก่อนแค่สร้าง loss function ใหม่หรือปรับสถาปัตยกรรมเล็กน้อย แล้วรันลูปฝึกและประเมิน จากนั้นก็เผยแพร่ผลลัพธ์ได้ แต่ตอนนี้กลายเป็น การแข่งขันแบบราชินีแดง ที่แค่ตามให้ทันก็ต้องใช้แรงงานมหาศาลแล้ว
  การที่แต่ละขั้นจากราว 500 ขั้นเป็นลูป optimization เล็ก ๆ นั้นถึงขั้นน่าอัศจรรย์ ด้วยเหตุนี้กฎเดิมที่ว่าทีมเล็กเร็วกว่า ทีมใหญ่จึงถูกพลิกกลับ และ AI ต้องการทีมขนาดใหญ่ ปัญหา inertia ขององค์กรจะเริ่มเป็นเรื่องจริงเมื่อจำนวนคนเกินหลักพัน แต่ก่อนถึงจุดนั้น การให้คนเก่ง 12 คนรับมือองค์ประกอบจำนวนมหาศาลทั้งหมดก็ทำได้ยาก

• ดีใจที่มี โมเดลเปิดน้ำหนักที่รองรับ long context และ multimodal อย่างแข็งแกร่ง ออกมา มีแอปพลิเคชันมากมายที่จะได้ประโยชน์จากประสิทธิภาพด้านเสียง และจนกว่า z.ai และรายอื่น ๆ จะพัฒนาความสามารถด้านภาพขึ้นมา มันก็อาจแข็งแรงสำหรับแอปพลิเคชันแนวเอเจนต์ทั่วไปด้วย
  อย่างไรก็ตาม benchmark ที่เกี่ยวข้องบางรายการก็ยังเห็นจุดอ่อนอยู่ สุดท้ายก็เหมือนโมเดลอื่น ๆ คือควรนำไปใส่ใน harness ของตัวเองและประเมินงานที่คุณให้ความสำคัญอย่างจริงจัง

  • MiniMax M3 และ DeepSeek v4-Pro ก็เป็นโมเดลมัลติโมดัลเปิดน้ำหนักที่มีความสามารถสูงและรองรับ long context เช่นกัน แต่ long context เป็นกับดัก และเมื่อเกิน 150,000–200,000 โทเคน ประสิทธิภาพยังคงร่วงลงอย่างรวดเร็ว

• เมื่อพิจารณาว่านี่เป็นโมเดลแรกและเปิดเผยออกมา ก็เริ่มทำให้มีความเชื่อมั่นใน ห้องแล็บ AI แบบเปิดของสหรัฐฯ อีกครั้ง ยังไม่ได้ทดสอบเพราะยังไม่ขึ้นบน OpenRouter และที่อื่น ๆ แต่ถ้าได้ระดับ GLM5.1 ก็ถือว่ายอดเยี่ยมมากแล้วสำหรับความพยายามครั้งแรก
  ดูเหมือนว่าอีกไม่นานจะมีห้องแล็บมากขึ้นที่ไล่ตามจนเข้าใกล้ระดับแนวหน้าได้ และการแข่งขันที่เพิ่มขึ้นในทุกสาขาก็เป็นเรื่องน่ายินดี

  • NVIDIA ก็กำลังพัฒนา Nemotron อยู่

• แม้จะยังเป็นการทดสอบช่วงแรกมาก ๆ แต่มี ศักยภาพมากกว่าที่ benchmark แสดงให้เห็น แทบไม่เคยเห็นโมเดลไหนนอกจากของ Anthropic ที่ทำผลงานในการประเมินส่วนตัวของผมได้ดีกว่าการประเมินสาธารณะมากขนาดนี้ และแม้ยังเร็วเกินไปที่จะตัดสิน แต่ดูเหมือนว่าจะต้องใช้เวลาค่อนข้างมากกับมันในอีกไม่กี่สัปดาห์ข้างหน้า
  ในบรรดาโมเดลเปิดน้ำหนัก ผมเคยมองว่าใช้ได้แบบยอมรับความเสี่ยงได้มีแค่โมเดลของ Moonshot AI และ Z.AI ก็ทำงานในชุดงานของผมได้ไม่ดีเท่านั้น แต่โมเดลนี้มีศักยภาพจะเป็นตัวเลือกที่สอง ถ้า Mistral ออกโมเดลแบบนี้มา แฟน ๆ ฝั่งยุโรปรวมถึงผมคงพูดถึงกันไม่หยุด

  • เมื่อปิดการค้นเว็บและยืนยันจากประวัติการ reasoning แล้ว มันตอบ คำถามรายละเอียดเฉพาะทางมาก ๆ หลายข้อได้ถูกต้อง เช่น งานซ่อมบำรุงแยกตามเครื่องยนต์ของรถกึ่งคลาสสิกบางรุ่น หรือโครงสร้างและวัสดุของกระเป๋าหายาก ซึ่งจนถึงตอนนี้มีแค่ Gemini 3 และ 3.1 Pro ที่ตอบถูก
    ไม่มีโมเดลใดจากแล็บอื่น รวมถึง Fable 5 และ GPT-5.6 Sol ที่ตอบได้ถูกต้องโดยไม่ใช้เว็บ แต่ถ้าคุณเชี่ยวชาญสาขานั้น มันก็ถือเป็นความรู้ทั่วไปและมีคำตอบที่ถูกต้องเชิงข้อเท็จจริงชัดเจน การที่มัน นำหน้า Fable 5 ในงานที่ไม่มีอยู่ใน benchmark สาธารณะและจึง overfit ได้ยากนั้นน่าประทับใจมาก

• โดยเฉพาะ ความสามารถในการทำตามคำสั่ง ดูดี แต่ coding น่าจะอ่อนกว่าโมเดลอื่น ถึงอย่างนั้น การมีความหลากหลายของโมเดลเปิดน้ำหนักเพิ่มขึ้นก็เป็นเรื่องน่ายินดีเสมอ และควรลองทดสอบเองเพื่อดูว่ามันมีบุคลิกแบบไหน

  • ความเร็วในการตอบค่อนข้างเร็ว และจนถึงตอนนี้ผมก็ชอบสำนวนและบุคลิกของมัน
    นี่คือผลลัพธ์จากคำสั่งว่า “ช่วยดูหน้าแรกของ Hacker News วันนี้ แล้วทำ daily briefing สรุปข่าวเทคโนโลยีวันนี้ไว้ให้ผมอ่านทีหลัง”
    https://chat.home.jake.town/artifacts/019f679d-99e5-7000-b02...

• โดยรวมดีกว่า Nemotron และด้อยกว่า GLM ดังนั้น ณ ตอนนี้ดูเหมือนเป็น โมเดลเปิดน้ำหนักจากสหรัฐฯ ที่ดีที่สุด

  • ขนาดรวมเกือบสองเท่าของ Nemotron 3 Ultra จึงควรดีกว่ามากพอสมควร แต่ พารามิเตอร์ที่ใช้งานจริง กลับดูน้อยกว่านิดหน่อยที่ 41B เทียบกับ 55B
  • แค่ Nemotron ถูกยกมาเป็นตัวเปรียบเทียบก็แปลกใจแล้ว จากที่ใช้กับงาน coding ประสิทธิภาพแย่มากจนแทบใช้ไม่ได้จริง

• วันนี้ได้ลองใช้ Hy3 แล้วชอบ เป็นระดับที่พัฒนาขึ้นเล็กน้อยจาก DSV4P ถ้าประสิทธิภาพประมาณนั้นแล้วยังรองรับ multimodal ด้วย ก็น่าจะค่อนข้างดีทีเดียว