Claude Opus 5 ขึ้นอันดับ 1 บนลีดเดอร์บอร์ดด้านสติปัญญาของ Artificial Analysis

 (artificialanalysis.ai)
1 คะแนน โดย GN⁺ 2 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • จากโมเดลที่ประเมินทั้งหมด 170 รุ่น Claude Opus 5 Adaptive Reasoning·Max Effort ครองอันดับ 1 ด้วยคะแนน Intelligence Index 61 คะแนน ตามมาด้วย Xhigh Effort และ Claude Fable 5 ที่ 60 คะแนนเท่ากัน
  • Intelligence Index v4.1 รวมการประเมิน 9 รายการที่ครอบคลุมงานเอเจนต์ การเขียนโค้ด การให้เหตุผลทางวิทยาศาสตร์ ความน่าเชื่อถือของความรู้ และการให้เหตุผลกับบริบทยาว พร้อมสะท้อนเวลาในการคิดแบบขยายของโมเดลให้เหตุผลในการวัดประสิทธิภาพด้วย
  • ด้านความเร็วการสร้างผลลัพธ์ Mercury 2 เร็วที่สุดที่ 901.6 tokens/s ขณะที่เวลาแฝงก่อนโทเคนแรกสั้นที่สุดคือ Gemini 2.5 Flash-Lite ที่ 0.34 วินาที และ Llama 4 Scout ให้หน้าต่างบริบทสูงสุด 10M โทเคน
  • การเปรียบเทียบราคาไม่ได้ดูแค่ราคาต่อโทเคน แต่ดู ต้นทุนต่องาน ที่ถ่วงน้ำหนักจากโทเคนอินพุต แคชฮิต การเขียนแคช การให้เหตุผล และโทเคนคำตอบ โดยต้นทุนการเขียนและเก็บแคชแตกต่างกันไปตามผู้ให้บริการ
  • ในบรรดาโมเดลที่เปิดเผยน้ำหนัก GLM-5.2 (max) ทำคะแนนสูงสุดที่ 51 คะแนน แต่ยังต่ำกว่าอันดับ 1 รวมอยู่ 10 คะแนน จึงควรพิจารณาทั้งสติปัญญา ต้นทุน ความเร็ว เวลาแฝง และหน้าต่างบริบทในการเลือกโมเดล

อันดับด้านสติปัญญาของ Claude Opus 5

  • Claude Opus 5 (Adaptive Reasoning, Max Effort) อยู่อันดับ 1 จาก 170 โมเดลที่ถูกประเมิน ด้วยคะแนน Intelligence Index 61 คะแนน
  • 5 อันดับแรกมีดังนี้
    • Claude Opus 5 (Adaptive Reasoning, Max Effort): 61 คะแนน
    • Claude Opus 5 (Adaptive Reasoning, Xhigh Effort): 60 คะแนน
    • Claude Fable 5 (Adaptive Reasoning, Max Effort, Opus 4.8 Fallback): 60 คะแนน
    • GPT-5.6 Sol (max): 59 คะแนน
    • Claude Opus 5 (Adaptive Reasoning, High Effort): 59 คะแนน
  • ค่ากำหนด Max Effort ยังเป็นอันดับ 1 ในกลุ่มโมเดลให้เหตุผล 126 รุ่นด้วย โดยโมเดลให้เหตุผลจะทำ extended thinking เพื่อจัดการปัญหาซับซ้อนก่อนตอบ

องค์ประกอบการประเมินของ Intelligence Index v4.1

  • Intelligence Index v4.1 รวมการประเมิน 9 รายการดังนี้
    • GDPval-AA v2: งานจริงแบบเอเจนต์
    • 𝜏³-Banking: การใช้เครื่องมือของเอเจนต์
    • Terminal-Bench v2.1: การเขียนโค้ดและใช้เทอร์มินัลแบบเอเจนต์
    • SciCode: การเขียนโค้ด
    • Humanity's Last Exam: การให้เหตุผลและความรู้
    • GPQA Diamond: การให้เหตุผลทางวิทยาศาสตร์
    • CritPt: การให้เหตุผลทางฟิสิกส์
    • AA-Omniscience: ความถูกต้องของความรู้และอัตราการไม่หลอนข้อมูล
    • AA-LCR: การให้เหตุผลกับบริบทยาว
  • ขึ้นอยู่กับการใช้งาน ผลการประเมินเฉพาะด้าน อาจสำคัญกว่าคะแนนสติปัญญารวม
  • หมวดการประเมินแยกยังมีเบนช์มาร์กดังต่อไปนี้
    • AA-Briefcase: งานความรู้แบบเอเจนต์
    • AutomationBench-AA: เวิร์กโฟลว์ SaaS แบบเอเจนต์
    • Harvey LAB-AA: งานเอเจนต์ด้านกฎหมาย
    • EnterpriseOps-Gym-AA: การดำเนินงานธุรกิจแบบเอเจนต์
    • IFBench: การทำตามคำสั่ง
    • APEX-Agents-AA: งานเอเจนต์ระยะยาว
    • ITBench-AA: การวิเคราะห์หาสาเหตุรากของเหตุการณ์ใน Kubernetes
    • MMMU-Pro: การให้เหตุผลเชิงภาพ

ตัวชี้วัดด้านงานความรู้ ความน่าเชื่อถือ และความเปิดกว้าง

  • AA-Briefcase Elo รวม Elo ด้านคุณภาพการวิเคราะห์ Elo ด้านการนำเสนอ และอัตราการผ่านเกณฑ์ประเมิน
    • อัตราการผ่านจะถูกแปลงเป็น Elo ผ่านการแข่งขันแบบตัวต่อตัวสังเคราะห์
    • Elo และขอบเขตช่วงความเชื่อมั่น 95% ถูกจำกัดไม่ให้ต่ำกว่า 0
  • AA-Omniscience Index วัดความน่าเชื่อถือของความรู้และการหลอนข้อมูลในช่วง -100 ถึง 100 คะแนน
    • ให้รางวัลกับคำตอบที่ถูกต้องและหักคะแนนคำตอบหลอนข้อมูล แต่ไม่หักคะแนนกรณีปฏิเสธตอบ
    • 0 คะแนนหมายถึงจำนวนคำตอบถูกและผิดเท่ากัน ส่วนค่าติดลบหมายถึงคำตอบผิดมีมากกว่าคำตอบถูก
  • Openness Index ประเมิน ความเปิดกว้าง ของโมเดลด้วยคะแนนปรับมาตรฐาน 0-100 โดยยิ่งสูงยิ่งเปิดกว้าง
  • มีการแยกว่ามีการเปิดเผยน้ำหนักหรือไม่ และโมเดลที่เปิดเผยน้ำหนักแต่ต้องใช้ไลเซนส์แบบมีค่าใช้จ่ายสำหรับการใช้งานเชิงพาณิชย์จะถูกระบุว่า Commercial Use Restricted

อันดับโมเดลที่เปิดเผยน้ำหนัก

  • จากโมเดล 170 รุ่นที่ประเมิน มี 94 รุ่น ที่เป็นโมเดลเปิดเผยน้ำหนัก
  • อันดับต้น ๆ ของ Intelligence Index ในกลุ่มโมเดลเปิดเผยน้ำหนักมีดังนี้
    • GLM-5.2 (max): 51 คะแนน
    • MiniMax-M3: 44 คะแนน
    • DeepSeek V4 Pro (Reasoning, Max Effort): 44 คะแนน
  • GLM-5.2 (max) ทำคะแนนสูงสุดในบรรดาโมเดลเปิดเผยน้ำหนัก

ความเร็วการสร้างผลลัพธ์และเวลาในการประมวลผลงาน

  • Mercury 2 มีความเร็วการสร้างผลลัพธ์สูงสุดที่ 901.6 tokens/s
    • Gemini 3.5 Flash-Lite: 435.1 tokens/s
    • HyperNova 60B 2605: 427.6 tokens/s
    • Granite 4.0 H Small ก็อยู่ในกลุ่มบนเช่นกัน
  • ความเร็วการสร้างผลลัพธ์คือ จำนวนโทเคนต่อวินาที ที่รับได้ระหว่างที่โมเดลสร้างโทเคน หลังจากได้รับชังก์แรกจากโมเดลแบบสตรีมมิง
  • เวลาต่องานของ Intelligence Index คำนวณโดยนำจำนวนโทเคนผลลัพธ์ต่องานหารด้วยความเร็วการสร้างผลลัพธ์ แล้วใช้ค่าน้ำหนักสัมพัทธ์ของแต่ละเบนช์มาร์ก
    • ไม่รวมเวลาโทเคนแรก (TTFT) และโอเวอร์เฮดอื่น ๆ
  • หากมี API ของตัวเองจะใช้ประสิทธิภาพจาก API นั้น และหากไม่มี API ของตัวเองอย่าง Meta Llama จะใช้ ค่ามัธยฐาน จากผู้ให้บริการหลายราย

เวลาแฝงและเวลาตอบสนองแบบ end-to-end

  • โมเดลที่ใช้เวลาสั้นที่สุดกว่าจะได้รับโทเคนคำตอบแรกคือ Gemini 2.5 Flash-Lite (Non-reasoning) ที่ 0.34 วินาที
    • Command A+: 0.42 วินาที
    • North Mini Code: 0.49 วินาที
    • Gemini 2.5 Flash ก็อยู่ในกลุ่มโมเดลที่มีเวลาแฝงต่ำ
  • เวลาแฝงของโทเคนแรกคือเวลาที่ใช้ตั้งแต่ส่งคำขอ API จนได้รับโทเคนคำตอบแรก
    • ในโมเดลให้เหตุผลจะรวม เวลาในการคิด ก่อนตอบด้วย
    • สำหรับโมเดลที่ไม่รองรับสตรีมมิง จะใช้เวลารับคำตอบทั้งหมดแทน
  • เวลาตอบสนองแบบ end-to-end สำหรับ 500 โทเคน คำนวณจากผลรวมขององค์ประกอบต่อไปนี้
    • เวลาอินพุตจนได้รับโทเคนคำตอบแรก
    • เวลาในการคิดที่โมเดลให้เหตุผลใช้ก่อนตอบ
    • เวลาสร้างโทเคนคำตอบ 500 โทเคนตามความเร็วการสร้างผลลัพธ์
  • จำนวนโทเคนสำหรับการคิดใช้ค่าเฉลี่ยที่วัดจาก 60 พรอมป์ต์ ที่แตกต่างกัน

ราคาและต้นทุนต่องาน

  • การเปรียบเทียบราคาใช้ ราคาดอลลาร์ต่อ 1 ล้านโทเคน ของแคชฮิต อินพุต และโทเคนเอาต์พุต
  • ในรายการ Devstral 2 และ North Mini Code ถูกแสดงเป็น $0.00 ต่อ 1 ล้านโทเคน ตามมาด้วย Gemma 3 4B และ Gemma 3 27B
  • โมเดลที่ถูกที่สุดตามราคาแบบผสมมีดังนี้
    • Nova Micro: $0.03/1M tokens
    • Sarvam 30B (high): $0.03/1M tokens
    • Gemma 4 E4B (Non-reasoning): $0.03/1M tokens
  • ต้นทุนต่องานของ Intelligence Index คำนวณโดยนำราคาโทเคนอินพุต แคชฮิต การเขียนแคช การให้เหตุผล และโทเคนคำตอบของแต่ละการประเมินหารด้วยจำนวนงาน แล้วถ่วงน้ำหนักตามการประเมินใน Index
  • ต้นทุนรวมในการรัน Index คำนวณจากการใช้โทเคนของแต่ละการประเมินโดยไม่นับการรันซ้ำ และราคาของโทเคนแต่ละประเภท
  • ราคาแคชแบบผสม ที่แสดงใช้เฉพาะต้นทุนแคชฮิต ส่วนต้นทุนแคชอื่น ๆ แตกต่างกันไปตามผู้ให้บริการ
    • Anthropic คิดค่าการเขียนแคชแยกต่างหาก และมีอัตราสำหรับ TTL 5 นาทีและ 1 ชั่วโมง โดย 1 ชั่วโมงแพงกว่า
    • Google Vertex/Gemini คิดค่าจัดเก็บรายชั่วโมงนอกเหนือจากราคาแคชฮิต
    • ผู้ให้บริการบางรายใช้ราคาแบบขั้นบันไดกับพรอมป์ต์ที่เกิน 200K โทเคน
    • OpenAI และ DeepSeek เป็นต้น โดยทั่วไปคิดเฉพาะราคาแคชฮิตโดยไม่มีค่าการเขียนหรือจัดเก็บ

การใช้โทเคนและหน้าต่างบริบท

  • จำนวนโทเคนผลลัพธ์ต่องานคำนวณโดยนำโทเคนผลลัพธ์ของแต่ละการประเมินคูณด้วยน้ำหนักสัมพัทธ์ใน Intelligence Index แล้วหารด้วย จำนวนงาน โดยไม่นับการรันซ้ำ
  • โมเดลที่มีหน้าต่างบริบทสูงสุดมีดังนี้
    • Llama 4 Scout: 10M โทเคน
    • Grok 4.20 0309: 2M โทเคน
    • Gemini 1.5 Pro (May)
    • Grok 4.1 Fast
  • หน้าต่างบริบทคือขีดจำกัดสูงสุดรวมของโทเคนอินพุตและเอาต์พุต โดยขีดจำกัดโทเคนเอาต์พุตมักเล็กกว่านี้มากและแตกต่างกันไปในแต่ละโมเดล
  • หน้าต่างบริบทขนาดใหญ่เกี่ยวข้องกับ เวิร์กโฟลว์ RAG ที่ค้นหาและให้เหตุผลจากข้อมูลจำนวนมาก

ขนาดของโมเดลเปิดเผยน้ำหนัก

  • ขนาดโมเดลแยกเป็น พารามิเตอร์รวม ที่ประกอบด้วยน้ำหนักและไบอัสที่ฝึกได้ทั้งหมด และพารามิเตอร์ที่ใช้งานจริงระหว่างการอนุมาน
  • โมเดล Mixture of Experts มีพารามิเตอร์ที่ใช้งานจริงน้อยกว่าพารามิเตอร์รวม เพราะกลไกการกำหนดเส้นทางจะเลือกผู้เชี่ยวชาญเพียงบางส่วนในแต่ละโทเคน
  • โมเดล Dense ใช้พารามิเตอร์ทั้งหมด ดังนั้น พารามิเตอร์ที่ใช้งานจริงและพารามิเตอร์รวม จึงเท่ากัน

ขอบเขตการเปรียบเทียบและการใช้งาน

  • โมเดลถูกเปรียบเทียบในหลายมิติ เช่น สติปัญญา ราคา ความเร็วการสร้างผลลัพธ์ เวลาแฝงของโทเคนแรก เวลาตอบสนองแบบ end-to-end และขนาดหน้าต่างบริบท
  • ตัวชี้วัดประสิทธิภาพถูกวัดโดยตรงกับ 586 โมเดล โดยใช้พรอมป์ต์มาตรฐาน
  • ในหน้ารายละเอียดของแต่ละโมเดล สามารถดูตัวชี้วัดเชิงลึกและการเปรียบเทียบตรงกับโมเดลที่คล้ายกันได้ และสามารถปรับโมเดลที่จะแสดงบนกราฟได้ด้วยตัวเลือกโมเดล

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2 시간 전
ความเห็นจาก Hacker News

  • ตารางจัดอันดับนี้แทบไม่มีความหมายแล้วในการช่วยให้ผู้ใช้ปลายทางตัดสินใจว่าจะใช้โมเดลไหนเมื่อไร
    เพราะแต่ละโมเดลมีจุดแข็งและจุดอ่อนต่างกันในแต่ละสายงานและงานแต่ละแบบ ทำให้ อันดับแบบตัวชี้วัดเดียว ใช้งานไม่ได้ อีกทั้งตอนนี้ก็ไม่มี ‘โมเดลที่ดีที่สุด’ เพียงตัวเดียว และตามความซับซ้อนของงานก็อาจไม่จำเป็นต้องใช้โมเดลที่ดีที่สุดด้วย
    เช่น ใช้ Fable สำหรับการออกแบบ UI, ใช้ Sol สำหรับการออกแบบระบบแบ็กเอนด์, และใช้ Kimi K3 สำหรับการพัฒนาช่องโหว่ โดยตัวชี้วัดแบบนี้สุดท้ายก็ใกล้เคียงกับ ตัวเลขไว้โชว์ ของบริษัทโมเดล

    • เมื่อ 1 ปีก่อน มี ‘โมเดลที่ดีที่สุด’ ตัวใหม่ออกมา เลยคาดหวังมากและให้มันทำงานเขียนโปรแกรมง่ายๆ อย่างการแก้ไฟล์ 3 ไฟล์เล็กน้อย ซึ่งมันก็ทำได้ดี
      แต่พอพบว่าโมเดลรุ่นเก่ากว่าและเล็กกว่าจากตระกูลเดียวกันก็ทำได้ดีเหมือนกัน แถม เร็วกว่า 3 เท่าและราคาถูกกว่า 9 เท่า ก็เหมือนได้ข้อคิดขึ้นมาทันที
    • อยากให้มี benchmark แยกตาม tech stack
      ถึงจะค่อนข้าง主観 เช่น โมเดลไหนในปี 2026 จัดการโปรเจกต์ Elixir/Phoenix ได้ดีที่สุดแบบเป็น idiomatic ที่สุด แต่ในสถานการณ์ที่ตามเทียบทุกโมเดลด้วยตัวเองอย่างต่อเนื่องทำได้ยากและช่องว่างด้านประสิทธิภาพก็มาก สิ่งนี้ก็น่าจะมีประโยชน์
    • คำว่า ‘ไร้ความหมายโดยสิ้นเชิง’ หรือ ‘มีจุดประสงค์เดียวเท่านั้น’ เป็นการพูดเกินจริง
      สถิติทุกอย่างย่อมมีความบิดเบือน แต่ก็ยังดีกว่าไม่รู้อะไรเลย และการที่ benchmark แสดงค่าเฉลี่ยของงานหลายแบบก็หมายความว่าสถิติมีไว้เพื่อการสรุปอยู่แล้ว
    • ถ้าเปิดลิงก์ดู จะพบว่าไม่ได้มีแค่ ตัวชี้วัดเดียว แต่มีตัวชี้วัดทั้งหมดที่ต้องใช้ในการตัดสินใจให้ดูจริงๆ
    • กราฟอย่างต้นทุนต่องานของ Artificial Analysis หรือ ความถี่การเกิดภาพหลอน ก็มีคุณค่า
      เพียงแต่พอเอาทั้งหมดไปรวมเป็นผลลัพธ์เดียว รายละเอียดปลีกย่อยทั้งหมดก็หายไป เหลือแค่อันดับไว้โชว์

  • ถ้าเป็นผู้บริหาร Google ก็คงต้องนอนที่ออฟฟิศไม่ใช่แค่เพราะงานเยอะ แต่เพราะอายเกินกว่าจะออกไปเจอผู้คนด้วย

    • กลับกัน น่าจะนอนสบายได้เพราะเป็นเจ้าเดียวที่ไม่ขาดทุนแม้จะเผาเงินอุดหนุนอยู่
    • Google ดูเหมือนจะให้ความสำคัญกับ ความเร็วที่ทำเงินได้ ในทุกผลิตภัณฑ์มากกว่าการมี AI ที่ฉลาดที่สุด
      บริษัทประกาศมานานแล้วว่าความสำคัญสูงสุดคือการให้คำตอบที่แม่นยำต่อคำถามให้เร็วที่สุด
    • ก็ยังสงสัยว่า Google ตั้งใจจะแข่งด้วยโมเดลที่ดันสติปัญญาให้สุดเหมือน OpenAI หรือ Anthropic หรือไม่
      ดูเหมือนเป็น บริษัทเดียวในสามเจ้าที่ไม่ได้บูชา AGI แบบนักพรตทรมานตน
    • ใน benchmark GPQA Diamond ก็ครองอันดับ 1 ร่วม: https://artificialanalysis.ai/evaluations/gpqa-diamond
      บางทีนี่อาจเป็นเป้าหมายเดียวก็ได้
    • โมเดล Gemini ก็เป็นผู้นำหรืออยู่กลุ่มผู้นำในหลายหมวด จึงดูไม่ถูกต้องนักที่จะสรุปว่าตามหลังจนน่าอาย

  • อันดับบนของดัชนีความฉลาดคือ Claude Opus 5 Max 61 คะแนน, Opus 5 Xhigh 60 คะแนน, ชุดผสมโมเดลทดแทน Claude Fable 5 และ Opus 4.8 60 คะแนน, GPT-5.6 Sol Max 59 คะแนน, และ Opus 5 High 59 คะแนน
    ดังนั้น Opus 5 Xhigh สูงกว่า Sol Max และ Opus 5 High ก็เท่ากับ Sol Max เลยอยากรู้ความต่างด้านราคาและความเร็วของสองโมเดลนี้

    • ในกราฟต้นทุนและเวลาต่อความฉลาดต่องานของ Artificial Analysis นั้น Opus 5 High กับ Sol Max มีต้นทุนและเวลาใกล้เคียงกันพอสมควร
      ใน DeepSwe นั้น Opus 5 ชนะ Fable แต่แพ้ Sol และใน FrontierCode นั้นเหนือกว่าทั้งหมด แต่พอเพิ่ม effort การให้เหตุผลให้สูงกว่า Medium ก็ร่วงลงไปใกล้ระดับ Sonnet ทันที
    • Opus 5 ดูเหมือนจะไม่ได้ฉลาดเท่า Sol Max และในบางงานยังดูด้อยกว่า Opus 4.8 ด้วย
      โดยเฉพาะมันมักเข้าหาแบบผิวเผิน ต้องสอนทั้งแอปหรือทั้งเฟรมเวิร์กให้มันใหม่หมด และเริ่มจากงานงี่เง่าอย่างเพิ่มฟีเจอร์ที่มีอยู่แล้วในรูปแบบอื่น

  • ในบรรดาองค์ประกอบต่างๆ AA-Omniscience Index น่าสนใจ
    มันวัดความน่าเชื่อถือของความรู้และภาพหลอน โดยให้รางวัลกับคำตอบที่ถูกและหักคะแนนกับภาพหลอน แต่ไม่หักคะแนนเมื่อปฏิเสธคำตอบ จึงดูเหมือนเป็นตัวชี้วัดที่พอสะท้อนขนาดหรือความหนาแน่นของพารามิเตอร์ได้คร่าวๆ
    อันดับคือ ชุดผสมโมเดลทดแทน Claude Fable 5, Gemini 3.1 Pro Preview, Claude Opus 5 Max, Grok 4.6 High, Gemini 3.6 Flash, และ GPT-5.6 Sol Max และใน Gemini 3.x ก็ให้ ความรู้สึกแบบโมเดลใหญ่ มานานแล้ว

    • Gemini 3.1 Pro โดดเด่นมากใน งานด้านความรู้ และ Google ทำส่วนนี้ออกมาได้ดีมาก
      การวิเคราะห์ภาพของ Gemini 3.6 Flash ก็แข็งแรง แต่ยังขาดในงานเขียนโค้ดหรืองานเอเจนต์
    • การที่ 3.6 Flash ได้ 24 คะแนน สูงกว่า 22 คะแนนของ Sol ทำให้ไม่แน่ใจนักว่าจะเป็นตัวแทนขนาดพารามิเตอร์ได้จริงหรือไม่
      มีข้อมูลว่า 3.x Flash ลงใน single TPU 8i ได้ และความเร็วประมวลผลก็สูงถึง 234.7 โทเค็น/วินาที ทิ้งห่าง Sol ที่ 64.4 และ Opus ที่ 56.3 อย่างมาก ส่วน 3.1 Pro ก็ยังเร็วกว่ามากที่ 113.9 โทเค็น/วินาที
      AA-Omniscience Accuracy นั้น Fable ขนาดใหญ่มากนำอยู่ที่ 61% และโมเดล frontier ขนาดใหญ่อย่าง Sol, GPT-5.5, Opus ก็ตามมา ซึ่งสอดคล้องกับที่คาดไว้มากกว่า
      Gemini ดูเหมือนจะโฟกัสที่ความรู้ทั่วไปและประสิทธิภาพต้นทุนการรันมากกว่าคะแนนสูงสุดด้านโค้ด และในคะแนนรายสาขาที่ถูกทำ normalization แล้ว มีแค่ด้านซอฟต์แวร์ที่ความสามารถแข่งขันตกลง
    • ถ้าไม่หักคะแนนการปฏิเสธคำตอบ ก็ไม่ได้มีประโยชน์มากนัก
    • อิทธิพลของ grounding อาจเท่ากับหรือมากกว่าขนาดโมเดล และ Google ก็ทำเรื่องนี้ได้ดีมากด้วยเหตุผลที่ชัดเจน

  • ก่อนจะคาดหวังอะไร ควรดู เมทริกซ์ต้นทุนต่อความฉลาด ก่อน: https://artificialanalysis.ai/models?intelligence-index-toke...

    • พอนับรวมคุณภาพผลลัพธ์ด้วยแล้ว ก็น่าแปลกใจที่ GPT-5.6 Sol Max ถูกกว่าทั้งหมด
    • Max มีปริมาณการให้เหตุผลเพิ่มเติมมาก จึงอยากรู้ว่าถ้าเป็น High แล้วจำนวนงานที่แก้ได้จะลดลงแค่ไหน
      ต้นทุนก็น่าจะลดลงมากพอสมควร

  • เริ่มมอง Meta Muse Spark ในมุมใหม่
    แม้จะไม่ใช่อันดับหนึ่งในด้านใดด้านหนึ่ง แต่ก็อยู่ในจุดที่เหมาะสมหลายแห่งบนตารางจัดอันดับ และมีสมดุลระหว่างต้นทุนกับประสิทธิภาพที่ดี
    ก็อยากรู้เหมือนกันว่า Poolside Laguna S ที่ไม่อยู่ในรายการจะอยู่ตรงไหน และส่วนตัวสนใจโมเดลที่ทำงานได้ดีและคุ้มต้นทุนมากกว่า

  • ถึงจะได้อันดับ 1 แบบเฉียดฉิว แต่ถ้าต้องคอยระวังไม่ให้ ‘อุปกรณ์ความปลอดภัย’ ที่หมายถึงการเซ็นเซอร์ปฏิเสธคำตอบหรือสลับลงไปเป็นโมเดลอื่น ประโยชน์ใช้งานก็ลดลงมาก
    ด้วยเหตุนี้ นอกจากเวิร์กโฟลว์เดิมบางส่วนแล้ว ก็แทบเลิกใช้ Claude ไปแล้ว และ ความน่าเชื่อถือสำคัญกว่าความต่างระหว่าง 61 กับ 57 คะแนน
    เมื่อคำนึงถึงทั้งการเซ็นเซอร์และการยืนยันตัวตนที่แม้ไม่ได้เจอด้วยตัวเอง Claude คือโมเดลที่เสียหายและไม่เสถียรที่สุด และการปรับแต่งเพื่อเบนช์มาร์กเล็กน้อยในเวอร์ชันล่าสุดก็ไม่คุ้มค่า

    • สงสัยว่าต้องถามคำถามแบบไหนถึงโดนการเซ็นเซอร์บ่อยขนาดนั้น
    • จากที่ได้ลองใช้เอง มันไม่ใช่โมเดลที่เล็งแต่เบนช์มาร์กอย่างเดียวเลย
      ผมใช้การทดสอบทำเกมกับทุกโมเดล และ Opus 5 ให้ความรู้สึกเหมือนก้าวกระโดดระดับเปลี่ยนยุค ดังนั้นเบนช์มาร์กจึงสะท้อนภาพจริงได้ไม่แม่น และควรต้องลองทดสอบด้วยตัวเอง
    • ทุกครั้งที่เห็นคนพูดออนไลน์ว่าลิมิตหรือโมเดลดีขึ้น แล้วคิดจะทบทวนหลักการว่าจะไม่จ่ายเงินให้ Anthropic เด็ดขาด พอไปดู model card ก็ยิ่งมั่นใจมากขึ้น
      ไม่เข้าใจว่า Anthropic หมกมุ่นกับ การสลับลดระดับอัตโนมัติแบบเงียบ ๆ ไปทำไม และก็สงสัยว่าจะมีผู้ใช้สักคนไหมที่อยากให้ลดประสิทธิภาพอัตโนมัติแทนการปฏิเสธคำตอบ
    • พอลองให้ Claude Opus 5.0 ดีพลอยเว็บแอปบน PaaS ของสภาพแวดล้อมทดสอบด้วย global API key และดึงข้อมูลมาใช้งาน ก็ถูกปฏิเสธโดยอ้างเหตุผลด้านความปลอดภัยว่ามีสิทธิ์กว้างเกินไป
      แต่งานเดียวกันนี้ Opus 4.5~4.8, Fable, Codex 5.4·5.5 และ Sol 5.6 จัดการได้ไม่มีปัญหา
      Opus 5 ระมัดระวังเกินไป จนใช้งานเชิงผลิตจริงได้ยาก และต้องปรับจูนเพิ่ม
    • อาจเป็นเพราะไม่ได้ทำเรื่องที่มีความหมายก็ได้ และ Terence Tao ก็ไม่ได้บ่นเรื่อง ‘โมเดล AI ที่ตื่นรู้’

  • ชอบที่ Opus 5 ไม่ต้องอธิบายทุกอย่างซ้ำเหมือน 4.8
    ขณะที่ GPT-5.6 Sol ใช้เหตุผลลึกเกินจำเป็น แม้กับเรื่องเล็กน้อย Opus 5 เป็นโมเดลที่ยอดเยี่ยม และ Anthropic ทำออกมาได้ดี

    • ตอนให้สเปกการติดตั้งกับ Sol มันทำได้ดีมาก เลยไม่เคยรู้ถึงความต่างนี้
      แต่พอปล่อยให้มันจัดการเองโดยไม่มีสเปก มันใช้โควตารายสัปดาห์ไป 30% ภายใน 2 ชั่วโมง 30 นาที ขณะที่ถ้าให้สเปก จะใช้เพียง 2% ใน 30 นาที และผลลัพธ์ก็ดีกว่าทั้งด้านโครงสร้าง ความยาว การตรวจสอบ ขอบเขต และต้นทุน
      ถ้าปล่อย Sol ไว้ มันจะควบคุมไม่ได้ ดังนั้นตอนนี้เลยให้ Sol เขียนสเปก แล้ว Terra ลงมือทำ ซึ่งวิธีนี้ได้ผลดีและลดการใช้งานรวมลงด้วย

  • ผลที่น่าสนใจกว่าคือ Opus 5 เป็น โมเดลที่แพงแบบทิ้งห่าง รองจาก Fable 5
    GPT-5.6 และ Kimi K3 ทำคะแนนใกล้เคียงกัน ต่างกันเพียง 1~2% แต่ใช้ต้นทุนแค่ครึ่งเดียว

    • กราฟนี้อิงจาก Max reasoning effort ที่ผู้ใช้ฝั่งองค์กรซึ่งไม่ค่อยอ่อนไหวต่อราคานิยมใช้
      ถ้าเป็น Medium ต้นทุนจะลดลงจนเกือบเหลือครึ่งหนึ่งของ K3 และมีโอกาสสูงว่า เพียงพอสำหรับงานเขียนโค้ด 95%

  • ไม่ได้เข้าข้างฝั่งไหน แต่จากผลนี้ GPT-5.6 Sol Max ดูดีกว่า
    ให้ประสิทธิภาพแทบเท่ากันในราคาประมาณครึ่งหนึ่ง และเมื่อเห็นว่า Opus 5 ยังแพงกว่า GPT-5.6 ขนาดนี้ ก็ยิ่งเห็นชัดว่าราคา Fable สูงแค่ไหน

    • ถ้าจะเทียบกันให้ถูกต้อง ควรเทียบ Opus High กับ Sol Max