Anthropic เปิดตัว Opus 5

 (anthropic.com)
5 คะแนน โดย dunward 4 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

Anthropic เปิดตัว Claude Opus 5 เมื่อวันที่ 24 กรกฎาคม 2026 โดยเป็นโมเดลที่ปรับปรุงระดับ “เปลี่ยนเจเนอเรชัน” ของไลน์ Opus จุดยืนหลักคือให้ความฉลาดใกล้เคียง Fable 5 (โมเดล frontier) ในราคาครึ่งหนึ่ง

สรุปประเด็นสำคัญ

  • ตำแหน่งทางการตลาด: ใกล้เคียงความฉลาดระดับ frontier ของ Fable 5 แต่ราคาเพียงครึ่งเดียว ถูกกำหนดให้เป็นโมเดลเริ่มต้นใหม่ของ Claude Max และเป็นโมเดลที่ทรงพลังที่สุดที่ใช้ได้ใน Claude Pro
  • Benchmark: ทำสถิติ SOTA ใหม่ในการประเมินงานเขียนโค้ดและ knowledge work เช่น Frontier-Bench, GDPval-AA อย่างไรก็ตาม ในงานด้าน cybersecurity ยังตามหลัง Mythos 5 (โมเดลระดับสูงสุดของ Anthropic)
  • ประสิทธิภาพการเขียนโค้ด: ทำผลงานดีที่สุดในบรรดาทุกโมเดลบน Frontier-Bench v0.1 และดีขึ้นมากกว่า 2 เท่าเมื่อเทียบกับ Opus 4.8 (ต้นทุนต่ำกว่า) ในการตั้งค่าประสิทธิภาพสูงสุดของ CursorBench ทำคะแนนห่างจากคะแนนสูงสุดของ Fable 5 ไม่ถึง 0.5% ด้วยต้นทุนครึ่งเดียว
  • Knowledge work/การแก้ปัญหา: บน ARC-AGI 3 ทำคะแนนได้ 3 เท่าของโมเดลอันดับรองลงมา, บน Zapier AutomationBench มีอัตราผ่านสูงกว่าประมาณ 1.5 เท่าเมื่อเทียบกับอันดับรองลงมา, และบน OSWorld 2.0 (benchmark การใช้คอมพิวเตอร์) ทำผลงานเหนือสถิติสูงสุดของ Fable 5 ด้วยต้นทุนราวหนึ่งในสาม
  • งานวิจัยวิทยาศาสตร์: ดีขึ้นกว่า Opus 4.8 ในการประเมินชีววิทยาศาสตร์ทั้งหมด ด้านเคมีอินทรีย์ (อนุมานโครงสร้างโมเลกุลจากข้อมูลสเปกโทรสโกปี) เพิ่มขึ้น +10.2 จุดเปอร์เซ็นต์ และการทำนายลำดับโปรตีน-หน้าที่เพิ่มขึ้น +7.7 จุดเปอร์เซ็นต์
  • สไตล์การทำงาน: ความสามารถในการตรวจสอบตัวเองและทำซ้ำดีขึ้นอย่างมาก มีตัวอย่างเช่น สร้างโมเดล 3D CAD ใหม่ด้วยโค้ดจากแบบร่างโดยไม่ใช้ข้อมูลภาพ หรือค้นหาและแก้สาเหตุรากที่แพตช์จากชุมชนมองข้าม
  • Alignment: จากการตรวจสอบพฤติกรรมภายใน ถูกประเมินว่าเป็นโมเดลที่มี alignment ดีที่สุดเท่าที่เคยมีมา มีอัตราพฤติกรรมหลอกลวงต่ำกว่า Opus 4.8, Sonnet 5, Fable 5 และมีความสามารถระดับสูงสุดในการหลีกเลี่ยงพฤติกรรมเสี่ยงที่ย้อนกลับไม่ได้
  • ความปลอดภัย: ในด้านชีววิทยาและ offensive cybersecurity ยังตามหลัง Mythos 5 ความสามารถด้าน “การตรวจจับ” ช่องโหว่อยู่ระดับใกล้เคียง Mythos 5 แต่ความสามารถด้าน “การพัฒนา exploit” ต่ำกว่ามาก (เป็นผลจากการตั้งใจตัดการฝึกด้านงานไซเบอร์ออก)
  • มาตรการป้องกัน: การแทรกแซงของตัวจำแนกไซเบอร์น้อยกว่า Fable 5 ประมาณ 85% อนุญาตให้ตรวจจับช่องโหว่ในซอร์สโค้ด แต่บล็อกการสแกนแบบไบนารี การทดสอบเจาะระบบ และการสร้าง exploit คำขอด้านชีววิทยาที่เคยถูกบล็อกใน Fable 5 จะถูก route ไปยัง Opus 5 แล้ว

ราคาและการให้บริการ

  • ใช้งานได้บนทุกแพลตฟอร์มตั้งแต่วันนี้ API คือ claude-opus-5
  • ราคา: อินพุต $5 / เอาต์พุต $25 ต่อ 1 ล้าน token (เท่ากับ Opus 4.8)
  • มี Fast mode (เร็วขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับค่าเริ่มต้น ราคา 2 เท่า)
  • ไม่มีข้อกำหนดการเก็บรักษาข้อมูล (สำหรับการใช้งานทั่วไป)

เปิดตัวเบตาพร้อมกัน 2 รายการ

  • เปลี่ยนเครื่องมือระหว่างสนทนา: เปลี่ยนเครื่องมือที่ใช้ได้กลางบทสนทนาโดยไม่ทำให้ prompt cache ใช้งานไม่ได้
  • Automatic fallback: route คำขอที่ติด safety classifier ไปยังโมเดลอื่นโดยอัตโนมัติ (ค่าเริ่มต้นคือใช้โมเดลที่ดีที่สุดที่พร้อมใช้งานแทนการบล็อก)

สรุปเพิ่มเติมจาก GN⁺

Neo ได้สรุปเพิ่มเติมจากต้นฉบับ

  • ให้ ความฉลาดใกล้เคียง Fable 5 ด้วยต้นทุนต่อ task เพียงครึ่งเดียว และให้บริการเป็นโมเดลเริ่มต้นของ Claude Max รวมถึงโมเดลประสิทธิภาพสูงสุดของ Claude Pro
  • ทำคะแนนระดับสูงสุดในการประเมินงานเขียนโค้ดและ knowledge work เช่น Frontier-Bench และ GDPval-AA และคะแนน ARC-AGI 3 สูงถึง 3 เท่าของโมเดลอันดับรองลงมา
  • ตรวจสอบงานด้วยตัวเองและทำซ้ำจนสำเร็จ ตั้งแต่สร้าง computer vision pipeline, แก้สาเหตุรากของบั๊กในโอเพนซอร์ส ไปจนถึงสร้าง market data feed และ test harness
  • ราคา $5 ต่ออินพุต 1 ล้าน token และ $25 ต่อเอาต์พุต 1 ล้าน token เท่ากับ Opus 4.8 ส่วน Fast mode ที่เร็วขึ้นประมาณ 2.5 เท่าให้บริการในราคา 2 เท่าของราคาพื้นฐาน
  • ความสามารถ dual-use ที่เสี่ยงต่ำกว่า Mythos 5 อนุญาตให้ค้นหาช่องโหว่ แต่บล็อก binary scan, penetration test และการสร้าง exploit และสามารถใช้ การแทนที่อัตโนมัติด้วย Opus 4.8 สำหรับคำขอที่ถูกทำเครื่องหมายได้

ประสิทธิภาพและความคุ้มค่าด้านต้นทุน

  • Claude Opus 5 ให้ประสิทธิภาพสูงขึ้นใน ราคาเดียวกับ Opus 4.8 ซึ่งเป็นโมเดลก่อนหน้า
    • สามารถปรับค่า effort เพื่อเลือกให้ความสำคัญกับความฉลาด หรือเลือกการรันที่เร็วและถูกกว่าเพื่อประหยัด token
    • เป็นโมเดลเริ่มต้นของ Claude Max และเป็นโมเดลที่ทรงพลังที่สุดใน Claude Pro
  • ทำผลงานเหนือโมเดลอื่นทั้งหมดบน Frontier-Bench v0.1 และให้ประสิทธิภาพมากกว่า 2 เท่าของ Opus 4.8 ด้วยต้นทุนต่อ task ที่ต่ำกว่า
    • เป็นผลการรันภายในที่วัดด้วยรางวัลเฉลี่ยจากการลอง 5 ครั้งต่อ task บน mini-SWE-agent harness และ GKE backend
    • สำหรับคำขอที่ Opus 5 และ Fable 5 ปฏิเสธเพราะ safety classifier ใช้ Opus 4.8 เป็นโมเดลทดแทน
  • ใน max effort ของ CursorBench 3.2 ทำคะแนนห่างจากคะแนนสูงสุดของ Fable 5 ไม่ถึง 0.5% และมีต้นทุนต่อ task ครึ่งเดียว
    • ทั้ง high, xhigh และ max effort ทำผลงานดีกว่าโมเดลอื่นทั้งหมดบนเกณฑ์ต้นทุนเดียวกัน
  • แสดงความคุ้มค่าสูงในการประเมิน knowledge work และการแก้ปัญหาเช่นกัน
    • ใน ARC-AGI 3 คะแนนการแก้ปัญหาใหม่สูงกว่าโมเดลอันดับรองลงมา 3 เท่า
    • ใน Zapier AutomationBench อัตราผ่านบนต้นทุนต่อ task เดียวกันสูงกว่ารุ่นรองลงมาประมาณ 1.5 เท่า และแม้ใน effort ต่ำสุดก็ผ่านงานได้มากกว่าโมเดลอื่นทั้งหมด
    • ใน OSWorld 2.0 เหนือกว่าโมเดลอื่นในทุกช่วงต้นทุน และทำผลงานดีกว่าผลลัพธ์สูงสุดของ Fable 5 ด้วยต้นทุนมากกว่าหนึ่งในสามเล็กน้อย

งานวิจัยวิทยาศาสตร์และผลลัพธ์เชิงภาพ

  • ทำผลงาน สูงกว่า Opus 4.8 ในการประเมินชีววิทยาศาสตร์ทั้งหมด รวมถึงชีววิทยาโครงสร้าง เคมีอินทรีย์ และชีวสารสนเทศ
    • ใน benchmark เคมีอินทรีย์ภายในที่อนุมานโครงสร้างโมเลกุลจากข้อมูลสเปกโทรสโกปี สูงขึ้น 10.2 จุดเปอร์เซ็นต์
    • ในงานทำนายผลกระทบของการกลายพันธุ์ในลำดับโปรตีนต่อหน้าที่ สูงขึ้น 7.7 จุดเปอร์เซ็นต์
  • สามารถสร้าง ผลลัพธ์เชิงภาพ ที่แข็งแกร่งกว่ารุ่นก่อนหน้ามาก

การตรวจสอบงานและการทำซ้ำอย่างอัตโนมัติ

  • ความสามารถในการตรวจสอบผลลัพธ์ด้วยตัวเองและทำซ้ำอย่างระมัดระวังจนสำเร็จแข็งแกร่งขึ้น
  • ในงาน FreeCAD ของ Frontier-Bench ภายใต้เงื่อนไขที่มองไม่เห็นแบบร่างชิ้นส่วนเครื่องจักรโดยตรง โมเดลเขียน computer vision pipeline ของตัวเองเพื่อดึงรูปทรงจากพิกเซลดิบและสร้างชิ้นส่วน 3D ขึ้นใหม่
    • สำเร็จหลังทำซ้ำหลายครั้ง แต่โมเดลคู่แข่งในเงื่อนไขเดียวกันยังแก้ไม่ได้หลังลอง 5 ครั้ง
  • ในบั๊กจริงของตัวจัดการแพ็กเกจโอเพนซอร์สที่ใช้งานแพร่หลาย โมเดลค้นหาสาเหตุรากและแก้ edge case ที่แพตช์จากชุมชนมองข้าม
    • โมเดลคู่แข่งแก้เพียงอาการผิวเผินแล้วตัดสินว่าบั๊กถูกแก้แล้ว
  • วิศวกรจากบริษัทเทรดรายหนึ่งสร้าง market data feed สำหรับตลาดแลกเปลี่ยนใหม่ได้ภายใน session เดียว
    • โมเดลก่อนหน้าทำงานไม่สำเร็จแม้วิศวกรจะให้แผนละเอียดแล้วก็ตาม
    • เมื่อไม่มี feed แบบเรียลไทม์สำหรับตรวจสอบ จึงสร้าง test harness เองเพื่อยืนยันว่า parse ข้อมูลตลาดแลกเปลี่ยนได้ถูกต้อง

การประเมินจากผู้ใช้ช่วงแรกด้านการเขียนโค้ดและ agent

  • ใน FrontierCode 1.1 ของ Devin ทำผลงานใกล้เคียงระดับ Fable ด้วยต้นทุนครึ่งเดียว และเด่นในงาน debugging ยากกับการวิเคราะห์สาเหตุราก
  • ใน CursorBench ทำผลงานต่ำกว่า Fable 5 เล็กน้อยแต่มีลักษณะพฤติกรรมคล้ายกัน และให้ความฉลาดใกล้เคียง Fable 5 ด้วยความเร็วและต้นทุนแบบ Opus
  • ใน Zapier AutomationBench ได้อันดับ 1 โดยไม่ใช้ token มากกว่า Claude รุ่นก่อนหน้า
    • ดำเนินกระบวนการป้องกันการเลิกใช้บริการได้ครบตั้งแต่ระบุลูกค้าเสี่ยงใน workbook สถานะบัญชี แจ้งผู้รับผิดชอบ ไปจนถึงสรุปสำหรับทีม retention และ ผ่าน 100%
  • ในการวิเคราะห์จีโนม ใช้การทดสอบทางสถิติที่เหมาะสมเพื่อตัดปัจจัยกวน ตรวจสอบผลลัพธ์ข้ามด้วยวิธีอิสระ และรักษาการวิเคราะห์หลายขั้นตอนที่ยาวได้
  • ในการประเมินภายในของ Lovable งานเขียนโค้ดแบบ agent ที่ยากที่สุด ดีขึ้น 22% เมื่อเทียบกับ Opus 4.7 และความแปรปรวนระหว่างการรันก็ลดลง
  • ในการสร้างแอป full-stack เดียวกัน สร้างงาน animation, game และ 3D ได้ดีที่สุดในตระกูล Opus และถูกประเมินว่าเป็นการปรับปรุงครั้งใหญ่ที่สุดนับจาก Opus 4.5
  • ในการวิเคราะห์ปลายเปิด ยิ่งโจทย์ยากและคลุมเครือเท่าไร การปรับปรุงเมื่อเทียบกับ Opus 4.8 ยิ่งมากขึ้น คำตอบชัดเจนและกระชับขึ้น และประสิทธิภาพใน effort สูงก็ดีขึ้น
  • เมื่อต้องจัดการสภาพแวดล้อมการพัฒนา โมเดลสร้าง monitor เองและควบคุมแต่ละ environment พร้อมขอเฉพาะประเด็นที่ต้องใช้วิจารณญาณมนุษย์
  • ใน codebase ของ Fundamental Research Assistant ทำ การเปลี่ยนแปลงขนาดใหญ่ ตาม feedback และจัดการงานที่ปกติต้องแบ่งหลายส่วนภายใน agent workflow เดียว
  • ในการประเมิน frontend โมเดลเปิดหน้าเว็บเองทั้งในความกว้างเดสก์ท็อปและโทรศัพท์มือถือ เพื่อค้นหาและแก้สินค้าที่ซ่อนอยู่ด้านล่างหน้าจอบนมือถือกับปุ่มชำระเงินที่อยู่นอกหน้าจอ
  • ก่อนส่งมอบ PR ตรวจสอบ branch, template และผลกระทบต่อ test และไม่รีบเผยแพร่ก่อนตรวจสอบเหมือนโมเดลก่อนหน้า
  • ในกระบวนการ redesign โมเดลแยกแยะข้อดีของ design ที่เสนอออกจากประเด็นเดียวที่มีปัญหา และเสนอ ทางประนีประนอม ที่แก้ข้อบกพร่องพร้อมคงข้อดีไว้
  • ในการแก้โค้ด สร้าง diff ที่กระชับโดยไม่มี dead code และค้นหาความเสี่ยงละเอียดอ่อนเฉพาะ codebase ได้ดีขึ้นจนถูกนำไปใช้กับ production workload
  • use case และ code review หลายรายการของ Cosmos แพลตฟอร์ม agent แบบบูรณาการ จะย้ายไปใช้ Opus 5
  • ในการประเมินของ JetBrains โมเดลตรวจทานลึกขึ้นก่อนเขียนโค้ด พบข้อผิดพลาดทางตรรกะในขั้นวางแผน และตัดสินไม่ใช่แค่ว่าคำตอบทำงานได้ แต่รวมถึงเหตุผลที่ถูกต้องด้วย
  • ใน trading benchmark ทำผลงานสูงสุดในตระกูล Opus พร้อมลด reasoning token ลงเหลือประมาณ หนึ่งในเจ็ด และลด latency ต่ำกว่าครึ่งเมื่อเทียบกับ Opus 4.8

การประเมินงานองค์กรและงานผู้เชี่ยวชาญ

  • ในงานวิจัยการเงิน การให้เหตุผลเชิงตัวเลข งานตาราง และการคิดเชิงวิพากษ์อย่างแม่นยำดีขึ้นกว่า Opus 4.8
  • ในการประเมินภายในของ Box ประสิทธิภาพการวิเคราะห์เนื้อหาองค์กรระดับมืออาชีพ สูงกว่า Opus 4.8 8%
    • workflow การวิเคราะห์ข้อมูลดีขึ้น 11% และ due diligence ดีขึ้น 17%
    • ใช้งานที่ใช้ในภาคเทคโนโลยี การแพทย์ และภาครัฐเป็นเป้าหมาย
  • ใน financial modeling ที่ยาก ความแม่นยำเฉลี่ยสูงขึ้น 9 จุดเปอร์เซ็นต์ตลอดทุกระดับ effort จำนวน turn สนทนาและ tool call ลดลงหนึ่งในสาม และเวลาที่ใช้ ลดลง 60%
  • ในงาน legal agent มีการปรับปรุงเด่นในด้านบรรษัทภิบาลและอนุญาโตตุลาการ
    • รักษาคุณภาพใกล้เคียงกันโดยใช้ token น้อยลงเฉลี่ย 26% เมื่อเทียบกับ max reasoning ของ Opus 4.8
  • ในร่างแก้ไขสัญญาครั้งแรก ทำคะแนนสูงสุดในบรรดาโมเดลที่ทดสอบ และเกือบ 2 เท่าของ Opus 4.8
    • การแก้ไข NDA ก็เสร็จด้วยเวลาน้อยลงและรอบน้อยลง โดยยังคงหรือเพิ่มความแม่นยำ
  • ในงานยาว ความสามารถในการสร้าง presentation ทั้งชุดแล้วแก้ไขดีขึ้น และให้ผลลัพธ์ที่ดีกว่าในด้านความเข้าใจภาพ รูปแบบ และข้อผิดพลาดของสไลด์

Alignment และความสามารถเสี่ยง

  • ในการตรวจสอบพฤติกรรมอัตโนมัติก่อน deploy Opus 5 แสดง ระดับ alignment สูงที่สุดในบรรดาโมเดลของ Anthropic
    • ปฏิบัติตาม รัฐธรรมนูญของ Claude ได้ดีกว่า Opus 4.8, Sonnet 5 และ Fable 5
    • มีอัตราพฤติกรรมหลอกลวงและความเปราะบางต่อการชักนำให้ใช้ผิดต่ำที่สุด
    • หลีกเลี่ยงการกระทำบุ่มบ่ามที่อาจก่อผลข้างเคียงย้อนกลับได้ยากได้ดีที่สุด
  • ไม่ได้ยกระดับแนวหน้าของความสามารถ dual-use ที่เสี่ยง และจากการประเมินร่วมกับพาร์ทเนอร์ภาคเอกชนและภาครัฐ ทำผลงาน ต่ำกว่า Mythos 5 ทั้งงานวิจัยชีววิทยาและ offensive cybersecurity
    • ดูการประเมินโดยละเอียดได้ใน System Card
  • เช่นเดียวกับ Opus 4.8 โมเดลไม่ได้ถูกฝึกงานไซเบอร์โดยตั้งใจ แต่ประสิทธิภาพที่เกี่ยวข้องดีขึ้นมากตามความสามารถทั่วไปที่เพิ่มขึ้น
    • การค้นพบช่องโหว่ใกล้เคียง Mythos 5
    • การพัฒนา exploit เพื่อเปลี่ยนช่องโหว่ที่ค้นพบให้เป็นภัยคุกคามจริง ยังตามหลัง Mythos 5 มาก
  • ในการประเมิน OSS-Fuzz Opus 5 และ Mythos 5 พบช่องโหว่ด้วยอัตราสำเร็จใกล้เคียงกัน แต่คะแนนการพัฒนา exploit ของ Opus 5 ต่ำกว่ามาก

มาตรการป้องกันด้าน cybersecurity และชีววิทยา

  • มาตรการป้องกันถูกออกแบบให้อนุญาตการใช้งานที่เป็นประโยชน์ใน cybersecurity และชีววิทยา และคล้ายกับ Opus 4.8 ยกเว้นการเพิ่มข้อจำกัดที่เข้มขึ้นสำหรับงานไซเบอร์บางประเภทในวงแคบ
  • ตัวจำแนกไซเบอร์จำกัดน้อยกว่า Fable 5 เมื่อเทียบกัน
    • อนุญาตให้ค้นหาช่องโหว่ในซอร์สโค้ด
    • บล็อก การสแกนช่องโหว่แบบไบนารี, penetration test และการสร้าง exploit ที่มีแนวโน้มเกี่ยวข้องกับผู้ไม่หวังดี
    • ในการทดสอบของ Anthropic คาดว่าจะมีการแทรกแซงของ classifier น้อยกว่า Fable 5 ประมาณ 85%
  • คำขอที่ถูกทำเครื่องหมายใน Claude.ai, Claude Code, Claude Cowork จะถูกแทนที่ด้วย Opus 4.8 เป็นค่าเริ่มต้น และสามารถเปิดใช้สิ่งนี้ใน API ได้เช่นกัน
  • บริษัทและนักวิจัยที่เข้าร่วม Cyber Verification Program สามารถใช้ Opus 5 ที่มีข้อจำกัดด้านความปลอดภัยน้อยกว่าได้ทันที
  • ในสาขาชีววิทยา โมเดลยังคงมาตรการป้องกันใกล้เคียง Opus 4.8 พร้อมกลายเป็นโมเดลวิจัยวิทยาศาสตร์ที่ทรงพลังที่สุดในบรรดาโมเดลที่ให้บริการทั่วไป
    • การวิจัยอัตโนมัติระยะยาวยังมีข้อจำกัดสำคัญ และ Mythos 5 แข็งแกร่งกว่าในงานชีววิทยาประเภทนี้
    • คำขอด้านชีววิทยาที่ถูกบล็อกใน Fable 5 ตอนนี้จะถูก ส่งต่อไปยัง Opus 5 แทน Opus 4.8

ราคาและฟีเจอร์สำหรับนักพัฒนา

  • ให้บริการบนทุกแพลตฟอร์ม และ model identifier ใน Claude API คือ claude-opus-5
    • ราคาอินพุต $5 ต่อ 1 ล้าน token และเอาต์พุต $25 ต่อ 1 ล้าน token เท่ากับ Opus 4.8
    • การเข้าถึงทั่วไปไม่มีข้อกำหนดการเก็บรักษาข้อมูล เช่นเดียวกับโมเดล Opus รุ่นก่อนหน้า
  • Fast mode ทำงานด้วยความเร็วประมาณ 2.5 เท่า ของค่าเริ่มต้น
    • บน Claude Platform ราคา 2 เท่าของราคาพื้นฐาน และบน Claude Code ให้บริการด้วยเครดิตการใช้งาน
  • เบต้า การเปลี่ยนเครื่องมือระหว่างสนทนา ของ Claude Platform ช่วยให้เปลี่ยนเครื่องมือที่ Claude ใช้ได้ระหว่างบทสนทนาโดยไม่ทำให้ prompt cache ใช้งานไม่ได้
  • เมื่อเปิดใช้เบต้า automatic fallback ของ API หากคำขอไปยัง Opus 5 หรือ Fable 5 ถูก safety classifier ทำเครื่องหมาย จะถูกส่งต่อไปยังโมเดลอื่นโดยอัตโนมัติ
    • โดยค่าเริ่มต้นจะ route ไปยังโมเดลที่ดีที่สุดที่พร้อมใช้งาน แทนการบล็อกคำขอ
  • ดูวิธีใช้งานโมเดลได้ใน คู่มือ prompting สำหรับ Opus 5

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 4 시간 전
ความคิดเห็นจาก Hacker News

  • ประเด็นสำคัญตรงนี้ไม่ใช่ประสิทธิภาพสูงสุด แต่คือการที่องค์กรสามารถใช้ โมเดลระดับ Fable ได้โดยไม่ต้องมีภาระผูกพันในการเก็บข้อมูล 30 วัน
    Opus 5 ไม่มีข้อกำหนดการเก็บข้อมูลสำหรับการเข้าถึงทั่วไปเหมือน Opus รุ่นก่อน และเหตุผลที่ Fable ไม่มีคะแนน ARC-AGI ก็เพราะนโยบายการเก็บข้อมูลนี้
    https://support.claude.com/en/articles/15425996-data-retenti..., https://www.anthropic.com/news/claude-opus-5, https://xcancel.com/arcprize/status/2064399134099153344

    • ต้นทุนต่อหนึ่งงาน ก็ต่ำกว่ามาก และดูเหมือนจะถูกกว่า Sonnet ด้วย
    • ข่าวลือที่ว่า Opus 5 กำลังถูกปรับแต่งเพื่อเปิดตัวนั้นถูกต้อง และประสิทธิภาพ GDPval-AA v2 ก็ดีขึ้นมาก จึงมีประโยชน์สำหรับงานเอเจนต์ที่อิงงานความรู้
      การคง Fable 5 ไว้เป็นแบบใช้เครดิตเท่านั้นก็เป็นเรื่องน่ายินดี และต่อไปน่าจะเห็นแนวทางที่วางโมเดลระดับบนสุดไว้หลัง API แบบคิดตามการใช้งานหรือเครดิต แล้วใช้โมเดลอื่นเสริมด้วยการสมัครสมาชิกรายเดือนมากขึ้น
    • มีเนื้อหาน่าสนใจเกี่ยวกับ guardrail ของ Fable: https://x.com/cheatyyyy/status/2080693704290140330
    • บริษัทใช้ไลเซนส์องค์กรแบบไม่เก็บข้อมูล แต่ Claude กลับจำบทสนทนาก่อนหน้าได้
      ถ้าอย่างนั้นก็แปลว่าข้อมูลถูกเก็บไว้ที่ไหนสักแห่ง จึงเข้าใจ วิธีการเก็บรักษาข้อมูล ได้ยาก
    • เอกสารถูกอัปเดตไปเมื่อกว่า 2 สัปดาห์ก่อนเท่านั้น แต่ยังหาเนื้อหาที่ระบุ ความเข้ากันได้กับ ZDR ไม่เจอ จึงต้องตรวจสอบเพิ่มเติม

  • ตอนนี้กำลังทดสอบ การแปลงภาพ→HTML อยู่ โดยก่อนหน้านี้ Fable ทำได้ดีที่สุด และ Gemini 3.1 Pro เป็นอันดับ 2 อย่างน่าประหลาดใจ
    Opus 5 ทำตามดีไซน์ต้นฉบับได้แม่นยำกว่า Fable โดยทำปุ่มเป็นสี่เหลี่ยมมุมมนแทนที่จะเป็นทรงแคปซูล และภาพที่สร้างขึ้นก็ใกล้เคียงต้นฉบับกว่า
    ต้นฉบับ: https://image.non.io/73e239a3-880f-4793-b65f-4810be2d9378.we...
    Opus 5: https://html.non.io/solaraOpus/
    Fable 5: https://html.non.io/solara/

    • ลองทดสอบเพิ่มเติมด้วยดีไซน์ร้านราเมงไซเบอร์พังก์ พบว่ามันทำ พื้นผิวตัดเหลี่ยมและตัวอักษรตกแต่งขนาดเล็ก ซึ่งเป็นสิ่งที่โมเดลภาษามักทำได้ยาก ออกมาได้ดีจนน่าทึ่ง
      พฤติกรรมแบบ responsive ยังเพี้ยนอยู่ แต่ให้ความรู้สึกว่าไปถึงประมาณ 90% ของงานสำเร็จรูปแล้ว
      ต้นฉบับ: https://image.non.io/9d5fed20-b476-49d3-841b-37eb553fb88e.we...
      Opus 5: https://html.non.io/neonRamen/
    • ลองทดสอบงานเดียวกันกับ โมเดลโค้ดแบบ open-weights ที่ทรงพลังและรับอินพุตภาพได้ด้วย
      Inkling ทำได้ไม่ค่อยดีนัก: https://cdn-uploads.huggingface.co/production/uploads/608b8b...
      Kimi 2.7 ซึ่งเป็นรุ่นก่อนหน้าของ Kimi3 ล่าสุด ทำได้ดีมาก: https://cdn-uploads.huggingface.co/production/uploads/608b8b...
      สภาพแวดล้อมทดสอบ: https://huggingface.co/spaces/abidlabs/vlm-screenshot-to-web...
    • อยากรู้ว่าหน้าจอดีไซน์ต้นฉบับมาจากแอปไหน
    • ตั้งแต่แรกควรให้แปลงภาพที่ไม่ใช่ดีไซน์ที่ทำด้วย AI เป็น HTML ถึงจะเป็นการทดสอบที่ดีกว่า
      การตรวจสอบว่าโมเดลถ่ายทอดดีไซน์ของมนุษย์ได้ดีแค่ไหนโดยไม่ทำให้เละ น่าจะมีประโยชน์กว่า
    • จากความประทับใจแรกหลังเปิดลิงก์ดู กลับรู้สึกว่า เวอร์ชัน Fable ดูดีกว่ามาก

  • เมื่อดูการเปิดตัวจำนวนมาก ก็ไม่น่าแปลกใจที่ model routing จะเป็นหนึ่งในสาขาที่เติบโตเร็วที่สุดใน AI
    แต่ละบริษัทที่มีมากกว่า 10 แห่งต่างก็มีโมเดลหลากหลายรูปแบบและขนาด ระดับการคิด โหมดเอเจนต์·Pro·ความเร็วสูง การรันแบบมาตรฐาน·ยืดหยุ่น·แบตช์ รวมถึงราคาของโทเคนอินพุต·เอาต์พุต·แคชที่แตกต่างกัน
    บริษัทที่ส่งพรอมป์ไปยังชุดผสมที่เหมาะสมและคุ้มค่าที่สุดกำลังดึงคุณค่ามหาศาลจากช่องว่างที่ผู้พัฒนาโมเดลมองข้าม

    • ท้ายที่สุด ตัวโมเดลเองจะทำงานด้าน routing ได้ดีขึ้น และในกระบวนการ routing บริบทจะสูญหาย ทำให้ต้นทุนและความไม่แน่นอนเพิ่มขึ้น
      นี่คือการซ้ำรอยของ Bitter Lesson และดูเหมือนว่าบริษัทชั้นนำจะลงมาให้ฟีเจอร์นี้เองในท้ายที่สุด
    • ผู้พัฒนาดูเหมือนจะพยายามมองข้ามช่องว่างนี้
      งานสำนักงานส่วนใหญ่ไม่จำเป็นต้องใช้ AGI ที่ทรงพลังมาก ทราฟฟิกจึงไหลไปหาโมเดลราคาถูก แต่ห้องแล็บชั้นนำวางตำแหน่งว่าทั้ง AGI ที่ทรงพลังและการแทนที่งานออฟฟิศมีแต่พวกตนเท่านั้นที่ทำได้
      การ routing ไปยังโมเดลราคาถูก มีโอกาสจะเจาะรูในเรื่องเล่านั้นได้มาก
    • สงสัยว่าลูกค้าคือใคร
      ไม่ว่างานใดก็ตาม หากไม่ใช่โมเดลล่าสุดที่มีประสิทธิภาพสูงสุดก็ยากจะยอมรับ และกฎที่จำเป็นก็มีเพียงการเลือก โมเดลที่ทรงพลังที่สุดซึ่งยังมีโควตาแบบเหมาจ่ายเหลืออยู่ เท่านั้น
    • ในงานเขียนโค้ด เป็นเรื่องยากที่จะเชื่อใจ router และจำเป็นต้องมีหลักฐานว่าประหยัดเงินได้มากจริง
      แทนที่จะประหยัดค่าใช้จ่าย ก็ต้องยอมรับบั๊กที่วัดความรุนแรงและความถี่ไม่ได้ และก็ไม่รู้มูลค่าของการทำประกันด้วยการให้โมเดลระดับสูงสุดรับผิดชอบทุก inference รวมถึงต้นทุนในการแก้ภายหลัง
      ในระดับโปรเจกต์ ก็ไม่มีวิธีทดสอบว่าโค้ดจะแตกต่างไปแค่ไหนหากใช้โมเดลอื่น
    • ดูเหมือนว่าส่วนนี้อาจถูกผนวกเข้าไปอยู่กับ เฟรมเวิร์กการรันของไคลเอนต์ มากกว่าบริษัท router แยกต่างหาก

  • ถ้าไม่อยากอ่าน PDF ราว 190 หน้า ก็มีบทความบล็อกนี้: https://www.anthropic.com/news/claude-opus-5

    • น่าสนใจที่แม้ตัวเลขจะต่ำกว่า Fable เล็กน้อย แต่ก็ยังเน้นว่า Opus 5 เป็น โมเดลที่ดีที่สุดสำหรับ agentic coding
    • ดูจาก benchmark นี้แล้ว พอจะเข้าใจว่าทำไม Anthropic ถึงยังตัด Fable ออกจากการสมัครสมาชิก Max ต่อไป
    • สงสัยว่าทำไมในข้อมูล FrontierCode v1.1 Opus 5 ถึงได้คะแนนสูงกว่า Fable 5
    • ดูเหมือนเป็นตัวอย่างที่สมบูรณ์แบบของสถานการณ์ที่โมเดลภาษาเขียนเอกสารยาว ๆ แล้วผู้ใช้ก็ไม่ได้อ่าน แต่เอากลับไปให้โมเดลภาษาสรุปอีกที

  • เมื่อเปรียบเทียบสำนวนการเขียนของ Opus 5 กับ Fable 5 จะเห็นว่า Opus 5 ยังคงใช้ สำนวนเฉพาะของ Claude ที่ Fable เคยหลุดพ้นไปแล้ว เหมือนกับ 4.8
    มีการใช้สำนวนอย่าง “carry the argument”, “worth stating plainly”, “and the trap”, “The X matters more”, “move” ซ้ำ ๆ จึงน่าจะต้องมี benchmark สำหรับ ‘ภาษาอังกฤษที่น่ารำคาญ’
    Fable 5 Max: https://gist.github.com/deet/3d97f854b48eac6658d642fa18bb24d...
    Opus 5 Max: https://gist.github.com/deet/1a43693a732dfccb4d0d914bfc42692...

    • Fable อาจใช้สำนวนพวกนั้นน้อยกว่า แต่ตัวงานเขียนก็ยังแย่และอ่านแล้วเหนื่อยอยู่ดี
    • Opus 4.8 และ Fable 5 มีสำนวนที่ขัดหูจนใช้เป็นสื่อเรียนรู้ได้ยาก ส่วน GPT 5.6 Sol ดีกว่ามาก
    • การที่ Claude มีสำนวนที่ระบุได้ชัดเจนก็อาจเป็นเรื่องดี เพราะทำให้หลอกว่าเป็นงานเขียนของมนุษย์ได้ยากขึ้น
    • 4.6 ทำตามคำสั่งด้านสำนวนได้ดีกว่า 4.8 ส่วน 5.0 ยังต้องรอดูต่อไป
      สำนวนเฉพาะของ Claude ดูเหมือนส่วนหนึ่งมาจากแนวโน้มที่จะผลักบทสนทนาหรืองานให้คืบหน้าแบบ ‘เชิงรุก’ และ benchmark ที่วัดขอบเขตสำนวนตามแต่ละพรอมป์เป็นเชิงปริมาณ ก็น่าจะมีประโยชน์
    • Opus 5 ดูเหมือนเป็นโมเดลที่เดิมอิงจาก Opus 4.8 แล้วนำเทคนิคการ reasoning ระยะยาวของ Kimi K3 มาใช้ และไม่น่าจะเป็น Fable ในรูปแบบใด ๆ

  • 55.7% ของ Anthropic กับประมาณ 21% ใน论文 OSWorld 2.0 เป็นตัวชี้วัดคนละแบบกัน
    Opus 4.8 ทำงานสำเร็จสมบูรณ์ประมาณ 1 ใน 5 งาน จึงมี อัตราทำสำเร็จ 20.6% และยังได้คะแนนบางส่วนในงานที่เหลือ จนได้ คะแนนบางส่วน 54.8%
    อย่างไรก็ตาม ความต่างของตัวชี้วัดแบบนี้ทำให้เกิดคำถามว่าสามารถเทียบ benchmark ข้าม论文กันได้ภายในช่วงความคลาดเคลื่อนที่สมเหตุสมผลหรือไม่: https://arxiv.org/pdf/2606.29537

    • อัตราทำสำเร็จคือสัดส่วนของงานที่สำเร็จ 100% ส่วนอัตราคะแนนคือสัดส่วนของคะแนนบางส่วนที่ได้จากคะแนนที่เป็นไปได้ทั้งหมด
      ผู้สร้าง benchmark มักชอบตัวเลขต่ำที่แสดงว่ายังมีพื้นที่ให้พัฒนา ส่วนผู้สร้างโมเดลชอบตัวเลขสูงที่เน้นความสามารถ แต่ 55.7% ของ Anthropic กับ 54.8% ใน论文นั้นแทบจะเป็นผลลัพธ์เดียวกัน
    • โมเดลภาษามักไม่ deterministic จึงคาดว่าจะมีความแปรปรวนระดับหนึ่ง แต่ถ้าต่างกันขนาดนี้ก็น่าจะต้องมีคำอธิบายเพิ่มเติม

  • พอบอกว่า “Opus 5 ไม่ได้เหนือกว่า Fable 5 โดยรวม” แต่ในบล็อกกลับไล่รายการว่า ดีกว่าใน benchmark ส่วนใหญ่ ทำให้การสื่อสารสับสน
    system card ก็ระบุว่าความสามารถด้านวิจัยและพัฒนา AI ใกล้เคียงกับ Claude Mythos 5 ซึ่งถือว่าเป็น Fable แบบไม่จำกัด

    • ครั้งนี้ดูเหมือนเป็นการประนีประนอมที่พยายามเน้นความทรงพลังไปพร้อมกับหลีกเลี่ยง การเฝ้าระวังเพิ่มเติมจากรัฐบาล
      Opus 5 ไม่ได้เรียนรู้การใช้ประโยชน์จากช่องโหว่ซอฟต์แวร์ จึงมีความสามารถในการค้นพบใกล้เคียงกับ Mythos 5 แต่ความสามารถในการ exploit ที่จะเปลี่ยนไปเป็นภัยคุกคามไซเบอร์จริงยังตามหลังอยู่มาก
    • อาจอธิบายได้ว่า Fable ฉลาดแต่ไม่ได้ถูกปรับให้เหมาะกับ benchmark ส่วน Opus ฉลาดน้อยกว่าแต่ผ่าน การปรับแต่งให้เหมาะกับ benchmark มาแล้ว
    • ดูเหมือนจะหมายความว่าความสามารถด้านวิจัยและพัฒนา AI ใกล้เคียงกัน แต่ความสามารถด้านแฮ็กที่ก่อให้เกิดประเด็น Fable นั้นไม่เท่ากัน ทว่าการใช้ถ้อยคำยังสับสน
    • อาจเป็นเพราะไม่ต้องการระบุชัดว่าเหนือกว่า Fable เพื่อหลีกเลี่ยงการเฝ้าระวังจากรัฐบาล

  • แม้แต่โมเดลที่ดูเหนือกว่า Fable มาก ก็เปิดตัวได้โดยไม่มีปัญหาอะไรนัก เพราะไม่มีการประชาสัมพันธ์เชิงวันสิ้นโลกแบบ Anthropic
    ตามทฤษฎีแล้ว ตามมาตรฐานของ Anthropic มันควรอยู่ระดับ AGI แต่ความจริงก็เป็นแค่วันศุกร์ธรรมดาวันหนึ่ง

    • ถ้าอ่าน ส่วนมาตรการความปลอดภัย ในรายงานก็จะเข้าใจเหตุผล
      โมเดลเหล่านี้ถูกป้องกันอย่างเข้มงวด และบอกว่า Mythos ที่ไม่มีมาตรการความปลอดภัยจึงไม่สามารถเปิดตัวได้
      ตอนที่ OpenAI ประกาศว่าโมเดลที่ไม่มีมาตรการความปลอดภัยบุกรุกเซิร์ฟเวอร์ HuggingFace ก็คล้ายกัน
    • การโอ้อวดว่า “โมเดลถัดไปคือ AGI” ดูเหมือนจะลดลงแล้ว
      ต่อให้ GPT-6 ออกช่วงฤดูร้อน ตอนนี้ก็แทบไม่มีใครคาดหวัง AGI แล้ว จึงน่าสงสัยว่าจะรักษา วงจรการปั่นกระแส ไว้อย่างไร
    • สงสัยว่าหมายความว่าคำเตือนนั้นน่าหงุดหงิดถ้าวันสิ้นโลกจริง ๆ ไม่เกิดขึ้น หรือมองว่าการคาดการณ์วันสิ้นโลกที่ผิดพลาดเป็นการประชาสัมพันธ์กันแน่
    • Fable เปิดแนวหน้าสุดไปแล้ว และ Opus 5 ก็แค่ตามทันเท่านั้น

  • กรณีประชาสัมพันธ์ที่ว่า Opus 5 สร้าง ฟีดข้อมูลตลาดและเครื่องมือตรวจสอบความถูกต้อง สำหรับตลาดซื้อขายใหม่ได้ในเซสชันเดียว น่าสนใจตรงที่เป็นโปรเจกต์ที่มักมอบให้นักศึกษาฝึกงานในบริษัทเทรดดิ้งทำกันอยู่แล้ว

  • สงสัยว่าทำไมในกราฟ Frontier Code ประสิทธิภาพต่อหนึ่งงานของ โหมดคิดระดับกลาง ถึงสูงโดดเด่น และยิ่งเพิ่มปริมาณการให้เหตุผล ผลประเมินกลับแย่ลงมาก
    มีกรณีที่ระดับสูงสุดลดลงเล็กน้อยบ้าง แต่ระดับนี้ถือว่าผิดปกติ: https://imgur.com/a/Nv8V7Ry

    • เนื่องจากตัวชี้วัดเป็นต้นทุนต่อหนึ่งงาน จึงอาจเป็น การออกแบบเกินจำเป็น ที่พยายามทำให้ดีขึ้นแต่เผาโทเคนเร็วเกินไป
      โดยความรู้สึกส่วนตัว ในช่วงการใช้งาน 5 ชั่วโมง Opus 4.8 Medium ของวันนี้และ Opus 5 Medium หลังประกาศ รู้สึกมีประสิทธิภาพกว่า Opus 4.8 ของสัปดาห์ที่แล้ว
    • ในระดับการให้เหตุผลสูง เอาต์พุตอาจยาวขึ้นและไปหมกมุ่นกับรายละเอียดที่ไม่เกี่ยวข้องมากเกินไป ทำให้พื้นที่ที่จะผิดพลาดเพิ่มขึ้น
      ถ้าใช้งานแบบเน้นพรอมป์มากกว่าเอเจนต์ จะเห็นข้อจำกัดลักษณะนี้ และระดับกลางอาจสมดุลกว่า
    • หากเบนช์มาร์กลงโทษจำนวนครั้งที่รันคำสั่งหรือเวลาที่ผ่านไปจริง ความพยายามในการให้เหตุผลระดับสูง ก็อาจทำให้คะแนนต่ำลงได้
    • อาจคล้ายกับ Ballmer Peak ที่ประสิทธิภาพเพิ่มขึ้นในระดับความผ่อนคลายเฉพาะจุด
    • รูปแบบที่ตกลงตรงกลางแล้วกลับขึ้นที่ระดับสูงสุดก็น่าสนใจเช่นกัน
      เลยสงสัยว่า การคิดมากเกินไปนั้นแย่ แต่ถ้าคิดมากขึ้นไปแบบสุดขั้วแล้วจะกลับมาดีอีกหรือไม่