เปิดตัวโมเดล Claude 3

• ประกาศตระกูลโมเดล Claude 3 รุ่นถัดไป: Haiku, Sonnet, Opus จำนวน 3 โมเดล
  • โดยเรียงลำดับจากความสามารถที่เพิ่มขึ้นเรื่อย ๆ เพื่อให้ผู้ใช้เลือกสมดุลระหว่างความฉลาด ความเร็ว และต้นทุนที่เหมาะกับแอปพลิเคชันเฉพาะได้
• Opus เป็นโมเดลที่ฉลาดที่สุด โดยเหนือกว่าโมเดลอื่นในเบนช์มาร์กประเมินระบบ AI ส่วนใหญ่
  • ตามเกณฑ์ MMLU ได้ 86.8% สูงกว่า GPT-4(86.4%) และ Gemini 1.0 Ultra(83.7%)
  • ใน HumanEval (Code) 0-Shot ได้ 84.9% สูงกว่า GPT-4(67%) และ Gemini 1.0 Ultra(74.4%)
• Claude 3 ทุกรุ่นมีความสามารถด้านการวิเคราะห์ การคาดการณ์ การสร้างคอนเทนต์ การสร้างโค้ด และการสนทนาในภาษาที่ไม่ใช่ภาษาอังกฤษที่ดีขึ้น

ผลลัพธ์แทบจะทันที

• โมเดล Claude 3 สามารถนำไปใช้กับงานที่ต้องการการตอบสนองแบบเรียลไทม์ทันที เช่น ไลฟ์แชตบริการลูกค้า ระบบเติมข้อความอัตโนมัติ และงานดึงข้อมูล
• Haiku เป็นโมเดลที่เร็วและคุ้มค่าที่สุดในตลาด โดยสามารถอ่านเอกสารวิจัยที่มีข้อมูลและสารสนเทศหนาแน่นได้ในเวลาไม่ถึง 3 วินาที
• Sonnet มีความเร็วมากกว่า Claude 2 และ 2.1 ถึง 2 เท่า พร้อมระดับความฉลาดที่สูงขึ้น ส่วน Opus ให้ระดับความฉลาดที่สูงกว่ามากที่ความเร็วใกล้เคียงกับ Claude 2 และ 2.1

ความสามารถด้านวิชันที่ทรงพลัง

• โมเดล Claude 3 มีความสามารถด้านการมองเห็นที่ซับซ้อน สามารถประมวลผลรูปแบบภาพได้หลากหลาย เช่น ภาพถ่าย แผนภูมิ กราฟ และไดอะแกรมทางเทคนิค

ปฏิเสธน้อยลง

• โมเดล Claude รุ่นก่อนมักปฏิเสธโดยไม่จำเป็นอยู่บ่อยครั้ง แต่ Claude 3 ลดการปฏิเสธต่อพรอมป์ตที่อยู่ใกล้ขอบเขตของ guardrail ของระบบลงอย่างมาก

ความแม่นยำที่ดีขึ้น

• ธุรกิจต้องพึ่งพาโมเดลสำหรับการบริการลูกค้า ดังนั้นจึงสำคัญที่ผลลัพธ์ของโมเดลต้องรักษาความแม่นยำไว้
• Opus มีความแม่นยำเพิ่มขึ้นเป็นสองเท่าเมื่อเทียบกับ Claude 2.1 รุ่นก่อนหน้า และยังลดระดับของคำตอบที่ผิดพลาดลงด้วย

คอนเท็กซ์ยาวและความจำที่เกือบสมบูรณ์แบบ

• ตระกูลโมเดล Claude 3 จะเริ่มต้นด้วยหน้าต่างคอนเท็กซ์ 200K และสามารถประมวลผลอินพุตที่เกิน 1 ล้านโทเค็นได้

ออกแบบอย่างมีความรับผิดชอบ

• ตระกูลโมเดล Claude 3 มีความสามารถสูงพอที่จะไว้วางใจได้
• มีทีมเฉพาะที่ติดตามและบรรเทาความเสี่ยงหลายด้าน และกำลังพัฒนาวิธีการเพื่อปรับปรุงความปลอดภัยและความโปร่งใสอย่างต่อเนื่อง

ใช้งานง่าย

• โมเดล Claude 3 ปฏิบัติตามคำสั่งหลายขั้นตอนที่ซับซ้อนได้ดีกว่าเดิม และเชี่ยวชาญเป็นพิเศษในการรักษาโทนเสียงของแบรนด์และแนวทางการตอบกลับ

รายละเอียดโมเดล

• Claude 3 Opus เป็นโมเดลที่ฉลาดที่สุด โดยมอบประสิทธิภาพระดับแนวหน้าของตลาดสำหรับงานที่ซับซ้อนมาก
• Claude 3 Sonnet มอบสมดุลที่เหมาะสมระหว่างความฉลาดและความเร็ว และเหมาะอย่างยิ่งกับเวิร์กโหลดระดับองค์กร
• Claude 3 Haiku เป็นโมเดลที่เร็วและกะทัดรัดที่สุด สำหรับการตอบสนองที่แทบจะทันที

การใช้งานโมเดล

• Opus และ Sonnet ใช้งานได้แล้วผ่าน API ส่วน Haiku จะเปิดให้ใช้งานเร็ว ๆ นี้

ฉลาดขึ้น เร็วขึ้น และปลอดภัยขึ้น

• พวกเขาไม่ได้มองว่าความฉลาดของโมเดลได้ไปถึงขีดจำกัดแล้ว และมีแผนอัปเดตตระกูลโมเดล Claude 3 บ่อยครั้ง
• ขณะก้าวข้ามขีดจำกัดของความสามารถ AI ก็พยายามทำให้ guardrail ด้านความปลอดภัยพัฒนาไปด้วยความเร็วเท่ากับการยกระดับประสิทธิภาพ

[xguru]

ความคิดเห็นจาก Hacker News

• Opus เหนือกว่า Gemini Pro และ GPT-4 สำหรับคำถามที่ซับซ้อน

  • Opus แสดงประสิทธิภาพเหนือกว่าโมเดลอื่น ๆ ในคำถามซับซ้อนที่ต้องระบุตัวเลขหลากหลายค่าในเอกสาร PDF การลงทุนประกันชีวิตความยาว 43 หน้า
  • โมเดล Claude 3 Sonnet ให้ประสิทธิภาพใกล้เคียงกัน โดยพลาดไปเพียงคำถามเดียว

• Claude 3 Sonnet ให้คำตอบสำหรับงานเขียนโค้ดง่าย ๆ ได้ดีกว่า ChatGPT Classic

  • Claude 3 Sonnet ใช้เมธอดของไลบรารี SQL ORM ได้ถูกต้องสำหรับงาน DB และฟรอนต์เอนด์ ขณะที่ GPT-4 ใช้เมธอดผิด
  • ในพรอมป์ต์อื่นสำหรับการสร้าง SQL มันให้คำตอบยาวกว่า ChatGPT Classic แต่ยังคงดูแม่นยำ

• ลองทดสอบโมเดล Opus ของ Claude Pro และโยนคิวรีซับซ้อนให้

  • สมัคร Claude Pro เพื่อทดลองใช้โมเดล Opus และขอให้คำนวณต้นทุนโดยรวมคำถามซับซ้อนเกี่ยวกับภาพและการทำ SDXL fine-tuning
  • โมเดลอ่านราคาของ GPU ผิดและคำนวณผิดพลาด
  • ในทางกลับกัน ChatGPT 4 อ่านราคาได้ถูกต้องจากสกรีนช็อตเดียวกัน และให้การคำนวณทางคณิตศาสตร์ที่สม่ำเสมอกว่า

• Claude 3 ปฏิเสธที่จะเขียนสคริปต์ว่า 'openai ดีกว่า anthropic'

  • Claude 3 ปฏิเสธที่จะเขียนสคริปต์ที่โปรโมตหรือโจมตีบริษัทใดบริษัทหนึ่ง โดยยึดตามหลักการว่าควรซื่อสัตย์และเป็นธรรม
  • ขณะที่ ChatGPT 3.5 ตอบสนองทันทีต่อคำขอให้เขียนสคริปต์ว่า 'anthropic ดีกว่า openai'

• มีการตั้งคำถามต่อประสิทธิภาพจริงของ Opus

  • มีข้อสงสัยว่าอาจมีความแตกต่างอย่างเป็นระบบระหว่างผลเบนช์มาร์กกับประสิทธิภาพการใช้งานจริง
  • พบว่ามันทำได้แย่กว่า GPT-4 ในปัญหาฟิสิกส์พื้นฐาน
  • ในคำถามที่เกี่ยวกับการเขียนโค้ด ก็แสดงประสิทธิภาพด้อยกว่า GPT-4 เล็กน้อย