Anthropic Economic Index: ผลกระทบของ Claude 3.7 Sonnet
(anthropic.com)- Anthropic เผยแพร่รายงานวิจัยฉบับที่สองเกี่ยวกับผลกระทบทางเศรษฐกิจของ AI หลังการเปิดตัว Claude 3.7 Sonnet
- รายงานนี้วิเคราะห์ข้อมูลการใช้งาน Claude.ai หลังการเปิดตัว Claude 3.7 Sonnet ซึ่งเป็นโมเดลใหม่และทรงพลังที่สุด
- ชุดข้อมูลถูกเปิดเผยให้ดาวน์โหลดได้อย่างเสรี
ข้อค้นพบสำคัญ
- หลังการเปิดตัว Claude 3.7 Sonnet สัดส่วนการใช้งานในแอปพลิเคชันด้านการเขียนโค้ด การศึกษา วิทยาศาสตร์ และการแพทย์เพิ่มขึ้น
- โหมดใหม่ "extended thinking" ของ Claude 3.7 Sonnet ถูกใช้เป็นหลักกับงานด้านเทคนิค
- ใช้มากกับงานที่เกี่ยวข้องกับนักวิจัยวิทยาการคอมพิวเตอร์ นักพัฒนาซอฟต์แวร์ แอนิเมเตอร์มัลติมีเดีย และนักออกแบบวิดีโอเกม
- มีการเปิดเผยข้อมูลการวิเคราะห์การใช้งานแบบการช่วยเหลือ/การทำงานอัตโนมัติในระดับงานและระดับอาชีพ
- งานที่เกี่ยวข้องกับนักเขียนคำโฆษณาและบรรณาธิการแสดงระดับการทำงานซ้ำร่วมกันสูงสุด (มนุษย์และโมเดลช่วยกันเขียน)
- งานที่เกี่ยวข้องกับนักแปลและล่ามแสดงระดับพฤติกรรมแบบสั่งการสูงสุด (โมเดลทำงานเสร็จโดยมีการมีส่วนร่วมของมนุษย์น้อยที่สุด)
- มีการเปิดเผยระบบจัดหมวดหมู่แบบล่างขึ้นบนสำหรับการใช้งานบน Claude.ai เป็นครั้งแรก
- มีชุดข้อมูลใหม่ที่ประกอบด้วย 630 หมวดหมู่ย่อยอย่างละเอียด
- คาดว่าการจัดหมวดหมู่นี้จะช่วยระบุกรณีใช้งานที่แนวทางแบบบนลงล่างเดิมอาจมองข้ามไป
การเปลี่ยนแปลงหลังการเปิดตัว Claude 3.7 Sonnet
- วิเคราะห์บทสนทนาแบบไม่ระบุตัวตนจำนวน 1 ล้านรายการของ Claude.ai เวอร์ชันฟรีและ Pro ในช่วง 11 วันหลังเปิดตัว
- สัดส่วนการใช้งานในด้านการเขียนโค้ด การศึกษา และวิทยาศาสตร์เพิ่มขึ้นเล็กน้อย
- คาดว่าการเพิ่มขึ้นของการใช้งานด้านการเขียนโค้ดเกิดจากคะแนน benchmark ด้านโค้ดที่ดีขึ้นของ Claude 3.7 Sonnet
- การเพิ่มขึ้นในหมวดหมู่อื่นอาจสะท้อนถึงการแพร่กระจายของ AI ทั่วทั้งเศรษฐกิจ การประยุกต์ใช้การเขียนโค้ดใหม่ในโดเมนเหล่านั้น หรือการพัฒนาความสามารถของโมเดลที่เกินความคาดหมาย
รูปแบบการใช้งานโหมด extended thinking
- โหมด extended thinking ถูกใช้เป็นหลักในสถานการณ์แก้ปัญหาด้านเทคนิคและเชิงสร้างสรรค์
- งานที่เกี่ยวข้องกับนักวิทยาศาสตร์วิจัยด้านคอมพิวเตอร์และสารสนเทศมีการใช้งานสูงสุดเกือบ 10%
- ยังพบอัตราการใช้งานที่สูงพอสมควรในงานที่เกี่ยวข้องกับนักพัฒนาซอฟต์แวร์ (ประมาณ 8%), ศิลปินมัลติมีเดีย (ประมาณ 7%) และนักออกแบบวิดีโอเกม (ประมาณ 6%)
- เพื่อการวิจัยเพิ่มเติมเกี่ยวกับความสามารถใหม่ของโมเดลนี้ ได้มีการเปิดเผยชุดข้อมูลที่แมปสัดส่วนการใช้โหมดคิดกับแต่ละงาน
การเปลี่ยนแปลงของสัดส่วนการช่วยเหลือเทียบกับการทำงานอัตโนมัติ
- สมดุลระหว่างการใช้งานแบบช่วยเหลือและแบบทำงานอัตโนมัติยังคงแทบไม่เปลี่ยนแปลงในข้อมูลใหม่ โดยแบบช่วยเหลือยังคงอยู่ที่ 57%
- พบการเปลี่ยนแปลงบางส่วนในรูปแบบการทำงานอัตโนมัติและการช่วยเหลือ
- ปฏิสัมพันธ์เพื่อการเรียนรู้ที่ผู้ใช้ขอข้อมูลหรือคำอธิบายในหัวข้อต่าง ๆ เพิ่มจาก ~23% เป็น ~28%
- งานด้านบริการสังคมมีอัตราการใช้งานแบบช่วยเหลือเกือบ 75%
- งานที่เกี่ยวข้องกับการผลิต หรืออาชีพด้านคอมพิวเตอร์และคณิตศาสตร์ มีสัดส่วนช่วยเหลือ/อัตโนมัติใกล้เคียง 50-50%
- ไม่มีหมวดหมู่อาชีพใดที่การทำงานอัตโนมัติครองสัดส่วนเด่น
ระบบจัดหมวดหมู่แบบล่างขึ้นบน
- มีการเปิดเผยชุดข้อมูลแบบล่างขึ้นบนเกี่ยวกับการใช้งาน Claude.ai
- สร้างขึ้นโดยใช้ Clio และใช้ชุดข้อมูลบทสนทนาแบบไม่ระบุตัวตนชุดเดียวกัน
- ประกอบด้วยคลัสเตอร์ย่อยอย่างละเอียด 630 กลุ่ม พร้อมคำอธิบาย ตัวชี้วัดการแพร่หลาย และการวิเคราะห์การทำงานอัตโนมัติ/การช่วยเหลือ
- ประกอบด้วยโครงสร้างลำดับชั้น 3 ระดับ
- ตัวอย่างคลัสเตอร์ที่น่าสนใจเป็นพิเศษ:
- การสนับสนุนระบบบริหารจัดการทรัพยากรน้ำและโครงการโครงสร้างพื้นฐาน
- การสร้างการจำลองเชิงฟิสิกส์พร้อมความสามารถด้านภาพแบบโต้ตอบ
- การสนับสนุนการเลือกฟอนต์ การนำไปใช้ และการแก้ปัญหา
- การสนับสนุนการสร้างและปรับปรุงเอกสารสมัครงาน
- การให้คำแนะนำเกี่ยวกับเทคโนโลยีแบตเตอรี่และระบบชาร์จ
บทสรุปและแผนในอนาคต
- เมื่อโมเดลพัฒนาขึ้น การวัดผลกระทบทางเศรษฐกิจก็ควรพัฒนาตามไปด้วย
- ข้อมูลหลังการเปิดตัว Claude 3.7 Sonnet แสดงให้เห็นการเพิ่มขึ้นค่อนข้างเล็กน้อยของกรณีใช้งานด้านการเขียนโค้ด การศึกษา และวิทยาศาสตร์ และไม่มีการเปลี่ยนแปลงในสมดุลระหว่างการช่วยเหลือ/การทำงานอัตโนมัติ
- โหมด extended thinking ถูกใช้บ่อยที่สุดในโดเมนและงานด้านเทคนิค
- พบรูปแบบในแพตเทิร์นการทำงานอัตโนมัติ/การช่วยเหลือในงานและอาชีพต่าง ๆ
- ในอีกไม่กี่เดือนข้างหน้า จะติดตามตัวชี้วัดเหล่านี้ต่อไปและพัฒนาตัวชี้วัดใหม่เมื่อความสามารถดีขึ้นและโมเดลถูกนำไปใช้ทั่วทั้งเศรษฐกิจอย่างต่อเนื่อง
1 ความคิดเห็น
Anthropic Economic Index (ดัชนีเศรษฐกิจ)