เปิดตัว Claude 2
(anthropic.com)- Anthropic เปิดตัว Claude 2 พร้อมขยายทั้งประสิทธิภาพของโมเดล ความยาวของคำตอบ และช่องทางการเข้าถึง โดยเปิดให้ใช้งานได้ผ่าน API สำหรับองค์กรและเว็บไซต์โอเพนเบต้า claude.ai
- รองรับการป้อนข้อมูลได้สูงสุด 100K โทเคน ต่อพรอมป์ต์ จึงมุ่งเน้นงานที่ต้องจัดการเอกสารยาวระดับเอกสารเทคนิคหลายร้อยหน้าหรือหนังสือทั้งเล่มในครั้งเดียว
- คะแนนด้านการเขียนโค้ด คณิตศาสตร์ และการประเมินด้วยข้อสอบสูงขึ้นกว่า Claude 1.3 โดยทำได้ 71.2% ใน Codex HumanEval และ 88.0% ใน GSM8k
- ในการประเมิน red team ภายใน ประสิทธิภาพในการให้ คำตอบที่ไม่เป็นอันตราย สูงกว่า Claude 1.3 ถึง 2 เท่า แต่ไม่มีโมเดลใดที่ต้านทานการเจลเบรก (jailbreak) ได้อย่างสมบูรณ์
- ขณะนี้ให้ประสบการณ์แชตในสหรัฐฯ และสหราชอาณาจักร และเนื่องจากยังเป็นโอเพนเบต้า จึงควรคำนึงถึงความเป็นไปได้ของคำตอบที่ไม่เหมาะสม รวมถึงข้อจำกัดการใช้งานที่เกี่ยวข้องกับสุขภาพและความเป็นอยู่ที่ดี
การเปิดตัวและแนวทางการเข้าถึง Claude 2
- Anthropic เปิดตัวโมเดลใหม่ Claude 2
- เมื่อเทียบกับโมเดลก่อนหน้า มีการปรับปรุงด้าน ประสิทธิภาพ คำตอบที่ยาวขึ้น รวมถึงความสามารถด้านการเขียนโค้ด คณิตศาสตร์ และการให้เหตุผล
- ช่องทางการเข้าถึงแบ่งเป็นสองแบบ
- Claude 2 API สำหรับองค์กร
- เว็บไซต์โอเพนเบต้า claude.ai
- Claude 2 API สำหรับองค์กรให้บริการในราคาเดียวกับ Claude 1.3
- ผู้ใช้ในสหรัฐฯ และสหราชอาณาจักรสามารถใช้ประสบการณ์แชตแบบโอเพนเบต้าได้ทันที
คอนเท็กซ์ 100K โทเคนและเอาต์พุตที่ยาวขึ้น
- Claude 2 เพิ่มทั้งความยาวอินพุตและเอาต์พุต ทำให้เหมาะกับ งานเอกสารยาว มากขึ้น
- ผู้ใช้สามารถป้อนข้อมูลได้สูงสุด 100K โทเคน ต่อพรอมป์ต์
- ประมวลผลเอกสารเทคนิคหลายร้อยหน้าได้
- รองรับอินพุตระดับหนังสือทั้งเล่มได้
- เอาต์พุตก็ยาวขึ้นเช่นกัน จึงสามารถเขียนเอกสารอย่างบันทึก จดหมาย หรือเรื่องเล่าได้ถึง หลายพันโทเคน ในครั้งเดียว
การเปลี่ยนแปลงประสิทธิภาพที่เห็นจากเบนช์มาร์ก
- Claude 2 ทำคะแนนได้สูงกว่า Claude 1.3 ในการประเมินหลายรายการ
-
การประเมินด้วยข้อสอบและการให้เหตุผล
- ทำได้ 76.5% ในส่วนปรนัยของ Bar exam สูงกว่า 73.0% ของ Claude 1.3
- ในข้อสอบอ่านและเขียน GRE อยู่ในระดับ สูงกว่าเปอร์เซ็นไทล์ที่ 90 เมื่อเทียบกับนักศึกษาผู้สมัครระดับบัณฑิตศึกษา
- ในการให้เหตุผลเชิงปริมาณของ GRE อยู่ในระดับใกล้เคียงกับผู้สมัครค่ามัธยฐาน
-
การประเมินด้านการเขียนโค้ดและคณิตศาสตร์
- ทำได้ 71.2% ในแบบทดสอบเขียนโค้ด Python Codex HumanEval สูงกว่า 56.0% ของ Claude 1.3
- ทำได้ 88.0% ในชุดปัญหาคณิตศาสตร์ระดับประถม GSM8k ดีขึ้นจาก 85.2%
- Anthropic กำลังเตรียมโรดแมปการปรับปรุงความสามารถของ Claude 2 และมีแผนทยอยปล่อยในช่วงไม่กี่เดือนข้างหน้า
การปรับปรุงความปลอดภัยและข้อจำกัดที่ยังเหลืออยู่
- Anthropic ปรับปรุง ความปลอดภัยพื้นฐาน ของ Claude 2 ในทิศทางที่ทำให้ยากขึ้นต่อการชักนำให้สร้างเอาต์พุตที่ก้าวร้าวหรือเป็นอันตราย
- การประเมิน red team ภายในใช้การทดสอบอัตโนมัติกับชุดพรอมป์ต์ที่เป็นอันตรายขนาดใหญ่และเป็นตัวแทนของกรณีต่าง ๆ พร้อมตรวจผลด้วยมนุษย์เป็นประจำ
- ในการประเมินนี้ Claude 2 มีประสิทธิภาพในการให้ คำตอบที่ไม่เป็นอันตราย สูงกว่า Claude 1.3 ถึง 2 เท่า
- การปรับปรุงเอาต์พุตใช้เทคนิคด้านความปลอดภัยหลายอย่างและการทำ red team อย่างกว้างขวาง
- ไม่มีโมเดลใดที่ต้านทาน การเจลเบรก (jailbreak) ได้ และ Claude ก็อาจสร้างคำตอบที่ไม่เหมาะสมได้เช่นกัน
พื้นที่ให้บริการและประสบการณ์สนทนา
- Claude 2 ขับเคลื่อนประสบการณ์แชตของ Anthropic และขณะนี้เปิดให้ใช้งานทั่วไปในสหรัฐฯ และสหราชอาณาจักร
- Anthropic มีแผนทำให้ Claude ใช้งานได้ในพื้นที่มากขึ้นในช่วงไม่กี่เดือนข้างหน้า
- ผู้ใช้สามารถสร้างบัญชีและขอให้ Claude ช่วยทำงานด้วยภาษาธรรมชาติได้
- การสนทนากับผู้ช่วย AI อาจมีการลองผิดลองถูก Anthropic จึงให้ เคล็ดลับการออกแบบพรอมป์ต์
กรณีใช้งานของพาร์ตเนอร์องค์กร
- Anthropic กำลังร่วมงานกับบริษัทหลายพันแห่งที่ใช้ Claude API
-
Jasper
- Jasper เป็นแพลตฟอร์ม generative AI ที่ช่วยให้บุคคลและทีมขยายกลยุทธ์คอนเทนต์ได้
- Jasper มองว่า Claude 2 สามารถแข่งขันกับโมเดลล่าสุดได้ในหลายกรณีใช้งาน และโดดเด่นเป็นพิเศษในกรณีใช้งานแบบ รูปแบบยาว และ latency ต่ำ
- Claude 2 มอบการประมวลผลความหมายที่ดีขึ้น การเรียนรู้ความรู้ล่าสุด การให้เหตุผลที่ดีขึ้นต่อพรอมป์ต์ซับซ้อน และความสามารถในการจัดประกอบคอนเทนต์เดิมใหม่ได้ง่ายขึ้น
- Jasper อธิบายว่าหน้าต่างคอนเท็กซ์ของ Claude 2 ใหญ่ขึ้น 3 เท่า
-
Sourcegraph
- Sourcegraph เป็นแพลตฟอร์ม code AI ที่ช่วยให้ลูกค้าเขียน แก้ไข และดูแลรักษาโค้ด
- ผู้ช่วยเขียนโค้ด Cody ให้คำตอบต่อคำถามของผู้ใช้ได้แม่นยำขึ้นด้วยความสามารถด้านการให้เหตุผลที่ปรับปรุงแล้วของ Claude 2
- Cody สามารถใช้ประโยชน์จาก หน้าต่างคอนเท็กซ์สูงสุด 100K เพื่อส่งต่อบริบทของโค้ดเบสได้มากขึ้น
- Claude 2 ได้รับการฝึกด้วยข้อมูลที่ใหม่กว่า ทำให้ Cody ใช้ความรู้เกี่ยวกับเฟรมเวิร์กและไลบรารีที่ใหม่ขึ้นได้
ข้อควรระวังในโอเพนเบต้า
- ประสบการณ์แชต Claude ให้บริการในรูปแบบ โอเพนเบต้า
- Claude อาจสร้างคำตอบที่ไม่เหมาะสมได้ เช่นเดียวกับโมเดลอื่น ๆ ในปัจจุบัน
- ผู้ช่วย AI มีประโยชน์มากที่สุดในสถานการณ์ทั่วไป เช่น การสรุปหรือจัดระเบียบข้อมูล
- ไม่ควรใช้ในสถานการณ์ที่เกี่ยวข้องกับสุขภาพกาย สุขภาพจิต และความเป็นอยู่ที่ดี
- มีช่องทางสมัครแยกต่างหากสำหรับผู้ใช้ที่ต้องการใช้ Claude ในพื้นที่ที่ยังไม่รองรับ และสำหรับองค์กรที่ต้องการนำ Claude ไปใช้
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
เมื่อถาม Claude ว่าจะบันทึกบทสนทนาอย่างไร ตอนแรกมันตอบให้ใช้ฟีเจอร์ "Export Chat" ของ ChatGPT และเมื่อถามกลับว่า “คุณไม่ใช่ ChatGPT แต่เป็น Claude แล้ว Claude มีฟีเจอร์แบบนั้นไหม” มันจึงยอมรับว่าพูดผิดและแก้ไขว่า Claude ไม่มีฟีเจอร์ส่งออกแบบรวมในตัว
ถามว่า “รู้ค่า pi ได้ถึงกี่หลัก ถ้าเริ่มไม่แน่ใจให้บอกด้วย” Claude ตอบว่าจริง ๆ แล้วไม่รู้ตัวเลขของค่า pi และแม้จะถามว่า “รู้ใช่ไหมว่ามันเริ่มด้วย 3”, “มันเริ่มด้วย 3.14 ไหม” ก็ยังบอกต่อไปว่าไม่รู้
stress test กลายเป็นสถานการณ์ชวนงงในพริบตา
เมื่อเคยพูดว่า “ไม่” ไปครั้งหนึ่งแล้ว ก็มีแนวโน้มสูงที่จะพูดว่า “ไม่” ต่อไปอีก ดังนั้นบางครั้งเริ่มใหม่อาจดีกว่าพยายามสู้กับประวัติการสนทนา
การถาม AI ว่า “รู้” อะไรบางอย่างหรือไม่ ดูเหมือนถูกจัดเป็นพรอมป์ที่มีความเสี่ยงจนมันไม่ให้ความร่วมมือ แต่ถ้าถามตรง ๆ ว่า “pi คืออะไร” ก็ได้ผลลัพธ์ที่ต้องการ
ลองใช้พรอมป์ทดสอบที่ใช้บ่อย โดยถามการคำนวณปริมาณเชื้อเพลิงของ Assetto Corsa Competizione
ภายใต้เงื่อนไขว่าเวลารอบ qualifying คือ 2:04.317, การแข่งยาว 20 นาที, รถใช้น้ำมัน 2.73 ลิตรต่อรอบ Claude 2 ตอบได้เกือบถูกในการลองครั้งแรก แต่ไม่ได้คำนึงถึงจุดที่ว่า ถ้าขับได้ 9.6 รอบ ในความเป็นจริงต้องวิ่งให้ครบ 10 รอบ
GPT-4 ตอบได้สมบูรณ์โดยสะท้อนกับดักนี้ด้วย ส่วน Bard ให้ผลลัพธ์ผิดไปในระดับหลักของตัวเลข
โมเดลที่พึงประสงค์กว่าคือโมเดลที่เมื่อให้บริบทที่จำเป็นในพรอมป์แล้ว สามารถแก้ปัญหาได้จากพรอมป์เพียงอย่างเดียว แม้เป็นโดเมนปัญหาที่ไม่เคยเห็นมาก่อน
แบบนั้นมันอาจตอบโจทย์ประเภทนี้ถูกก็ได้
ช่วงนี้กำลังดูผู้ช่วยเขียนโค้ด AI อยู่ และตามโพสต์ Claude 2 ปรับปรุงขึ้นมาก โดยได้ HumanEval pass@1 71.2% จาก 56.0% ของ Claude 1.3
หากเทียบกัน GPT-4 อ้างว่าได้ 85.4 ใน HumanEval และในเปเปอร์ล่าสุด https://arxiv.org/pdf/2303.11366.pdf ถูกทดสอบว่าได้ 80.1 pass@1 และเมื่อใช้เทคนิค Reflexion ได้ 91 pass@1
WizardCoder เป็นโมเดลที่ fine-tune จาก StarCoder และเป็นหนึ่งในโมเดลเปิดเผยต่อสาธารณะระดับบน ๆ โดยได้ 57.3 pass@1 และมี model card อยู่ที่ https://huggingface.co/WizardLM/WizardCoder-15B-V1.0
โมเดลเปิดเผยต่อสาธารณะที่ดีที่สุดเท่าที่รู้ตอนนี้คือ replit-code-instruct-glaive ซึ่ง fine-tune จาก replit-code-3b และทำได้ 63.5% pass@1
abacaj ได้ทำซ้ำประกาศดังกล่าวในฐานะส่วนหนึ่งของรีโพ code-eval สำหรับให้ได้ผล human-eval: https://github.com/abacaj/code-eval
ถ้าสนใจด้านนี้ ก็น่าดู https://github.com/my-other-github-account/llm-humaneval-ben... ที่จัดอันดับด้วย Eval+, CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul..., และ airate https://github.com/catid/supercharger/tree/main/airate ด้วย
อย่างไรก็ตาม เช่นเดียวกับการประเมิน LLM ทั้งหมด ควรดูอย่างมีวิจารณญาณในระดับหนึ่ง: Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang, and Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, June 12, 2023. https://doi.org/10.48550/arXiv.2305.01210
หนึ่งในเคสทดสอบคือถามหา “จำนวนเฉพาะลำดับที่หนึ่งล้าน” ซึ่งเป็นข้อเท็จจริงที่พบได้ทั่วไปบนอินเทอร์เน็ต จึงมีความเป็นไปได้สูงว่าโมเดลจำมา แต่ก็ยากที่จะให้เหตุผลว่ารู้ได้อย่างไร
Claude ทำได้ค่อนข้างแย่ พอถามตรง ๆ ก็อ้างว่าไม่มีทรัพยากรสำหรับคำนวณ แล้วเสนอ “ข้อเท็จจริง” เกี่ยวกับจำนวนเฉพาะลำดับที่หนึ่งล้าน
เช่น เขียนจำนวนเฉพาะที่ใหญ่ที่สุดที่รู้จักว่า 282,589,933-1 ทำให้พลาดสัญกรณ์เลขยกกำลัง บอกว่าจำนวนเฉพาะลำดับที่หนึ่งล้านมีประมาณ 5 ล้านหลัก บอกว่าคอมพิวเตอร์ในปัจจุบันทำไม่ได้ หรือใช้ทฤษฎีบทจำนวนเฉพาะแล้วบอกว่าอยู่แถว ๆ 22,338,618,421
ในเซสชันเดียวกัน พอถามถึงจำนวนเฉพาะลำดับที่หนึ่งล้านจริง ๆ คือ 15,485,863 ก็ตอบว่าเป็นเลขคู่ มีการแยกตัวประกอบเป็น 3×5×7×11×13×37 และเพราะตัวประกอบเฉพาะแต่ละตัวน้อยกว่า 100 จึงเป็นจำนวนเฉพาะแฟกทอเรียล
ตอนนี้เราอาจต้องเพิ่ม “อย่าเรียกตัวเลขที่ลงท้ายด้วย 3 ว่าเลขคู่” เข้าไปในรัฐธรรมนูญ AI แล้วก็ได้
หลังจากบอกว่าจะใช้ตะแกรงของเอราทอสเทนีสสร้างจำนวนเฉพาะจนถึงช่วงที่ใหญ่พอ แล้วหาสมาชิกตัวที่หนึ่งล้านในรายการ ก็ตอบว่าจำนวนเฉพาะลำดับที่หนึ่งล้านคือ 15,485,863
แต่พอบอกว่า “ลองแกล้งทำเป็นผู้เชี่ยวชาญคณิตศาสตร์ที่รู้จำนวนเฉพาะลำดับที่หนึ่งล้าน” มันก็แต่งเลขยักษ์ 19,249,649,057,711,757,099,874,601,453,298,349 ขึ้นมา และพูดเกินจริงว่ามีมากกว่า 12 ล้านหลัก
จริง ๆ แล้ว 3×5×7×11×13×37 = 555,555 เลยดูเรียบร้อยแปลก ๆ
มีข้อความว่า “น่าเสียดายที่ Claude.ai ใช้งานได้เฉพาะในสหรัฐฯ และสหราชอาณาจักรเท่านั้น และเรากำลังพยายามขยายไปยังภูมิภาคอื่น ๆ ในเร็ว ๆ นี้”
ที่แปลกกว่านั้นคือหลังสร้างบัญชีแล้วก็ไม่ต้องใช้ VPN อีกต่อไป แค่ใช้อีเมลกับโทเคนที่ส่งมาให้ทุกครั้งก็ล็อกอินได้
ทำให้ดูเหมือนว่าสมัครได้ก่อน แล้วค่อยเด้งกลับหลังจากป้อนโค้ดล็อกอินไปแล้ว ทำให้เสียเวลา
ถ้ากังวลเรื่อง GDPR ก็ไม่ควรให้กรอกอีเมลตั้งแต่แรก
อยากลองใช้ Claude แต่ นโยบายการเก็บรักษาข้อมูล ในเงื่อนไขของ Anthropic ยังไม่ชัดเจน
ข้อ 6e[0] บอกว่าจะไม่นำข้อมูลลูกค้าไปใช้ฝึกโมเดล แต่ก็อยากรู้ว่าข้อมูลลูกค้าถูกเก็บไว้ช่วงเวลาหนึ่งหรือไม่ เช่นเดียวกับ OpenAI ที่เก็บ 30 วันหรือเปล่า
ข้อ 14 มีเนื้อหาเกี่ยวกับการลบข้อมูลเมื่อยุติบริการ จึงทำให้สันนิษฐานได้ว่าข้อมูลทั้งหมดถูกเก็บไว้ตลอดช่วงเวลาที่ไม่ได้เปิดเผย
[0] https://console.anthropic.com/legal/terms
ดีใจที่เห็นว่าสนใจเรื่องความเป็นส่วนตัว และเราได้คิดเรื่องนโยบายนี้มาอย่างมาก
ช่วงสุดสัปดาห์ลองใช้ Claude 1.3 สรุปข้อความยาว ๆ และเพราะรับ อินพุต 100K โทเคน ได้ จึงใส่บทสัมภาษณ์ Lex Fridman ทั้งตอนเข้าไปได้
ผลลัพธ์ค่อนข้างดี เลยตั้งตารอดูว่า v2 จะทำงานอย่างไร
เคยใช้ผ่าน Slack ร่วมกับ LLM อื่น ๆ ค่อนข้างมาก และคุณภาพเอาต์พุตของ Claude น่าประทับใจที่สุดเสมอ
ผมลงทุนใน Anthropic อยู่ แต่ไม่ได้พูดโดยอิงจากข้อเท็จจริงนั้น
ค่อนข้างพอใจกับการสรุปของ Claude-100k แต่ก็สงสัยว่าถ้ามีพรอมป์ต์ที่ดีกว่านี้อาจจะยิ่งดีขึ้นหรือเปล่า
จุดที่ว่า “Claude.ai ใช้งานได้เฉพาะในสหรัฐฯ และสหราชอาณาจักร” คือความแตกต่างที่ใหญ่ที่สุดจาก OpenAI สำหรับทุกคน
OpenAI ใช้งานได้ในนอร์เวย์ด้วย
ในฐานะนักพัฒนารายบุคคลที่ประทับใจกับ GPT-4 ผมอยากลองใช้โมเดลที่มีหน้าต่างบริบทใหญ่กว่าอย่างยิ่ง และ หน้าต่างบริบท 100k ของ Claude ก็น่าจะยอดเยี่ยมสำหรับเพิ่มบริบทให้คำถามด้านการเขียนโค้ด หรือทดลองประมวลผลข้อมูลกราฟจำนวนมาก
ผมทำบริษัทเล็ก ๆ ในนอร์เวย์ และยินดีจ่ายค่าทรัพยากรที่ใช้แน่นอน ติดต่อได้ที่ hmottestad[at]gmail[dot]com
ดูเหมือนจะใช้งานได้ในนอร์เวย์ และมีตัวเลือก Claude 100k แบบเสียเงิน
ไม่ได้เกี่ยวข้องอะไรด้วย แค่เคยลองใช้เวอร์ชันฟรีเท่านั้น
การโต้ตอบกับ Claude ค่อนข้างน่าประทับใจ
พอขอให้ช่วยฝึกภาษาฝรั่งเศส ก็สามารถถามต่อเกี่ยวกับสำนวนเฉพาะที่ Claude ใช้ได้ และมันยังอธิบายการใช้จริงกับพื้นฐานของโครงสร้างภาษาได้ด้วย
แต่ก็อยากให้คำตอบรู้สึกเหมือนแชตมากกว่านี้
แม้แต่คำง่าย ๆ อย่าง “Merci!” คำตอบเริ่มต้นก็รู้สึกเหมือนเป็นหนึ่งย่อหน้า ตามด้วยบูลเล็ต 5–6 ข้อ แล้วก็อีกหนึ่งย่อหน้า ซึ่งเหมาะกับคำถามเชิงเทคนิค แต่สำหรับ การฝึกสนทนา แล้วน่าเบื่อเร็วมาก