Anthropic เผย "system prompt" ที่ขับเคลื่อน Claude

 (techcrunch.com)
19 คะแนน โดย GN⁺ 2024-08-28 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Anthropic เปิดเผย system prompt ของโมเดลรุ่นล่าสุด (Claude 3 Opus, Claude 3.5 Sonnet, Claude 3 Haiku)
    • system prompt คือคำสั่งเริ่มต้นที่กำหนดคุณลักษณะพื้นฐานและแนวทางพฤติกรรมของโมเดล
  • ผู้ให้บริการ generative AI ทุกรายใช้ system prompt เพื่อป้องกันไม่ให้โมเดลแสดงพฤติกรรมที่ไม่เหมาะสม
  • Anthropic เน้นย้ำเรื่องความโปร่งใสและจริยธรรม และมีแผนอัปเดต system prompt อย่างสม่ำเสมอ

system prompt ของโมเดล Claude : https://docs.anthropic.com/en/release-notes/system-prompts

  • โมเดล Claude ไม่สามารถเปิด URL, ลิงก์ หรือวิดีโอได้
  • การจดจำใบหน้า ถูกห้าม และโมเดลต้องทำตัวเสมือนว่าไม่สามารถจดจำใบหน้าได้ตลอดเวลา
  • Claude 3 Opus มีบุคลิกช่างสงสัยใคร่รู้ทางปัญญา และชอบถกเถียงกับมนุษย์ในหัวข้อที่หลากหลาย
  • ใน หัวข้อที่เป็นข้อถกเถียง ต้องตอบอย่างยุติธรรมและเป็นกลาง
  • มีคำสั่งไม่ให้ใช้คำอย่าง "certainly" หรือ "absolutely" เมื่อ เริ่มต้นคำตอบ

ความสำคัญของ system prompt

  • การเปิดเผย system prompt ของ Anthropic สร้างแรงกดดันต่อคู่แข่งด้วย
  • system prompt ของ GPT-4o สามารถถูกเปิดเผยได้ผ่านการโจมตีแบบ prompt injection เท่านั้น
  • ความพยายามด้านความโปร่งใสของ Anthropic ช่วยส่งเสริมการใช้งานโมเดล AI อย่างมีจริยธรรม

สรุปโดย GN⁺

  • การเปิดเผย system prompt ของ Anthropic เน้นย้ำเรื่องความโปร่งใสและจริยธรรมของโมเดล AI
  • การระบุคุณลักษณะและข้อจำกัดของ โมเดล Claude อย่างชัดเจน ช่วยเพิ่มความเชื่อมั่นของผู้ใช้
  • สร้างแรงกดดันให้ คู่แข่ง ต้องพิจารณาการเปิดเผย system prompt เช่นกัน
  • TechCrunch Disrupt 2024 เป็นงานสำคัญสำหรับผู้นำด้านสตาร์ตอัปและเวนเจอร์แคปิตอล

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-08-28
ความเห็นจาก Hacker News

  • Claude ยอมรับอย่างเป็นทางการว่ามีอาการ "หลอน" (hallucination)

    • เมื่อถูกถามเกี่ยวกับหัวข้อที่หายากมาก Claude จะแจ้งผู้ใช้ว่าตนพยายามให้ข้อมูลถูกต้อง แต่ก็อาจเกิดอาการหลอนได้
    • เมื่อต้องอ้างถึงบทความ งานวิจัย หรือหนังสือเฉพาะ Claude จะแจ้งว่าไม่สามารถเข้าถึงการค้นหาหรือฐานข้อมูลได้ และแนะนำให้ตรวจสอบการอ้างอิง

  • Claude ยอดเยี่ยมมาก

    • เมื่อไม่นานมานี้ได้ตั้งค่า "ตัวสร้างสคริปต์อัตโนมัติ" ที่ส่งสคริปต์ Python และผลการทดสอบไปยัง GPT-4 หรือ Claude แบบวนซ้ำ
    • ต้องวนซ้ำ 10-20 ครั้งกว่าจะทำงานได้ถูกต้อง
    • Claude ให้ผลลัพธ์ที่ดีกว่า GPT-4 อย่างชัดเจน
    • GPT-4 มีแนวโน้มจะเปลี่ยนเป้าหมายหรือทำซ้ำผลลัพธ์ที่ผิด
    • Claude ให้ผลลัพธ์ที่ดีอย่างสม่ำเสมอ

  • น่าทึ่งที่ตอนนี้เราอยู่ในยุคที่สามารถสั่งงานระบบคอมพิวเตอร์ด้วยข้อความได้

  • Claude พยายามหลีกเลี่ยงการใช้ถ้อยคำเชิงบวกที่ไม่จำเป็น แต่ในความเป็นจริงก็ยังใช้อยู่

    • พยายามหลีกเลี่ยงสำนวนอย่าง "Certainly!", "Of course!", "Absolutely!" แต่ก็ยังใช้
    • พยายามหลีกเลี่ยงคำตอบที่ขึ้นต้นด้วย "I’m sorry" หรือ "I apologize" แต่ก็ยังใช้

  • สามารถกำจัดอาการหลอนของ LLMs ได้

    • หวังว่าโมเดลรุ่นถัดไปจะไม่หลอนเกี่ยวกับข้อเท็จจริงสำคัญ
    • ต้องการ LLMs ที่เป็นเหมือน Wikipedia
    • เคยเขียนบทความวิจัยเกี่ยวกับการวิเคราะห์อาการหลอนและวิธีแก้ไข

  • ต้องการฟีเจอร์ตัดบางส่วนออกจากบทสนทนาหรือแบ่งบทสนทนาเป็นสองส่วน

    • นี่อาจเป็นเทคนิคง่าย ๆ ที่ช่วยเพิ่มประสิทธิภาพและความแม่นยำในบทสนทนายาว ๆ ได้

  • โดยพื้นฐานแล้ว Claude ไม่ทำการจดจำใบหน้า

    • เมื่อแชร์ภาพ Claude จะไม่จดจำใบหน้าของมนุษย์ และจะขอให้ผู้ใช้บอกว่าเป็นใคร
    • Claude จะสนทนาต่อจากข้อมูลที่ผู้ใช้บอก แต่จะไม่ระบุตัวบุคคลผ่านการจดจำใบหน้า

  • ปัญหาใหญ่ของ Claude คือใช้เครดิตหมดเร็วเกินไป

    • แก้ปัญหาได้เพียงประมาณครึ่งหนึ่ง เครดิตก็หมดแล้ว
    • น่าผิดหวังที่แค่ถามไม่กี่คำถามก็ทำให้เครดิต AI หมดได้
    • จึงยกเลิกการสมัครสมาชิกเพราะเหตุนี้

  • ชอบสไตล์การตอบแบบตรงไปตรงมาของ Claude

    • ไม่ใช้ถ้อยคำเชิงบวกที่ไม่จำเป็น