ฟีดแบ็กของ Sam Altman และ Greg Brockman ต่อข้ออ้างของนักวิจัยด้านความปลอดภัยของ OpenAI

 (twitter.com/gdb)
1 คะแนน โดย GN⁺ 2024-05-20 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

  • ขอบคุณต่อการมีส่วนร่วมของ Jan และการอธิบายกลยุทธ์

    • ขอบคุณ Jan สำหรับการมีส่วนร่วม และเชื่อว่าเขาจะยังคงช่วยขับเคลื่อนภารกิจนี้จากภายนอกต่อไป
    • ต้องการอธิบายกลยุทธ์ของเราต่อคำถามต่าง ๆ ที่เกิดขึ้นจากการจากไปของเขา

  • การยกระดับการตระหนักรู้ต่อความเสี่ยงและโอกาสของ AGI

    • ยกระดับการตระหนักรู้ต่อความเสี่ยงและโอกาสของ AGI เพื่อให้โลกเตรียมพร้อมได้ดียิ่งขึ้น
    • สาธิตให้เห็นหลายครั้งว่าดีปเลิร์นนิงสามารถขยายขีดความสามารถได้ และวิเคราะห์ความหมายของมัน
    • เคยเรียกร้องให้มีธรรมาภิบาลระดับนานาชาติสำหรับ AGI ซึ่งในเวลานั้นยังไม่ใช่ประเด็นที่ได้รับความนิยม
    • บุกเบิกศาสตร์การประเมินความเสี่ยงระดับหายนะของระบบ AI

  • การวางรากฐานสำหรับการนำระบบที่ปลอดภัยไปใช้งาน

    • กำลังวางรากฐานสำหรับการนำระบบที่มีความสามารถสูงขึ้นเรื่อย ๆ ไปใช้งานอย่างปลอดภัย
    • การทำให้เทคโนโลยีใหม่ปลอดภัยตั้งแต่ครั้งแรกไม่ใช่เรื่องง่าย
    • ได้ทำงานจำนวนมากเพื่อเปิดตัว GPT-4 สู่โลกอย่างปลอดภัย
    • นำบทเรียนจากการใช้งานจริงมาปรับปรุงพฤติกรรมของโมเดลและการติดตามการใช้งานในทางที่ผิดอย่างต่อเนื่อง

  • ความท้าทายในอนาคต

    • อนาคตจะยากกว่าที่ผ่านมา
    • ต้องยกระดับงานด้านความปลอดภัยอย่างต่อเนื่องให้สอดคล้องกับความสำคัญของโมเดลใหม่
    • ได้จัดระบบเรื่องนี้ผ่าน Preparedness Framework ที่นำมาใช้เมื่อปีที่แล้ว

  • มุมมองต่ออนาคต

    • คาดว่าเมื่อโมเดลทรงพลังมากขึ้น มันจะถูกรวมเข้ากับโลกอย่างลึกซึ้งยิ่งขึ้น
    • ผู้ใช้จะไม่ได้โต้ตอบเพียงกับโมเดลเดี่ยวผ่านข้อความเข้าและออกเท่านั้น แต่จะโต้ตอบกับระบบที่ประกอบด้วยโมเดลมัลติโหมดหลายตัวและเครื่องมือต่าง ๆ

  • การพัฒนาระบบที่ปลอดภัยและเป็นประโยชน์

    • เชื่อว่าระบบเหล่านี้จะเป็นประโยชน์และช่วยเหลือผู้คนได้อย่างมาก และจะสามารถให้บริการได้อย่างปลอดภัย
    • การทำเช่นนั้นต้องอาศัยงานพื้นฐานอีกมาก
    • รวมถึงการพิจารณาอย่างรอบคอบต่อสิ่งที่เชื่อมต่อกันระหว่างการฝึก และการหาทางแก้ปัญหาที่ยาก เช่น scalable oversight
    • ขณะสร้างไปในทิศทางนี้ เรายังไม่รู้ว่าจะถึงจุดที่ผ่านเกณฑ์ความปลอดภัยสำหรับการเปิดตัวเมื่อใด แต่หากตารางเปิดตัวต้องล่าช้าก็ไม่เป็นไร

  • วงจรป้อนกลับและการทดสอบอย่างเข้มงวด

    • ตระหนักว่าเราไม่อาจจินตนาการถึงทุกสถานการณ์ในอนาคตที่เป็นไปได้
    • จำเป็นต้องมีวงจรป้อนกลับที่ใกล้ชิดมาก การทดสอบอย่างเข้มงวด การพิจารณาอย่างรอบคอบในทุกขั้นตอน ความปลอดภัยระดับโลก และความสมดุลระหว่างความปลอดภัยกับความสามารถ
    • จะเดินหน้าทำวิจัยด้านความปลอดภัยต่อไปในหลายช่วงเวลา
    • จะสานต่อความร่วมมือกับรัฐบาลและผู้มีส่วนได้ส่วนเสียหลายฝ่าย

  • ความเข้าใจเกี่ยวกับเส้นทางสู่ AGI

    • ยังไม่มีเพลย์บุ๊กที่พิสูจน์แล้วสำหรับการสำรวจเส้นทางไปสู่ AGI
    • ความเข้าใจเชิงประจักษ์จะช่วยชี้ทางไปข้างหน้า
    • ทำงานเพื่อมอบข้อได้เปรียบมหาศาล พร้อมลดทอนความเสี่ยงร้ายแรง
    • เราให้ความสำคัญกับบทบาทของเราอย่างจริงจัง และพิจารณาฟีดแบ็กต่อการกระทำของเราอย่างรอบคอบ

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-05-20
ความเห็นจาก Hacker News

สรุปความคิดเห็นจากคอมเมนต์ใน Hacker News

  • ความกังวลเกี่ยวกับอันตรายของ AI

    • การถกเถียงว่า AI จะนำไปสู่จุดจบของโลกทำให้มองข้ามความเสี่ยงจริงที่กำลังเกิดขึ้นอยู่ตอนนี้
    • พวกมิจฉาชีพกำลังใช้ AI ได้อย่างชำนาญมากขึ้น
    • ผู้คนกำลังโง่ลงเรื่อย ๆ เพราะเชื่อผลลัพธ์ที่ผิดพลาดของ AI แบบไม่ลืมหูลืมตา
    • การสื่อสารทั่วไปกำลังพังทลายลง เพราะผู้คนคัดลอก/วางเนื้อหาที่ AI สร้างขึ้นแทนการสนทนาจริง
    • การเกิดขึ้นของผลิตภัณฑ์แฟนสาว AI ทำให้ความเชื่อมั่นต่ออนาคตของมนุษยชาติลดลง
    • ผู้บริหารระดับสูงของบริษัทต่าง ๆ กำลังปลดพนักงานครั้งใหญ่เพื่อลดต้นทุนและแทนที่ด้วยแชตบอต AI
    • แม้ AI อาจจะไม่ยิงอาวุธนิวเคลียร์ แต่ก็มีความกังวลว่ามันจะมาแทนที่งานของทุกคนและทำให้ผู้มีอำนาจยิ่งมีอำนาจมากขึ้น

  • การบรรเทาความเสี่ยงในบริษัทขนาดใหญ่

    • ผู้นำด้านการบรรเทาความเสี่ยงในบริษัทใหญ่ต้องบริหารความเสี่ยงอย่างสมดุลทั้งด้านกฎหมาย การจัดซื้อ และ IT
    • หากผู้รับผิดชอบด้านการบรรเทาความเสี่ยงถูกเพิกเฉยซ้ำ ๆ สุดท้ายก็จะลาออกไป
    • ความกลัวในระดับเหตุการณ์สูญพันธุ์ที่อาจเกิดจาก AGI อาจถูกพูดเกินจริง
    • หากแทนคำว่า AGI ด้วย "ไม่มีนโยบาย BYOD" ก็จะคล้ายกับกรณีสตาร์ทอัพที่ฝ่ายความปลอดภัยยึดนโยบายไว้แน่นแล้วสุดท้ายก็ต้องจากไป

  • ประโยชน์และข้อจำกัดของ LLM

    • LLM มีประโยชน์กับงานพื้นฐาน แต่ยังไม่พร้อมสำหรับงานที่ซับซ้อนกว่านี้
    • คำเตือนเรื่องความปลอดภัยของ AI ที่เกินจริงอาจเป็นกลยุทธ์เพื่อยกระดับความสำคัญของ OpenAI
    • ยุค AI ปัจจุบันเป็นเพียงการแกล้งทำว่าเครื่องจักรกำลังคิดได้

  • ความเสี่ยงที่แท้จริงของ AI

    • ความเสี่ยงของ AI ไม่ใช่สิ่งมีชีวิตเหนือมนุษย์ที่ควบคุมไม่ได้ แต่เป็นปัญหาที่สมจริงและเกิดขึ้นในชีวิตประจำวันมากกว่า
    • การรู้จำเสียงผิดพลาดเมื่อนำ LLM ไปใช้กับการกลั่นกรองแชต
    • การสรุปรายงานทางทหารแล้วได้ข้อสรุปที่ผิด
    • การเข้าใจรายละเอียดผิดในข่าวจนถูกยอมรับเป็นข้อเท็จจริงทางประวัติศาสตร์
    • ผลกระทบระยะยาวของสิ่งเหล่านี้อาจใหญ่พอ ๆ กับการใช้ LLM เอง

  • การจัดแนว AI และจริยธรรม

    • ไม่มีรายละเอียดที่เป็นรูปธรรมเกี่ยวกับ AI alignment
    • ไม่มีใครรู้ว่า AI alignment จะถูกพัฒนาเมื่อใด
    • จริยธรรม AI และอคติของ AI เป็นคนละประเด็นกับ AI alignment
    • มีความเสี่ยงว่า AI ที่อาจนำไปสู่การสูญพันธุ์ของมนุษย์จะถูกพัฒนาขึ้นก่อนที่ AI alignment จะพัฒนาเสร็จ
    • OpenAI ยังไม่ได้จัดสรรทรัพยากรให้กับ AI alignment อย่างเพียงพอ

  • ความไม่ไว้วางใจต่อการใช้ภาษาขององค์กร

    • การใช้ชื่ออย่าง "Sam และ Greg" เพื่อสื่อความสัมพันธ์แบบเป็นกันเองให้ความรู้สึกเสแสร้ง
    • คำกล่าวอ้างว่ามีการทำงานอย่างมากเพื่อเปิดตัว GPT-4 อย่างปลอดภัยนั้นไม่น่าเชื่อถือ
    • ไม่มีความจำเป็นต้องกังวลเรื่อง superalignment ก่อนที่จะนิยามหรือทดสอบ AGI ได้เสียก่อน
    • ความกลัวว่า AGI จะทำลายมนุษยชาติมาจากความสงสัยว่าอุปกรณ์ที่คิดอย่างมีเหตุผลอาจสรุปได้ว่าควรกำจัดมนุษย์
    • ภาษาขององค์กรเต็มไปด้วยถ้อยคำเสแสร้งและไร้ความหมาย