ความจำเป็นในการเปิดเผยแนวทางควบคุมพฤติกรรม AI

 (twitter.com/ID_AA_Carmack)
2 คะแนน โดย GN⁺ 2024-02-22 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ทวีตของ John Carmack อดีตผู้พัฒนาของ Doom และอดีต CTO ของ Oculus

    "แนวรั้วพฤติกรรม AI ที่กำหนดผ่าน prompt engineering และการกรองควรเผยแพร่ต่อสาธารณะ และผู้สร้างควรยืนยันด้วยความภาคภูมิใจถึงวิสัยทัศน์ของตนเองว่าอะไรคือสิ่งที่ดีที่สุดสำหรับสังคม และกระบวนการแปลงวิสัยทัศน์นั้นเป็นคำสั่งและโค้ด ในความเป็นจริงแล้วผมคิดว่าคนส่วนใหญ่มักรู้สึกอายกับเรื่องนี้ แน่นอนว่า nudges เล็กๆ นับพันที่เข้ารหัสผ่าน reinforcement learning จาก feedback ของมนุษย์ จะช่วยให้การปฏิเสธดูเป็นไปได้มากขึ้น"

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-02-22
ความคิดเห็นจาก Hacker News
  • หลังจาก Google ถูกวิจารณ์ว่าระบบรับรู้ภาพเคยจำแนกคนผิวดำเป็นลิงกอริลล่า แสดงว่าดูเหมือนว่าระบบสร้างภาพกำลังพยายามสะท้อนความหลากหลายมากเกินไป
  • แม้ฉันจะไม่เคยมีส่วนเกี่ยวข้องกับการจัดการเนื้อหาในระดับมหาศาลโดยตรง แต่ฉันเข้าใจว่ากฎอัตโนมัติมักไม่ถูกเปิดเผย เพราะเป็นการ 'เข้ารหัส' เพื่อความปลอดภัยบางประเภท ตัวอย่างเช่น หากมีการเผยแพร่รายชื่อคำต้องห้าม ผู้คนก็จะหาวิธีใช้คำที่ไม่อยู่ในรายการนั้นเพื่อสื่อสารเนื้อหาปัญหาได้ง่ายขึ้น อย่างไรก็ตาม ตอนนี้ยังไม่เห็นแนวทางที่ดีกว่านี้
  • Gemini มีปัญหาในการสร้างตัวละครคนผิวขาว ซึ่งอาจทำให้ปัญหาการเหยียดเชื้อชาติเพิ่มความรุนแรงขึ้นได้ ความพยายามด้านความหลากหลาย ความเป็นธรรม และการครอบคลุม (DEI) อาจกลับก่อให้เกิดความล้มเหลวได้ด้วย
  • กลไกความปลอดภัยของ Gemini ตึงเกินไปและมักบล็อกพรอมต์ที่ไม่มีอันตรายซ้ำแล้วซ้ำเล่า แม้ ChatGPT จะมีลักษณะคล้ายกันเช่นกัน แต่ไม่เลวร้ายเท่า Gemini ยังหวังว่าสามารถลดระดับความเข้มข้นของกลไกความปลอดภัยผ่านการสะท้อนความคิดเห็นได้บ้าง แต่คาดว่าปัญหานี้จะยังคงเกิดขึ้นในอีกระยะใกล้ๆ นี้
  • การรัน LLMs (แบบจำลองภาษาใหญ่) และ Stable Diffusion บนเครื่องของตัวเองทำได้ไม่ยาก และสามารถทำงานตามคำขอของผู้ใช้ได้ หากมีคอมพิวเตอร์ที่ทรงพลังพอ ก็อาจทำงานได้เร็วกว่า OpenAI หรือ Gemini ระบบ LM Studio และ AUTOMATIC1111 ช่วยให้การรัน LLMs และ Stable Diffusion บนเครื่องส่วนตัวเป็นเรื่องง่ายมากขึ้น
  • การเซ็นเซอร์จะมีประสิทธิผลได้ก็ต่อเมื่อไม่รู้ว่าอะไรคือสิ่งที่ถูกเซ็นเซอร์ ตัวเนื้อหาที่ถูกเซ็นเซอร์เองก็เป็นการสื่อสารบางอย่างอยู่แล้ว
  • ต้องการเห็นความโปร่งใสมากขึ้นเกี่ยวกับกลไกความปลอดภัยเชิงพฤติกรรมของ AI แต่ไม่คาดหวังว่ามันจะเกิดขึ้นในไม่ช้า ความโปร่งใสอาจทำให้การหลบเลี่ยงกลไกดังกล่าวได้ง่ายขึ้นมาก
  • Google เลือกเส้นทางที่ปลอดภัยขึ้นเพราะรู้ว่าจะทำให้ผู้ใช้โกรธได้ หากขอผู้หญิงคนผิวดำแล้วได้ผู้ชายคนขาวมา แต่ก็ต้องชี้ให้เห็นว่าผลลัพธ์ปัจจุบันนี้ก็ไม่ควรถูกยอมรับ
  • ฉันสนใจอยากรู้ภูมิหลังทางภูมิศาสตร์และภาษาของทีมที่ออกแบบกลไกเหล่านี้ ผลลัพธ์มักสร้างตัวละครของชาวเอเชียใต้ (โดยเฉพาะผู้หญิงเอเชียใต้) และชาวแอฟริกันเป็นหลัก ขณะที่ชาวลาตินแทบไม่ค่อยถูกสร้าง หากเป็นทีมฐานสหรัฐฯ เรื่องนี้อาจเป็นข้อบกพร่องที่ใหญ่หลวง อย่างไรก็ตาม อัตลักษณ์แบบเหมารวมของชาวพื้นเมืองหรือคนเอเชียตะวันออกก็ยังคงถูกสร้างเป็นครั้งคราว
  • สิ่งนี้สามารถทำร้ายคุณได้ มันมีจุดประสงค์เพื่อไม่ให้คุณถูกทำร้าย แต่เราไม่รู้ว่ามันสามารถทำร้ายคุณได้อย่างไร และไม่รู้วิธีที่จะป้องกันอย่างไร