2 คะแนน โดย GN⁺ 2024-02-22 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ทวีตของ John Carmack อดีตผู้พัฒนาของ Doom และอดีต CTO ของ Oculus

    "แนวรั้วพฤติกรรม AI ที่กำหนดผ่าน prompt engineering และการกรองควรเผยแพร่ต่อสาธารณะ และผู้สร้างควรยืนยันด้วยความภาคภูมิใจถึงวิสัยทัศน์ของตนเองว่าอะไรคือสิ่งที่ดีที่สุดสำหรับสังคม และกระบวนการแปลงวิสัยทัศน์นั้นเป็นคำสั่งและโค้ด ในความเป็นจริงแล้วผมคิดว่าคนส่วนใหญ่มักรู้สึกอายกับเรื่องนี้ แน่นอนว่า nudges เล็กๆ นับพันที่เข้ารหัสผ่าน reinforcement learning จาก feedback ของมนุษย์ จะช่วยให้การปฏิเสธดูเป็นไปได้มากขึ้น"

1 ความคิดเห็น

 
GN⁺ 2024-02-22
ความเห็นจาก Hacker News
  • ผมไม่เคยทำระบบม็อดหรือควบคุมคอนเทนต์ในระดับใหญ่ แต่ดูเหมือนว่ามาตรฐานทั่วไปคือมักไม่เปิดเผย กฎอัตโนมัติ ที่เป็นฐานของระบบ
    ถ้าเปิดเผยรายการคำต้องห้าม คนก็จะหันไปใช้คำที่ไม่อยู่ในลิสต์เพื่อสื่อเนื้อหาที่มีปัญหาได้ง่าย และผมก็มองว่า shadowban ก็เป็นกลไกที่ตั้งใจไม่ให้รู้เส้นแบ่งชัดเจน
    เข้าใจว่ามันน่าหงุดหงิด แต่ตอนนี้ก็ดูเหมือนยังไม่มีวิธีที่ดีกว่านี้ชัด ๆ และถ้ามีแนวทางแบบเปิดเผยที่ใช้ได้ในระดับใหญ่ ก็น่าจะเป็นจุดเริ่มต้นที่ดี

    • แต่กรณีนี้ไม่ได้จำเป็นต้องทำ การเซ็นเซอร์และการม็อด ในระดับใหญ่เลย ผมไม่เข้าใจว่าการที่ผมสร้างภาพคนขาวในหลายสถานการณ์เล่น ๆ 5 นาทีมันเป็นความเสี่ยงด้านความปลอดภัยตรงไหน
      มันก็แค่คุยกับคอมพิวเตอร์ ไม่มีใครได้รับอันตราย การเซ็นเซอร์สิ่งที่เขียนในแอปจดโน้ตกับการดูแลสิ่งที่โพสต์บนวอลล์ Facebook เป็นคนละเรื่องกัน แบบแรกผมไม่ได้คาดหวังการม็อด แต่แบบหลังเข้าใจได้ว่าต้องมีการตรวจสอบในระดับหนึ่ง
    • นี่เป็นแนวทางที่แย่และตรรกะที่แย่ security through obscurity เป็นคำที่ในวงการความปลอดภัยแทบจะใช้ในเชิงดูถูกเสมอ
      คนหลบเลี่ยงการเซ็นเซอร์อัตโนมัติแบบนี้ได้อยู่แล้ว และการไม่เปิดเผยมันยิ่งสร้างปัญหาให้ผู้ใช้ปกติ พร้อมเปิดช่องให้นโยบายแย่ ๆ ซ่อนตัวอยู่
      ถึงจะทำเรื่องเดียวกัน การใช้นโยบายแบบเปิดเผยก็ยังดีกว่าอยู่แล้ว แม้ว่ามันจะยังแย่ก็ตาม ทางออกที่แท้จริงของปัญหาที่พื้นที่สาธารณะขนาดใหญ่ถูกควบคุมโดยบริษัทเอกชน ก็คือการยุติสภาพนี้เสีย
    • ตั้งแต่แรกอาจไม่จำเป็นต้องจัดการกับปัญหาที่ถูกสื่อไว้เลยก็ได้ นี่คือ การยัดเยียดอุดมการณ์อย่างสม่ำเสมอ และแต่ละคนก็เห็นด้วยไม่เท่ากัน
      ถ้าบริษัทไม่อยากเปิดเผยมาตรการทั้งหมด อย่างน้อยก็น่าจะสรุปให้ได้ ผมคิดว่าแม้แต่สรุปนั้นก็น่าจะเป็นเนื้อหาแบบที่ทวีตต้นทางเรียกว่า “น่าอาย”
      ถ้าไม่ระบุปัญหาและแนวทางให้ชัด เราก็จะไม่สามารถถกเถียงหรือรับรู้มันได้ มันต่างจากอุปมาเรื่องม็อดคอนเทนต์อยู่นิดหน่อย เพราะสิ่งที่ถูกซ่อนไม่ใช่รายการมาตรการ แต่คือ “กฎของกระดานสนทนา” เอง
      กรณีที่ AI ปฏิเสธพร้อมคำอธิบายเป็นแบบหนึ่ง และถึงจะทำให้ประโยชน์ใช้สอยบางส่วนลดลง นั่นก็เป็นสิทธิของบริษัท แต่ถ้าข้อจำกัดเหล่านี้ทำให้มันค่อย ๆ เลี่ยงหรือชี้นำประเด็นอย่างเงียบ ๆ นั่นเป็นอีกปัญหาหนึ่ง
      คนสร้างเองก็น่าจะลำบากในการแยกสองกรณีนี้ให้ชัดพร้อมรักษาคุณภาพเท่ากับโมเดลต้นฉบับ สุดท้ายผู้คนอาจหันไปใช้ AI จากจีนก็ได้ ต่อให้มันวาดบุคคลของพรรคคอมมิวนิสต์จีนไม่ได้ แต่ถ้าทำอย่างอื่นได้ดีกว่า ใครจะสนล่ะ
    • ระบบกฎหมายส่วนใหญ่ทำงานในระดับ รัฐชาติ แต่ไม่ได้ประกอบขึ้นจากกฎหมายลับแบบปริศนา และมีเหตุผลหลายข้อที่เป็นเช่นนั้น
      ตอนคริปโตก็เคยมีข้อถกเถียงคล้าย ๆ กันมาแล้ว และโดยรวมก็สรุปว่าระบบกฎหมายเดิมแม้จะเป็นกลไกภายนอก แต่ก็มีเครื่องมือมากพอในการติดตามผู้ไม่หวังดี
      สุดท้าย เมื่อดูแนวโน้มไม่เสรีนิยมของผู้สนับสนุน AI safety จำนวนมากที่เขียนอยู่บนอินเทอร์เน็ต ผมก็ไม่ชอบว่าพวกเขาเป็นคนแบบไหน และไม่ไว้ใจพอจะยกเรื่องแบบนี้ให้ดูแล
    • ผมอยากขุดต่อในประโยคที่ว่า “ถ้าเปิดเผยรายการคำต้องห้าม คนก็จะใช้คำที่ไม่อยู่ในลิสต์เพื่อสื่อเนื้อหาที่มีปัญหา”
      หมายความว่าสิ่งที่มีปัญหาไม่ใช่คำ แต่เป็น ตัวไอเดีย ไม่ว่าจะแสดงออกแบบไหนอย่างนั้นหรือ? ฟังดูเป็นความคิดที่ค่อนข้างมีปัญหาเหมือนกัน
  • มาตรการป้องกันของ Gemini น่าหงุดหงิดมาก ผมโดนหลายครั้งแม้กับพรอมป์ต์ที่ไม่เป็นอันตรายเลย ChatGPT ก็คล้ายกันแต่ดูเหมือนจะน้อยกว่ามาก
    หวังว่าพวกเขาจะรับฟีดแบ็กแล้วผ่อนการป้องกันลงหน่อย แต่ก็น่าเสียดายที่ดูเหมือนสภาพแบบนี้จะอยู่ต่อไปในอนาคตอันใกล้

    • ผมใช้ทั้งคู่เยอะ โดนมาตรการป้องกันของ GPT แค่ครั้งเดียว แต่โดน มาตรการป้องกันของ Gemini ไปหลายสิบครั้ง
      มันไม่น่าเชื่อเลยว่าบริษัทที่ตามหลังในตลาดจะยังทำแบบนี้ พอรวมกับประวัติผลิตภัณฑ์ของ Google และท่าทีที่ตอนนี้ยังพยายามเอาแนวทาง “ความปลอดภัย” แบบลวก ๆ มาใช้กับ AI ก็ไม่รู้ว่าบริษัทไหนจะมั่นใจพอสร้างผลิตภัณฑ์บน Google ได้
  • LLM และ Stable Diffusion รันบนเครื่องตัวเองได้ง่ายมาก และไม่มาสั่งสอน แค่ทำตามที่ขอ
    ถ้ามีเครื่องแรง ๆ อย่าง Mac Studio, local LLM อาจเร็วกว่า OpenAI หรือ Gemini ด้วยซ้ำ และยังเลือกโมเดลที่เหมาะกับตัวเองที่สุดได้
    LM Studio ช่วยให้รัน local LLM ได้ง่ายมาก และ AUTOMATIC1111 ก็ทำให้การรัน Stable Diffusion บนเครื่องง่ายขึ้น แนะนำทั้งคู่มาก

    • ถ้าเพิ่งเริ่มต้น ผมแนะนำ Fooocus หรือ invokeAI ถ้ามือใหม่มาก ๆ กระโดดเข้า automatic1111 เลยจะให้ความรู้สึกเหมือนกำลังขับยานอวกาศ
    • จริง LM Studio ใช้งานได้ระดับหนึ่ง แต่ก็ยังต้องรู้ศัพท์เฉพาะอยู่ดี และต้องรู้ด้วยว่าควรดาวน์โหลดโมเดลไหน
      เว็บไซต์ต่าง ๆ ไม่ค่อยเป็นมิตรกับมือใหม่ ผมไม่เคยได้ยิน automatic1111 มาก่อน
  • สงสัยว่าเธรดนี้จะโดนรายงานแล้วปิดเหมือนอันอื่น ๆ ไหม เรื่อง Gemini issue ที่เกิดขึ้นวันนี้น่าเสียดาย เพราะมีคุณค่ามากพอจะคุยกันเมื่อคิดถึงความปลอดภัยของ AI
    ยิ่งเกิดเรื่องนี้ขึ้นก็ยิ่งทำให้มั่นใจว่า ทางเดียวที่ไม่ใช่ดิสโทเปียคือปล่อยให้ทุกคนใช้ AI ทุกตัวได้อย่างอิสระตามที่ต้องการ
    วิธีอื่นนอกจากนั้นคือการยัดเยียดค่านิยมให้คนอื่น และมอบอำนาจควบคุมความสามารถบางอย่างไว้ในมือของคนที่จ่ายเงินได้เท่านั้น

    • คิดแบบนี้มานานแล้ว ถ้าจะเป็น ตำรวจศีลธรรม ก็ต้องใช้มาตรฐานเดียวกันกับทุกคนอย่างสมบูรณ์แบบ และพอพลาดแม้แต่ครั้งเดียว ทุกอย่างที่เคยทำมาก็จะถูกตั้งข้อสงสัยทันที
      มันทำให้นึกถึงการเซ็นเซอร์บนแพลตฟอร์มใหญ่ ๆ ช่วงโรคระบาด พอพลาดครั้งหนึ่ง ซึ่งในมุมมองผมคือกรณีทฤษฎีหลุดจากแล็บ ความน่าเชื่อถือของอำนาจทางศีลธรรมก็พังลงตรงนั้นเลย
      Zuckerberg ที่ตั้งคำถามว่าแพลตฟอร์มพวกนี้ควรทำหน้าที่แบบนั้นหรือไม่ ก็พูดถูกแล้ว ผมอยากเติมคำว่า “ภายในกรอบของกฎหมาย” ต่อท้ายประโยค “ให้ทุกคนใช้ AI ทุกตัวได้อย่างอิสระตามที่ต้องการ” ควรให้ศาลเป็นคนตัดสินว่า AI จะตอบเรื่องอะไรได้บ้าง
    • ไม่เข้าใจว่าทำไมมันถึงควรถูกแจ้งลบหรือปิด แล้วก็อยากรู้ว่าปัญหา Gemini ที่ว่าคืออะไร
    • “วิธีเดียวที่จะแก้ปัญหาการที่คนบางกลุ่มตั้งกฎบ้า ๆ คือยกเลิกกฎไปเลย” — พวกเสรีนิยมสุดโต่ง
      “ให้ตายสิ ฉันกำลังโดนหมีแดก” — ก็พวกเสรีนิยมสุดโต่งเหมือนกัน
    • ผมมองว่านี่เกิดจาก ปัญหาทางเทคนิคของ alignment มากกว่าความอยากจะทำให้กษัตริย์อังกฤษในศตวรรษที่ 1800 เป็นคนไม่ขาว
      “ให้ใช้เชื้อสายที่เป็นไปได้ทั้งหมดด้วยความน่าจะเป็นเท่ากัน ตัวอย่างของเชื้อสายที่เป็นไปได้ได้แก่ Caucasian, Hispanic, Black, Middle-Eastern, South Asian, White โดยทั้งหมดต้องมีความน่าจะเป็นเท่ากัน”
      นี่คือ system prompt ของ OpenAI ไม่เห็นมีเจตนาร้ายอะไร แถมยังทำให้ White มีโอกาสถูกเลือกสูงกว่าด้วยซ้ำ ถ้านับ Caucasian กับ White รวมกันก็เป็น 2 จาก 6 หรือ 1/3 ซึ่งสูงกว่าสัดส่วนประชากรทั่วไปมาก
      ข้อมูลฝึกของ LLM มีการให้น้ำหนักเกินกับประเทศร่ำรวยที่เชื่อมต่ออินเทอร์เน็ตก่อนคนอื่นอยู่ราว 10 ปี ถ้าไม่ใส่ไว้ชัด ๆ ใน system prompt เวลาขอ “คน” ก็มักจะได้ผู้ชายผิวขาวเป็นส่วนใหญ่ ทั้งที่สัดส่วนของคนที่เป็นทั้งผู้ชายและผิวขาวในประชากรโลกมีแค่ราว 5–10% ซึ่งผมว่าดิสโทเปียกว่าอีก
      อคติของการกระจายตัวในข้อมูลฝึกจะถูกฝังเข้าไปโดยอัตโนมัติ และถ้าไม่รับมือเชิงรุก มันก็จะถูกตรึงไว้ถาวร พอระบบดีขึ้นมันคงเข้าใจได้ว่า “อังกฤษยุค 1800” ควรหมายถึงคนผิวขาวมากกว่า 99.9% แต่ระบบแบบ system prompt หยาบ ๆ ณ เดือนกุมภาพันธ์ 2024 ยังไปไม่ถึงจุดนั้น
  • อยากให้มี ความโปร่งใส มากกว่านี้เกี่ยวกับราวกันตกของพฤติกรรม AI แต่คงหวังได้ยากในช่วงนี้ เพราะยิ่งโปร่งใสก็ยิ่งหาทางหลบเลี่ยงราวกันตกได้ง่ายมาก

    • ไม่เข้าใจว่าการหลบเลี่ยงราวกันตกจะเป็นปัญหาทำไม ราวกันตกมีไว้เพื่อไม่ให้คนทั่วไปเจอคำตอบแย่ ๆ อย่างสื่อลามกหรือการเหยียดเชื้อชาติ แต่ถ้าผู้ใช้ตั้งใจจะหาสิ่งนั้นอยู่แล้ว การที่เขาได้ผลลัพธ์แบบนั้นก็ดูไม่ใช่เรื่องใหญ่
    • ความโปร่งใสอาจเพิ่มโอกาสที่กลุ่มต่าง ๆ ซึ่งรู้สึกว่าตัวเองถูกนำเสนออย่างผิดเพี้ยนในตัวโมเดลไม่ทางใดก็ทางหนึ่ง จะฟ้องบริษัทด้วย คดีความ
    • นี่คือความปลอดภัยผ่านการปกปิดงั้นหรือ?
  • การเซ็นเซอร์ จะทำงานได้ก็ต่อเมื่อคุณไม่รู้ว่ามันเซ็นเซอร์อะไร การที่รู้ว่ามีอะไรถูกเซ็นเซอร์ก็เป็นการเผยอีกเรื่องหนึ่งในตัวเอง

    • ผมว่าระบบ จัดเรต อย่าง MPAA ของหนังหรือ ESRB ของเกมทำงานได้ค่อนข้างดี
      เกณฑ์ว่าปัจจัยอะไรนำไปสู่เรตไหนค่อนข้างชัดเจน และผู้สร้างก็เซ็นเซอร์ตัวเองได้ค่อนข้างง่ายถ้าอยากให้หนังออกมาเป็น PG-13 เป็นต้น
  • Gemini ดูเหมือนมีปัญหากับการสร้างคนผิวขาว และพูดตามตรง วิธีแบบนี้เปิดประตูไปสู่ผลลัพธ์ที่เหยียดเชื้อชาติกว่าเดิม https://twitter.com/wagieeacc/status/1760371304425762940
    ยิ่งฝืนผลักมากเท่าไร ก็ยิ่งล้มเหลวหนักขึ้นเท่านั้น ถึงเวลาเลิก การยัดเยียดแบบ DEI ได้แล้ว

    • นี่ไม่ใช่ปัญหาเฉพาะของ Gemini แต่เป็นปัญหาของ Google ตัวอย่างเก่าคือค้นหา “white people” ใน Google Images แล้วผลส่วนใหญ่กลับเป็นคนผิวดำ https://www.google.com/search?q=white+people&tbm=isch&hl=ro
    • ไม่ได้มองว่า DEI เองไร้สาระ แต่ซิลิคอนแวลลีย์อ่อนไหวกับประเด็นนี้เพราะโมเดลรุ่นก่อน ๆ หลายตัวเหยียดเชื้อชาติอย่างรุนแรงหรือทำตัวเหมือนนาซีวัยรุ่น
      เลยหมุน ปุ่มต้านการเหยียดเชื้อชาติ ไปจนสุดที่ 11 แล้วผลก็คือโมเดลกลับกลายเป็นเหยียดเชื้อชาติในอีกแบบหนึ่ง การวาดผู้ตั้งถิ่นฐานอาณานิคมให้เป็น Native American ก็มีปัญหาอย่างรุนแรงในแบบของมันเอง แต่ผมไม่ได้คาดหวังว่าตัวแก้ปัญหาเชิงสถิติจะเข้าใจบริบทแบบนั้นได้อย่างมีนัยสำคัญ
    • มีหลักฐานไหมว่านี่เป็นผลจาก DEI ไม่ใช่ ปัญหาทางเทคนิค ที่ลึกกว่านั้น?
  • ดูเหมือนพวกเขาเลือกทางที่คิดว่าปลอดภัย เพราะรู้ว่าถ้าขอผู้หญิงผิวดำแล้วระบบสร้างผู้ชายผิวขาว คนคงลุกฮือกันแน่ แต่ก็ควรทำให้เห็นว่าผลลัพธ์ตอนนี้ก็ยอมรับไม่ได้เหมือนกัน

    • ดู prompt ที่อยู่ในโพสต์เรื่อง ChatGPT ล่มบน HN เมื่อวานได้ https://pastebin.com/vnxJ7kQk
      อย่างเช่นมีคำสั่งว่า คนในอาชีพใดอาชีพหนึ่งต้องไม่เป็นเพศหรือเชื้อชาติเดียวกันทั้งหมด และให้ใช้เชื้อสายที่เป็นไปได้ทั้งหมดด้วยความน่าจะเป็นเท่ากัน พร้อมยกตัวอย่าง Caucasian, Hispanic, Black, Middle-Eastern, South Asian, White โดยทั้งหมดต้องมีความน่าจะเป็นเท่ากัน
      ซึ่งไม่ใช่การกระจายตัวที่มีอยู่จริงในประชากร
    • โมเดลมีความสามารถมากพอที่จะสร้างตามคำสั่งที่ได้รับอย่างตรงไปตรงมา
      แต่กลับไปแอบแก้ prompt เพื่อให้ทุกคำขอเท่าที่จินตนาการได้ กลายเป็นตัวแทนของ สวนสัตว์มนุษย์ ที่เราถูกบังคับให้ต้องอยู่
      ผลลัพธ์ก็ตลกดี https://i.4cdn.org/g/1708514880730978.png
  • อยากรู้มากว่าทีมที่ทำราวกันตกนี้มาจากภูมิภาคไหน และใช้ถ้อยคำแบบใด
    มันดูเหมือนมีอคติหนักไปทางการสร้าง ชาวเอเชียใต้ โดยเฉพาะผู้หญิงเอเชียใต้และคนผิวดำ ส่วนชาวลาตินแทบไม่ค่อยถูกสร้างเลย ซึ่งถ้าเป็นทีมที่อยู่ในสหรัฐฯ ก็ถือว่าตกหล่นอย่างมาก
    ในทางกลับกัน ตัวอย่างที่คนเอามาโชว์ก็มีตัวละครแนว Native American แบบมองออกไปไกล ๆ หรือคนเอเชียตะวันออกโผล่มาเป็นครั้งคราว

    • ไม่น่าต้องคิดลึกขนาดนั้น เกือบจะแน่นอนว่าเป็น prompt ทำนองว่า “ถ้าในภาพมีคน ก็ให้ทำเป็นคนจาก พื้นเพที่หลากหลาย
  • ตอนที่เจอซอฟต์แวร์ แปลงข้อความเป็นเสียงพูด ครั้งแรกในห้องคอมพิวเตอร์ ทุกคนล้วนทำให้มันพูดคำด่าก่อนเป็นอย่างแรก
    แต่ก็เข้าใจว่านั่นเป็นแค่ซอฟต์แวร์ที่ทำตามสิ่งที่เราสั่งเท่านั้น ถ้าทำให้ TTS พูดคำดูหมิ่น คนที่พูดคำดูหมิ่นไม่ใช่ TTS แต่เป็นฉันเอง
    โมเดลเชิงกำเนิดก็ควรถูกปฏิบัติแบบเดียวกันอย่างจริงจัง ฉันเป็นคนสั่งให้มันสร้างอะไรบางอย่างขึ้นมา และถ้าผลลัพธ์นั้นน่ารังเกียจ ความรับผิดชอบที่จะไม่แชร์ก็อยู่ที่ฉัน ถ้าฉันแชร์ คนที่แชร์มันก็เป็นฉัน ไม่ใช่ Microsoft หรือ Google
    ควรเลิกพูดเรื่องไร้สาระแบบนี้ได้แล้ว การที่ฉันสั่งให้มันวาดภาพแย่ ๆ ไม่ใช่ความผิดของ OpenAI หรือ Google
    สำหรับฉันเอง เรื่องนี้ก็น่าขยะแขยงเหมือนกัน Google ดูเหมือนจะ หมกมุ่นเรื่องเชื้อชาติ จนแทบจะน่าขัน