Yann LeCun: ฉากทัศน์วันสิ้นโลกที่แท้จริงคือ ‘ผู้ถือครอง AI 1%’ ยึดอำนาจถาวร

 (businessinsider.com)
1 คะแนน โดย GN⁺ 2023-11-03 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Yann LeCun หัวหน้านักวิทยาศาสตร์ AI ของ Meta มองว่าความเสี่ยงที่แท้จริงของ AI ไม่ใช่การล่มสลายของมนุษยชาติ แต่คือการควบคุมระยะยาวโดยบริษัทเพียงไม่กี่ราย
  • ประเด็นวิจารณ์มุ่งไปที่ Sam Altman, Demis Hassabis และ Dario Amodei ว่าใช้การถกเถียงเรื่องความปลอดภัยของ AI เป็นแนวหน้าในการ ปลุกปั่นความกลัว และล็อบบี้เชิงองค์กร
  • ในเดือนมีนาคม 2023 ผู้นำเทคโนโลยีกว่า 1,000 คนลงนามในจดหมายเปิดผนึกให้หยุดการพัฒนา AI เป็นเวลา 6 เดือน ทำให้ข้อถกเถียงเรื่องความเสี่ยงของ AI ลุกลามไปสู่ประเด็นการกำกับดูแลอุตสาหกรรมและโครงสร้างอำนาจ
  • LeCun มองว่ามุมมองแบบ hard take-off ที่ว่า “ทันทีที่เปิดใช้ superintelligence มนุษยชาติก็จบสิ้น” เป็นการพูดเกินจริง และประเด็นที่แท้จริงคือ AI ถูกพัฒนาและเปิดเผยอย่างไร
  • หากการพัฒนา AI ถูกขับเคลื่อนโดยบริษัทปิดเชิงพาณิชย์เป็นหลักพร้อมกับการหดตัวของ โอเพนซอร์ส AI บริษัทเพียงไม่กี่แห่งอาจเป็นผู้กำหนดทั้งแพลตฟอร์มและสภาพแวดล้อมดิจิทัลของผู้คน

ความกังวลของ LeCun: ไม่ใช่วันสิ้นโลก แต่เป็นการยึดกุมกฎระเบียบ

  • Yann LeCun มองว่าภัยคุกคามของ AI ที่สมจริงกว่าคือ การรวมศูนย์อำนาจ
    • เขากังวลถึงสถานการณ์ที่ “one-percenters” เพียงไม่กี่รายผูกขาดความมั่งคั่งจาก AI และกีดกันคนที่เหลือออกไป
  • ในโพสต์บน X เขาเอ่ยถึง Sam Altman แห่ง OpenAI, Demis Hassabis แห่ง Google DeepMind และ Dario Amodei แห่ง Anthropic โดยตรง
    • เขาวิพากษ์วิจารณ์ว่าคนเหล่านี้กำลังทำ ล็อบบี้องค์กรขนาดใหญ่ ในการถกเถียงเรื่องกฎระเบียบความปลอดภัยของ AI
    • หากความพยายามนั้นสำเร็จ ก็จะกลายเป็น “บริษัทไม่กี่แห่งควบคุม AI” และ LeCun เรียกสิ่งนี้ว่า “catastrophe”
  • Altman, Hassabis และ Amodei ไม่ได้ตอบคำขอความเห็นจาก Insider ในทันที
  • คำพูดดังกล่าวเกิดขึ้นเพื่อตอบสนองต่อ โพสต์บน X ของ Max Tegmark นักฟิสิกส์
    • Tegmark มองว่า LeCun ไม่ได้ให้ความสำคัญกับความเสี่ยงเชิงหายนะของ AI อย่างจริงจังเพียงพอ
    • เขาอ้างถึงการประชุมสุดยอดความปลอดภัย AI ระดับโลกของสหราชอาณาจักร และกล่าวว่าการถกเถียงเรื่องความเสี่ยงต่อการดำรงอยู่ของ AI โดย Turing, Hinton, Bengio, Russell, Altman, Hassabis และ Amodei ไม่อาจโต้แย้งได้เพียงด้วยความเย้ยหยันหรือการล็อบบี้ขององค์กร

ความตึงเครียดระหว่างวาทกรรมแห่งความกลัวกับโอเพนซอร์ส AI

  • หลังการเปิดตัว ChatGPT อิทธิพลต่อสาธารณะของบุคคลสำคัญในอุตสาหกรรม AI เพิ่มขึ้นอย่างมาก และ LeCun มองว่าผู้ก่อตั้งบางคนใช้เวลาอย่างมากไปกับการ ขยายความกลัวต่อเทคโนโลยีที่ตนเองกำลังขาย
  • ในเดือนมีนาคม 2023 ผู้นำเทคโนโลยีกว่า 1,000 คน เช่น Elon Musk, Altman, Hassabis และ Amodei ลงนามในจดหมายเปิดผนึกให้หยุดการพัฒนา AI อย่างน้อย 6 เดือน
    • จดหมายเตือนว่าระบบ AI สมมุติอาจก่อให้เกิด “ความเสี่ยงอย่างลึกซึ้งต่อสังคมและมนุษยชาติ”
    • Tegmark ซึ่งเป็นหนึ่งในผู้ลงนาม เรียกการแข่งขันพัฒนา AI ว่า “suicide race”
  • LeCun และนักวิจารณ์คนอื่น ๆ มองว่าคำเตือนลักษณะนี้อาจช่วยตอกย้ำอำนาจ และทำให้ความเสี่ยงเร่งด่วนของ AI ถูกเบี่ยงเบนความสนใจ
    • Distributed AI Research Institute ยกการเอารัดเอาเปรียบแรงงานและการขโมยข้อมูลเป็นความเสี่ยงที่เกิดขึ้นจริง พร้อมมองว่าผลประโยชน์จากสิ่งเหล่านี้ไหลไปยัง “หน่วยงานเพียงไม่กี่แห่ง”
  • LeCun มองว่าผู้คนกำลัง “หายใจเกินกับความเสี่ยงของ AI” เพราะมายาคติเรื่อง “hard take-off”
    • hard take-off คือแนวคิดที่ว่าเมื่อเปิดใช้งานระบบ superintelligence มนุษยชาติก็จะสิ้นสุดลงทันที
    • LeCun มองว่าในความเป็นจริง เทคโนโลยีใหม่ต้องผ่านกระบวนการพัฒนาที่เป็นระเบียบก่อนจะถูกกระจายใช้งานในวงกว้าง

ประเด็นสำคัญคือ AI ถูกพัฒนาอย่างไร

  • สำหรับ LeCun จุดที่ควรโฟกัสตอนนี้ไม่ใช่สมรรถนะของ AI เอง แต่คือ วิธีการพัฒนา
    • เขามองว่าสถานการณ์ที่การพัฒนา AI ถูกขังอยู่ในบริษัทเอกชนเชิงพาณิชย์แบบปิด และผลลัพธ์ไม่ถูกเปิดเผย เป็นสิ่งที่อันตราย
    • เขายังกังวลถึงสถานการณ์ที่ชุมชนโอเพนซอร์ส AI อาจหายไป
  • Meta เปิด LLaMa 2 โมเดลภาษาขนาดใหญ่ที่แข่งขันกับ GPT ในลักษณะกึ่งโอเพนซอร์ส
  • LeCun มองว่าหากโอเพนซอร์ส AI หายไปเพราะกฎระเบียบ บริษัทเพียงไม่กี่แห่งบนชายฝั่งตะวันตกของสหรัฐฯ และในจีนจะเป็นผู้ควบคุมทั้งแพลตฟอร์ม AI และ อาหารดิจิทัลทั้งหมด ของผู้คน
    • สถานการณ์เช่นนี้นำไปสู่คำถามเกี่ยวกับประชาธิปไตยและความหลากหลายทางวัฒนธรรม

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-11-03
ความคิดเห็นบน Hacker News

  • แคชของ Archive.is: https://archive.is/HbRLy

  • วิธีที่ผู้เล่นรายใหญ่เดิมใช้ข้ออ้างที่เกินจริงอย่าง X-Risk และการสูญพันธุ์ของมนุษยชาติแบบฉับพลัน เพื่อพยายามยึดอำนาจผ่าน regulatory capture ดูเหมือนเป็นหนึ่งในกลยุทธ์ที่เย็นชาที่สุดเท่าที่เคยเห็นมาในวงการเทคโนโลยี
    โอเพนซอร์สเป็นหนึ่งในของขวัญที่ยิ่งใหญ่ที่สุดที่เรามี แต่การพยายามปิด AI ด้วยไลเซนส์ไร้สาระและภาระหน้าที่ในการรายงานนั้นไม่สมเหตุสมผลเลย
    การใช้ซอฟต์แวร์ในทางมุ่งร้ายหรือแบบละเมิดสิทธิสามารถจัดการได้ด้วยกฎหมายที่มีอยู่แล้ว

    • การบอกว่า “หยุดกันเถอะ” ไม่ใช่ regulatory capture บริษัท AI รายใหญ่บางแห่งอาจบิดคำว่า “หยุด” ให้กลายเป็น “มีแต่พวกเราที่ทำต่อได้อย่างระมัดระวัง” แต่หนทางจริงในการป้องกัน ความเสี่ยงเชิงอัตถิภาวนิยม คือการหยุด
      https://twitter.com/ESYudkowsky/status/1719777049576128542
      “การหยุด” ไม่ได้หมายถึงไลเซนส์หรือภาระหน้าที่ในการรายงาน แต่หมายถึงหยุดจริง ๆ ตามตัวอักษร
    • เราจะแน่ใจได้แค่ไหนว่าพวกเขาไม่ได้เชื่อจริง ๆ ว่ามีความเสี่ยง? เป็นแค่เรื่องที่ได้ยินมา แต่ดูเหมือนพนักงานระดับล่างบางส่วนของ OpenAI ก็คิดว่าความเสี่ยงนี้ควรเอาจริงเอาจัง และไม่ใช่แค่กลยุทธ์เย็นชาของ CEO เท่านั้น
      Sam Altman เคยคุยกับ Yudkowsky หลายครั้ง และดูเหมือนเขาคิดว่าวิธีที่ดีที่สุดคือแก้ ปัญหา alignment ด้วยโมเดลพลังงานต่ำ จึงสร้างโมเดลขึ้นมาก่อนแล้วค่อยพยายามชะลอความเร็วลงภายหลัง
      โอกาสสำเร็จดูไม่สูงนัก แต่ตอนนี้ก็ดูเหมือนไม่มีทางเลือกอื่นที่ดีกว่านี้อย่างชัดเจน
    • ผม/ฉันเห็นใกล้เคียงกันมาก เหตุผลเรื่องความเสี่ยงต่อการสูญพันธุ์มีความเป็นไปได้อยู่บ้างในระยะยาว แต่ไม่ดูเหมือนใกล้พอที่ปัญหาระดับนั้นจะมาถึงในเร็ว ๆ นี้
      ในทางกลับกัน เทคโนโลยีนี้มี ความเสี่ยงที่เป็นจริงและเกิดขึ้นทันที ในรูปแบบที่มนุษย์บางกลุ่มจะมีอำนาจเหนือมนุษย์กลุ่มอื่นมากขึ้น
      มาตรการโจมตีที่ฝ่ายความเสี่ยงต่อการสูญพันธุ์เสนอ กลับยิ่งทำให้ความเสี่ยงทันทีนั้นเลวร้ายลง วิธีเดียวที่เคยมีมาในการไม่ให้เทคโนโลยีใด ๆ ถูกคนบางกลุ่มใช้ควบคุมคนอื่น คือการทำให้ทุกคนเข้าถึงได้ หรือ ทำให้เป็นประชาธิปไตย
      หากจำกัดการเข้าถึง ต่อให้ต้องทำผิดกฎหมาย ฝ่ายที่มีสิทธิ์เข้าถึงก็จะยิ่งสะสมอำนาจมากขึ้น
      แม้จะประเมินจากค่าขอบล่างของช่วงความเชื่อมั่น 95% ผม/ฉันก็มองว่าน่าจะเป็นราว 50–100 ปีข้างหน้า ผม/ฉันรู้ว่าคนมีเหตุผลอาจไม่เห็นด้วยกับการประเมินนี้ แต่การตัดสินอย่างตรงไปตรงมาของผม/ฉันเป็นเช่นนั้น
    • กฎหมายที่มีอยู่ยังไม่เพียงพอ ถ้าเพียงพอจริง ก็คงไม่มีเรื่องอย่าง การทำโปรไฟล์เชื้อชาติแบบอัตโนมัติ, การรู้จำใบหน้าขนาดใหญ่, หรือการให้คะแนนเครดิต/สังคมเกิดขึ้น
      AI มีแนวโน้มจะทำให้แย่ลงไปอีก ด้วยท่าทีราวกับว่ามันไม่มีข้อผิดพลาด
      ดังนั้นกฎระเบียบ AI ของ EU จึงรวมถึงการทำเอกสารอย่างละเอียดสำหรับโมเดลพื้นฐานและการเปิดเผยข้อมูลฝึก, การห้ามการใช้งานความเสี่ยงสูงอย่างการให้คะแนนทางสังคม, ความสามารถในการอธิบายการตัดสินใจของ AI ในแบบที่มนุษย์เข้าใจได้ และหน้าที่ในการระบุให้ชัดเจนว่ากำลังมีปฏิสัมพันธ์กับระบบ AI อยู่
    • ในบรรดานักวิทยาศาสตร์ระดับโลกที่ร่วมเป็นผู้เขียนบทความนี้ ไม่มีใครทำงานในแล็บขนาดใหญ่เลย: https://managing-ai-risks.com/
      แล้วแผนสมคบคิดนี้ทำงานอย่างไรกันแน่? หมายความว่าพวกเขากำลังซื้อตัว Yoshua Bengio อยู่หรือ?
      อนึ่ง ผม/ฉันทำงานด้านความปลอดภัยในแล็บขนาดใหญ่ แต่ผู้สนับสนุนเหล่านั้นไม่ได้ทำ

  • ผมคิดว่าควรต่อต้านบรรยากาศคัดค้านกฎระเบียบที่เกิดขึ้นในหมู่นักเทคโนโลยี
    ถ้าจะพูดกับ Yann ตอนนี้ผมสนับสนุน มาตรการที่เข้มงวด อย่างเต็มที่เพื่อชะลอและควบคุมงานวิจัย AI ผมไม่มีผลประโยชน์เกี่ยวข้องกับบริษัทที่เกี่ยวข้อง และก็ไม่ได้ไม่รู้เรื่อง เพราะเคยใช้ชีวิตอยู่หนึ่งปีในอาคารที่มีงานอีเวนต์ AI จัดขึ้นหลายครั้งต่อสัปดาห์
    นี่แทบจะเป็นพื้นที่เดียวที่มนุษยชาติกำลังถกเถียงกันถึงการรับมือจริงที่ระมัดระวังอย่างเหมาะสม การถกเถียงเรื่อง x-risk นี้กับการตอบสนองอย่างรวดเร็วต่อ Covid เท่านั้นที่ทำให้ผมมีความหวังว่ามนุษยชาติมีความสามารถที่จะไม่ทำลายตัวเอง
    ต่อให้ภายหลังพิสูจน์ได้ว่า x-risk จาก AI ไร้มูลความจริง 100% ผมก็ยังจะพูดแบบเดิม
    มนุษยชาติแทบไม่เคยแสดงให้เห็นถึงความสามารถในการเหยียบเบรกแบบรวมหมู่ และแค่การทดสอบว่า “เราทำสิ่งนี้ได้ไหม” ก็มีคุณค่าแล้ว มันเป็นสิ่งที่จำเป็นจริง ๆ และน่ายินดี

    • ปัญหาไม่ได้อยู่ที่ว่าจำเป็นต้องระวังหรือไม่ แต่อยู่ที่ Sam Altman ใช้ความระมัดระวังนั้นอย่างเย็นชาเพื่อเพิ่มมูลค่าบริษัทของตัวเอง
      ไม่มีเหตุผลอะไรที่ต้องไว้ใจเศรษฐีคนหนึ่งใน Silicon Valley มากกว่าคนอื่น ๆ ทำไมเขาถึงควรได้นั่งตัดสินว่าเราทำอะไรไม่ได้ ขณะเดียวกันตัวเองก็ยิ่งร่ำรวยขึ้น? แก่นของบทความก็อยู่ตรงนี้
    • ผลลัพธ์ที่เป็นไปได้มากที่สุดของการเหยียบเบรกนี้คือ คนจำนวนน้อยที่ร่ำรวยหรือมีอำนาจอย่างยิ่งจะ ผูกขาด AI ประสิทธิภาพสูง
      พวกเขาสามารถใช้มันเป็นเครื่องขยายสติปัญญาของตัวเอง และปล่อยเช่าสิทธิ์เข้าถึงเวอร์ชันด้อยคุณภาพให้มนุษยชาติที่เหลือ พร้อมกับร่ำรวยขึ้นอย่างมหาศาลยิ่งกว่าเดิม
      หาก AI พัฒนาแบบระเบิดอย่างที่บางคนคาด เราต้องยอมรับให้ได้จริง ๆ ถึงขนาดของการยึดกุมอำนาจที่เราอาจกำลังเห็นอยู่ตอนนี้
      สถานการณ์ “foom” ที่น่าเป็นไปได้ที่สุดคือ มนุษย์จำนวนน้อยใช้ superintelligence กลายเป็นเทพเจ้าที่ยังมีชีวิตอยู่ ผมมองว่า foom เองยังเป็นเรื่องเก็งกำไรสูงมาก แต่เวอร์ชันนี้น่าเป็นไปได้ เพราะเรารู้อยู่แล้วว่ามนุษย์ทำตัวแบบนั้น และ AI เองยังไม่ถึงขั้นที่จะพูดเรื่องการมีสำนึกในตัวเองหรือความเป็นอิสระ
      ผมไม่คิดว่านักวิทยาศาสตร์ตัวจริงส่วนใหญ่ที่กังวลเรื่อง AI ต้องการสิ่งนั้น แต่ภายใต้ระบอบกฎระเบียบ มันจะลงเอยแบบนั้น คนที่ “เหมาะสม” มักได้รับอนุญาตให้ทำสิ่งที่ต้องการได้เสมอ ส่วนกฎระเบียบจะถูกใช้กับคนจนและคนที่ไม่มีเส้นสายทางการเมือง
      การพัฒนา AI จะดำเนินต่อไป เพียงแต่จะถูกผูกขาดเท่านั้น หากสถานการณ์ foom แบบใดเป็นไปได้ มันก็ยังจะเกิดขึ้น และจะเริ่มต้นบนฐานอภิสิทธิ์มหาศาลที่สืบทอดมาจากชนชั้นอภิสิทธิ์ที่สร้างมันขึ้นมา
      ความเป็นไปได้ที่จะเกิดการ “หยุด” จริง ๆ คือ 0
    • ผมยอมรับอย่างเต็มที่ถึงความเสี่ยงที่ AI นำเสนอ และมองว่ามีความเป็นไปได้สูงที่จะเป็นผลลัพธ์ที่เลวร้ายโดยรวมต่อมนุษยชาติ
      แต่ด้วยความสามารถในการวิเคราะห์ของผมและความนิรนามบนอินเทอร์เน็ต ขอบอกตรง ๆ ว่า ความปรารถนาอย่างแรงกล้าที่อยากเห็น AI แบบ superintelligence เต็มรูปแบบ กำลังปนเปื้อนวิจารณญาณเชิงวัตถุวิสัยของผมอย่างหนัก
      ผมอยากเห็นสิ่งนี้เกิดขึ้นมากเสียจนปฏิกิริยาพื้นฐานในสมองของผมแทบจะเป็น “ไม่ต้องกังวลผลลัพธ์หรอก แค่คิดว่ามันจะโคตรเจ๋งบ้าคลั่งแค่ไหนก็พอ”
      ผมคงไม่พูดแบบนี้ต่อหน้าสาธารณะ แต่ใจจริงเป็นแบบนั้น โดยเฉพาะกับคนที่ทุ่มทั้งชีวิตให้การพัฒนา AI จะให้ทุ่มชีวิตเพื่อไปให้ถึงสวนเอเดนแล้วไม่กัดผลไม้นั้นสักคำได้อย่างไร
    • การที่พวกสายวันสิ้นโลกพูดถึงความเสี่ยงตาย ก็คล้ายกับการบอกว่าเมื่อออกไปสัมผัสโลกภายนอกก็มีความเสี่ยงที่จะตาย แน่นอนว่ามีความเสี่ยง แต่เพราะ ผลตอบแทนเมื่อเทียบกับความเสี่ยง ก็ยังต้องออกไปอยู่ดี
      AI ก็เช่นกัน ปลายทางของความเสี่ยงอาจเป็นความตายเสมอ แต่ผลตอบแทนนั้นใหญ่กว่ามาก ดูเหมือนคนที่มีระดับการยอมรับความเสี่ยงต่ำผิดปกติกำลังแห่เข้ามาในการถกเถียงนี้
    • ฝั่งหนึ่งมี “ความเสี่ยง” เพ้อฝันเหมือนหลุดมาจากวัฒนธรรมป๊อป อีกฝั่งหนึ่งมี ความอัปลักษณ์ของธรรมชาติมนุษย์ ที่ปรากฏซ้ำแล้วซ้ำเล่ามานับพันปี
      คนเหล่านี้คือผู้ที่มีทรัพยากรมหาศาล และเหมือนเช่นเคย พวกเขาหมกมุ่นกับการได้มาซึ่งความมั่งคั่งและอำนาจมากขึ้น
      พวกเขากำลังบิดเบือนวาทกรรมให้สายตาหันออกจากภัยจริงในปัจจุบัน ซึ่งก็คือตัวพวกเขาเอง แล้วเบนความสนใจไปยังภัยในจินตนาการอย่าง “เทอร์มิเนเตอร์กำลังมา”
      ในเรื่องแต่งส่วนใหญ่ เทอร์มิเนเตอร์ถูกสร้างโดยรัฐบาลหรือแล็บวิจัยของบริษัทยักษ์ใหญ่ โดยคนแบบเดียวกับพวก Altman นั่นแหละ โครงเรื่องมักเป็นกบฏซอมซ่อสู้กับมหาเศรษฐีวายร้ายหรือองค์กรไร้หน้าเสมอ
      หากต้องการปกป้องอนาคตของมนุษยชาติจาก AI ก็ควรมุ่งความสนใจไปที่มนุษย์ผู้มีอำนาจเดิม ๆ ตัวร้ายในสถานการณ์นี้คือพวกเขา และเป็นเช่นนั้นมาตลอด

  • คำพูดที่ว่า “สร้างต้นแบบ ทดสอบในขนาดเล็ก ปล่อยใช้งานแบบจำกัด แก้ปัญหา ทำให้ปลอดภัยขึ้น แล้วค่อยปล่อยใช้งานในวงกว้าง” ตั้งอยู่บนสมมติฐานว่าเทคโนโลยีที่เป็นปัญหานั้นถูกพัฒนาขึ้นโดยเจตนา
    แต่ก็อาจเป็น คุณลักษณะที่เกิดแบบ emergent จากเทคโนโลยีที่สร้างขึ้นโดยเจตนาก็ได้
    เรามีชื่อเรียกคุณลักษณะ emergent แบบนั้นอยู่แล้ว นั่นคือ “บั๊ก” ไม่มีใครปล่อย Heartbleed แบบจำกัด และ Spectre หรือ Rowhammer ก็เช่นกัน เราต้องรับมือกับผลพวงของมัน และมันยังไม่จบด้วยซ้ำ
    ใครจะรับประกันได้ว่าความเสี่ยงของเทคโนโลยีจะไม่ซ่อนอยู่จนกว่าจะถูกปล่อยใช้งานอย่างแพร่หลาย

    • ข้อโต้แย้งนั้นดูเหมือน การคิดเข้าข้างความหวัง โดยเฉพาะ ผมไม่รู้ว่าในอุตสาหกรรมเทคโนโลยีตลอด 10 ปีที่ผ่านมาเห็นอะไรมา ถึงได้คิดว่าตอนนี้จะหันมาใช้กลยุทธ์ “เคลื่อนช้า ๆ และปล่อยใช้งานอย่างรอบคอบ”
      ยิ่งไปกว่านั้น ต่อให้ไม่นับประเด็นของ “We have no moat and neither does OpenAI” ก็ยังเป็นเช่นนั้น ต่อให้ผู้มีส่วนได้ส่วนเสียหลักจะระมัดระวังแค่ไหน เมื่อเทคโนโลยีมีอยู่แล้ว ไม่นานเวอร์ชันโอเพนซอร์สก็จะถูกปล่อยกระจายไปทั่วโดยแทบไม่คำนึงถึงความปลอดภัย
    • ใช่แล้ว ไวรัสที่มีอายุ 20 ปีบางตัวยังเคลื่อนไหวตามโปรแกรมอย่างอัตโนมัติและก่อปัญหาอยู่จนถึงตอนนี้
      มนุษย์ที่สร้างมันขึ้นมาเดิมไม่ได้รับประโยชน์อีกต่อไปแล้ว มันไม่ได้สอดคล้องกับเจตนาของมนุษย์คนใด และก็ไม่สามารถ “ปิดมันทิ้ง” ได้

  • ผมคิดว่า Yann น่าจะผิด
    เขาไม่ได้พยายามรับมือกับตรรกะของ “ฝ่ายเชื่อวันสิ้นโลก” อย่างจริงจัง การให้เหตุผลแบบโยงแรงจูงใจในลักษณะเดียวกันก็ใช้กับตัว Yann เองและเป้าหมายทางการเงินของ Meta ได้เหมือนกัน จึงไม่ใช่กรอบการอธิบายที่น่าเชื่อถือ
    แม้ในความพยายามถกเถียงที่ไม่ใช่แค่การด่าทอ เขาก็ยกตัวอย่างทำนองว่าเขารู้จักคนฉลาดมากมาย แต่พวกเขาไม่ได้เป็นประธานาธิบดี หรือแมวของเขาก็ค่อนข้างฉลาดแต่ก็ไม่ได้ปกครองเขา นัยคือความฉลาดไม่ได้หมายถึงการควบคุมเสมอไป แต่นั่นเป็นหลักฐานที่ค่อนข้างดีว่าเขาไม่ได้รับมือกับความเสี่ยงอย่างจริงจัง
    ความเสี่ยงไม่ได้อยู่ที่ช่องว่างด้านสติปัญญาระหว่างมนุษย์ฉลาดกับมนุษย์โง่ ในรัฐสภามีชิมแปนซีกี่ตัว? ในการเลือกตั้งขั้นต้นล่ะ? ไม่มีเลย
    ในกรณี ความเสี่ยงเชิงดำรงอยู่จาก AGI ช่องว่างด้านความสามารถใหญ่กว่านั้นมาก และโดยพื้นฐานแล้วยังสอดคล้องกับมนุษย์น้อยกว่ามาก
    โชคดีที่คนอื่น ๆ ที่มีอำนาจไม่ได้ถูก Yann โน้มน้าว

    • มุมมองของใครที่น่าเชื่อถือ และควรอ่านหรือดูอะไรเพื่อทำความเข้าใจมุมมองนั้น? ผมดูบทความใน LessWrong กับการบรรยายของ Eliezer มาพอสมควร แต่ยังเข้าใจฐานของตรรกะได้ยาก และส่วนที่พอเข้าใจก็ดูคลุมเครือมาก
      ข้อเสนอเดียวที่ผมเข้าใจจนถึงตอนนี้คือฝั่ง FEP คือถ้ามีใครตั้งค่า กลไกการสร้างตัวเอง ให้ AI นั้น AI อาจทำสิ่งที่เพิ่มโอกาสรอดของตัวเอง ไม่ใช่ของมนุษย์
      แต่ผมไม่เห็นแรงจูงใจที่ผู้ประกอบการรายใหญ่จะทุ่มทรัพยากรให้เรื่องนี้ เลยดูไม่น่าจะเป็นไปได้สูง ผมพลาดอะไรไป?
    • ยังไม่มีฉากทัศน์ที่ชัดเจน ปฏิบัติได้จริง และสมเหตุสมผลว่า AI จะทำให้มนุษย์สูญพันธุ์ได้อย่างไร อย่ามาพูดว่า AI ยึดรหัสยิงนิวเคลียร์แล้วสุ่มยิงไปทั่วเลย
    • ผมก็คิดเหมือนกันเป๊ะ
      แม้จะไม่เห็นด้วยกับฉากทัศน์วันสิ้นโลกของ Eliezer แต่ก็ยากจะถูกโน้มน้าวโดยนักวิทยาศาสตร์ที่ไม่ถกเถียงความเสี่ยงที่ถูกหยิบยกขึ้นมา แล้วไปเอาใจความกลัวของสาธารณะและความหวาดกลัวต่อการรวบอำนาจ
    • คนที่จะเข้าใจได้ดีที่สุดว่า AGI จะส่งผลต่อพลวัตอำนาจทางสังคมอย่างไร น่าจะไม่ใช่นักวิจัย AI แต่เป็น สัตว์การเมือง มากกว่า
      เว้นแต่ว่าจะมีนักวิจัย AI ที่เป็นนักการเมืองช่ำชองอยู่ด้วย แต่ดูเหมือนไม่มีคนแบบนั้น
    • ตรรกะของ “ฝ่ายเชื่อวันสิ้นโลก” สามารถปัดตกได้ค่อนข้างง่ายด้วยการพิจารณาเชิงตรรกะเพียงข้อเดียว
      ในแต่ละประเทศมีกลุ่มหนึ่งที่อันตรายกว่ากลุ่มอื่นใดมาก พวกเขามี “รายได้” ตั้งแต่หลายพันล้านถึงหลายแสนล้านดอลลาร์ และใช้เงินนั้นเพื่อหาวิธีใหม่ ๆ ในการฆ่าคน ทำลายรัฐบาล และบังคับให้ประเทศหนึ่งยัดเยียดเจตจำนงของตนต่ออีกประเทศหนึ่งเท่านั้น อีกทั้งยังมีเอกสิทธิ์คุ้มครองทางกฎหมายอย่างสมบูรณ์
      และกลุ่มนี้เองคือกลุ่มที่จะได้สิทธิ์เข้าถึงโมเดล AI “ที่ถูกจำกัด” แบบไร้ข้อจำกัด และอาจถึงขั้นผูกขาดการเข้าถึงระดับล้ำสมัย ไม่ว่าเราจะประกาศใช้กฎหรือสนธิสัญญาใดก็ตาม
      แล้วตกลงจะปกป้องผมจากใครกันแน่? เพื่อนบ้าน? อาชญากรข้างถนน? พวกต่อต้านสังคมหรือกลุ่มนั้น?
      มันไม่ได้มีเคล็ดลับลับในการสร้างอาวุธทำลายล้างสูงจากไม้จิ้มฟันสองสามอันกับหลอดยาสีฟัน และก็ไม่ได้มี “เคล็ดลับ” อะไรมากไปกว่าสิ่งที่หาได้แพร่หลายอยู่แล้วผ่านการค้นเว็บหรือค้นในห้องสมุด
      ในฉากทัศน์ที่ถูกจำกัด กลุ่มที่มีแนวโน้มสูงลิ่วว่าจะผลักเราไปสู่ฉากทัศน์แบบวันสิ้นโลกจะยังคงมีสิทธิ์เข้าถึงระบบแบบ AI อย่างไร้ข้อจำกัดโดยสิ้นเชิง ตรรกะที่ว่าเพื่อปกป้องสังคมนั้นจึงเหยียดหยันและน่าขันอย่างที่สุด

  • อยากให้เลิกแปะป้าย AI Godfather ให้กับนักวิจัย AI ผู้มีชื่อเสียงเสียที มันน่าขันเกินไปและไม่ค่อยตรงกับข้อเท็จจริงด้วย
    แนวคิด AI มีมาตั้งแต่ยุค Turing แล้ว และถ้าจะมีใครคู่ควรกับฉายาอย่าง “บิดาแห่ง AI” เขาน่าจะเหมาะกว่า
    เรียก LeCun แค่ว่า Chief AI Scientist ของ Meta ก็พอ

    • LeCun ไม่ได้ถูกเรียกว่า AI godfather เพราะตำแหน่งที่ Meta แต่เพราะเขาบุกเบิกการวิจัย โครงข่ายประสาทเทียมแบบคอนโวลูชัน ในปี 1989
    • LeCun เป็นผู้เขียนหลักของบทความปี 1989 “Backpropagation Applied to Handwritten Zip Code Recognition” ซึ่งเป็นหนึ่งในการประยุกต์ใช้จริงยุคแรก ๆ ของโครงข่ายประสาทเทียมที่เรียนรู้แบบ end-to-end ด้วย backpropagation
      คำว่า “AI godfather” จึงสมเหตุสมผลพอแล้ว
    • โดยทั่วไปคำนี้หมายถึงสามคนที่ได้รับ Turing Award ปี 2018 ได้แก่ Geoffrey Hinton, Yoshua Bengio และ Yann LeCun
    • งานวิจัย โครงข่ายประสาทเทียมแบบคอนโวลูชัน ของ LeCun มีส่วนต่อ AI สมัยใหม่ ดังนั้นฉายานี้ค่อนข้างเหมาะสม นั่นจึงเป็นเหตุผลที่ Facebook พยายามดึงตัวเขาไป
    • ตามพจนานุกรม godfather หมายถึง “ผู้ชายที่มีอิทธิพลหรือเป็นผู้บุกเบิกในขบวนการหรือองค์กร”
      เหตุผลที่นักวิจัย AI ผู้มีชื่อเสียงถูกมองว่ามีชื่อเสียง ก็เพราะพวกเขามีอิทธิพลต่อกระแสที่เกี่ยวข้องกับ AI ไม่ใช่หรือ?

  • หากพยายามทำให้โมเดลโอเพนซอร์สผิดกฎหมาย กลุ่มชายขอบที่ต้องการใช้ AI เป็นเครื่องมือก่อการร้ายก็จะได้อยู่ในสภาพแวดล้อมที่แทบไม่มีการแข่งขัน และมีความรู้เกี่ยวกับวิธีรับมือน้อยมาก
    ผมไม่ค่อยเชื่อว่าเครื่องมือนี้จะเลวร้ายกว่าเครื่องมืออื่น ๆ ในประวัติศาสตร์ที่หากถูกใช้ในทางที่ผิดก็ฆ่าคนได้ แต่การผลักมันลงใต้ดินเฉย ๆ ไม่ได้ทำให้มันหายไป
    คนธรรมดาที่มีความอยากรู้อยากเห็นทางปัญญาเท่านั้นที่จะติดคุก ส่วนอาชญากรก็จะยังทำต่อไปและเอาเปรียบพวกเรา

    • เรื่องที่ผู้ก่อการร้ายใช้ AI ก่อความเสียหายนั้นเป็นแค่คำพูดกว้าง ๆ แบบโบกมือ ผู้ก่อการร้ายมีข้อมูลมากมายพออยู่แล้วบนเว็บ
      โมเดลภาษาขนาดใหญ่ ไม่ได้ให้ความได้เปรียบใหม่ ๆ และก็ไม่มีเวทมนตร์ที่จะสร้างกองทัพ “killer bot” ด้วย AutoGPT แล้วก่อ “ความเสียหาย” ได้
      ตอนนี้มันใกล้เคียงกับการทวนประเด็นของคนที่พูดซ้ำเรื่องจากภาพยนตร์มากกว่า
    • วัสดุฟิสไซล์ ถูกควบคุมและกำกับดูแลอย่างเข้มงวด และก็ถือว่าประสบความสำเร็จพอสมควร
      คุณอาจไม่ชอบมาตรการที่จำเป็นเพื่อหยุดการพัฒนา AI แต่มันหยุดได้

  • ตอนนี้ผู้คนมุ่งความสนใจไปที่ โมเดลภาษาขนาดใหญ่ และโมเดล diffusion ที่กลายเป็นเรื่องพบเห็นได้ทั่วไปมากเกินไป แต่ถ้า AI สำหรับเลือกหุ้นและพยากรณ์เก่งขึ้นในระดับที่ต่างชั้นจริง ๆ และเอาชนะโมเดลเดิม ๆ ได้อย่างต่อเนื่อง มันก็จะดูดความมั่งคั่งมหาศาลเข้ามา
    หากผู้ดำเนินการไม่โลภระยะสั้นจนเกินไปจนทำให้ระบบพังทลายในคืนเดียว ก็อาจถึงขั้นเป็นเจ้าของสังคมโดยพฤตินัยได้

    • แม้จะถกเถียงกันได้ แต่เรื่องแบบนี้อาจถือว่าเคยเกิดขึ้นแล้วอย่างน้อยสองครั้งในอดีต ครั้งหนึ่งตอนค้นพบ โมเดล Black-Scholes และอีกครั้งเมื่อตลาดซื้อขายความถี่สูงกับสิ่งที่แทบจะเป็นการตัดหน้าคำสั่งซื้อขายกลายเป็นไปได้
      สิ่งที่น่าสนใจของตลาดคือ โดยปกติแล้วคุณทำเงินได้ก็ต่อเมื่อราคาถูกตั้งผิดเท่านั้น ด้วยเหตุนี้ แม้แต่ผู้เล่นที่มีข้อมูลสมบูรณ์แบบ ผลกำไรที่เป็นไปได้ทั้งหมดก็ยังมีขีดจำกัด
      ต่อให้มีโมเดล AI ที่พยากรณ์กระแสเงินสดในอนาคตของบริษัทและอัตราดอกเบี้ยในอนาคตได้แทบจะแน่นอน ก็สามารถคำนวณกระแสเงินสดคิดลดเพื่อกำหนดราคาหุ้นที่ยุติธรรมในปัจจุบันหรืออนาคตได้อย่างง่ายดาย
      ตลาดน่าจะมีเสถียรภาพมากขึ้นมากกว่าจะล่มสลาย และหุ้นมีแนวโน้มจะเคลื่อนไหวคล้ายพันธบัตรมากขึ้น
    • การพยากรณ์มีข้อจำกัดพื้นฐานอยู่ การกำหนดขีดจำกัดนี้เป็นส่วนสำคัญของ ทฤษฎีสารสนเทศเชิงอัลกอริทึม และเป็นขอบเขตที่ใช้ได้กับการปรับปรุง AI ด้วย
      ทฤษฎีสารสนเทศเชิงอัลกอริทึมที่ถูกจำกัดด้วยฟิสิกส์นั้นไม่ค่อยเปิดทางให้กับสถานการณ์ “เร่งความเร็วอย่างรุนแรง” ซึ่งเป็นหนึ่งในข้อโต้แย้งที่หนักแน่นต่อสถานการณ์นั้น
      https://en.wikipedia.org/wiki/Algorithmic_information_theory
    • ผมตามตรรกะนั้นไม่ค่อยทัน ระบบแบบนั้นอาจดูดความมั่งคั่งจากการเทรดได้ก็จริง แต่เมื่อเทียบกับ มูลค่าหุ้นทุน ที่จัดสรรให้เจ้าของบริษัทและความมั่งคั่งที่พวกเขาสร้างขึ้น มันไม่เล็กมากหรอกหรือ?
    • ในโลกการเงิน ผมว่าข้อจำกัดของ โมเดลแมชชีนเลิร์นนิง เป็นสิ่งที่รู้กันอยู่แล้ว
      สิ่งที่คาดการณ์ได้จากข้อมูลการเงินในอดีตมีขีดจำกัด
      ถ้ามีวิธีสร้างเครื่องพิมพ์เงินด้วยแมชชีนเลิร์นนิง มันคงเกิดขึ้นไปแล้ว
      นี่เป็นพื้นที่ปัญหาที่ง่ายกว่าการสร้างภาษาหรือภาพมาก
    • BlackRock “เป็นเจ้าของ” สังคมอยู่แล้ว
      ผู้คนหมกมุ่นกับอัลกอริทึมไร้ความคิด แต่เรื่องจริงเกิดขึ้นระหว่างมนุษย์เสมอ ไม่ว่าอัลกอริทึมซอฟต์แวร์จะซับซ้อนแค่ไหน มันก็เป็นเพียงตัวหมากบนกระดานหมากรุกของมนุษย์
      ในอนาคตที่ไกลมาก สิ่งมีชีวิตซิลิคอนอาจเข้ามาบนกระดานหมากรุกนั้นด้วยเงื่อนไขของตนเองก็ได้ กลยุทธ์ที่ใช้ความเป็นไปได้อันห่างไกลนั้นเพื่อแสวงหาประโยชน์ที่นี่และตอนนี้จึงดูประหลาด
      แต่กลยุทธ์นั้นดูเหมือนจะได้ผล มันแสดงให้เห็นว่าเราแทบจะเป็นฝูงเลมมิงสติปัญญาต่ำ ที่พร้อมถูกหลอกด้วยเรื่องเล่าดี ๆ แม้หลักฐานจะอ่อนแอก็ตาม

  • สายเกินไปแล้วที่จะผูกขาดโมเดลภาษาขนาดใหญ่ เทคโนโลยีในการสร้างเป็นที่รู้กันแล้ว และต้นทุนก็ลดลงเรื่อย ๆ
    มีเรื่องที่ควรกังวลอยู่ แต่เรื่องนี้ดูไม่ใช่หนึ่งในนั้น

    • มีอยู่สองอย่าง
      ราคาของ GPU ไม่ได้สูงเท่าช่วงรุ่งเรืองของการขุดคริปโต แต่ถ้าจะซื้อ ชุด A100 ก็ต้องใช้เงินเท่าราคารถยนต์หนึ่งคัน นอกจากนี้ บริษัทอย่าง Google ก็กำลังสร้างตัวเร่งแมชชีนเลิร์นนิงรุ่นถัดไป และผลิตภัณฑ์ที่ดีที่สุดก็ไม่ขายด้วยซ้ำ
      ทรัพยากรคำนวณเป็นแค่ครึ่งหนึ่งของปัญหาเท่านั้น อีกครึ่งที่ถูกประเมินค่าต่ำไปมากคือสิทธิ์เข้าถึงข้อมูลในรูปแบบต่าง ๆ เช่น อีเมล คำถามที่ส่งให้ผู้ช่วยอัจฉริยะ หรือกริ่งประตู Ring
    • ก็จริงอยู่ งาน วางรากฐาน เพื่อจำกัดความถูกต้องตามกฎหมายของการฝึกโมเดลขนาดใหญ่ได้ถูกปูไว้แล้ว ดูคำสั่งฝ่ายบริหารล่าสุดได้
      มีการกำหนดเกณฑ์ตัดค่อนข้างต่ำสำหรับขนาดที่ต้องรายงานการฝึกและศูนย์ข้อมูลต่อรัฐบาล
      นอกจากนี้ยังมีคำสั่งให้พัฒนากรอบการทดสอบความเสี่ยง x-risk และ CBRN รวมถึงสภาพแวดล้อมด้านความปลอดภัย ซึ่งมีไว้เพื่อกำหนดเป็นข้อกำหนดต่อผู้พัฒนาโมเดล รวมถึงภาคเอกชน
      จะพูดก็ได้ว่าความรู้ที่จำเป็นต่อการพัฒนาโมเดลภาษาขนาดใหญ่นั้นเป็นโอเพนซอร์สและทุกคนเข้าถึงได้ และในความเป็นจริง แม้จะไม่สมบูรณ์ทั้งหมด แต่โดยรวมก็ถูกต้อง
      แต่รัฐบาลกลางกำลังอยู่ในกระบวนการทำให้มีเพียงบางคนเท่านั้นที่ทำได้อย่างถูกกฎหมาย
    • การฝึกยังคงแพงมาก แม้จะถูกลง โมเดล รุ่นถัดไป ที่มีประสิทธิภาพดีกว่าก็จะกลับมาแพงอีก
      การฝึกโมเดลระดับล้ำหน้าสุดด้วยฮาร์ดแวร์ผู้บริโภคเพียงอย่างเดียวอาจเป็นเรื่องยากมาก
    • ผมไม่แน่ใจว่าคนที่ไม่ใช่องค์กรจะตามทันได้หรือไม่
      OpenAI กำลังพยายามทำ regulatory capture กับโมเดลภาษาขนาดใหญ่ เพื่อกันไม่ให้ Amazon หรือยูนิคอร์นทุนหนา ๆ ตามเข้ามาได้ เมื่อผู้เล่นเหล่านี้ถูกตรึงสถานะไว้แล้ว คนที่เหลือก็จบ
      ผู้อ่าน HN โดยเฉลี่ยไม่สามารถแข่งกับ OpenAI ได้ พวกเขากำลังพยายามกันไม่ให้มีคู่แข่งที่มีทุน VC มากพอเกิดขึ้นอีก เพื่อกวาดส่วนแบ่งให้มากที่สุด
      วัฏจักรความร้อนแรงและการระดมทุนของโมเดลภาษาขนาดใหญ่โดยรวมจบลงแล้ว คุณไม่ใช่ Anthropic และคงสายเกินไปที่จะเข้ามาเล่นเกมนี้
    • ต้นทุนเทคโนโลยีไม่สำคัญในปัญหานี้
      สิ่งสำคัญไม่ใช่ค้อน แต่คือ ใบอนุญาตก่อสร้าง

  • นักคาดการณ์บางคนบอกว่าเรากำลังเข้าสู่ยุคแห่งความอุดมสมบูรณ์ ซึ่งเงินจะสำคัญน้อยลงมาก หรืออาจไม่สำคัญเลย
    แต่ถ้าเป็นอย่างนั้น บริษัทต่าง ๆ จะเปลี่ยนจากสภาพปัจจุบันที่ “กำไรคือทุกสิ่ง” ไปเป็น “เงินไม่สำคัญ” ได้อย่างไร?
    ผมกลับคิดว่าโอกาสที่จะเกิด การผูกขาด มีสูงกว่ามาก

    • ความอุดมสมบูรณ์สำหรับใคร? ด้วยปัจจัยการผลิตที่มีอยู่ในปัจจุบันเพียงอย่างเดียว เผ่าพันธุ์เราทั้งหมดก็สามารถใช้ชีวิตอย่างสบาย พร้อมสิ่งของที่จักรพรรดิโรมันองค์สุดท้ายยังไม่กล้าฝันถึง
      แต่ถึงอย่างนั้น ก็ยังมีคนที่เลี้ยงลูกไม่ได้ คนที่ตายจากการทำงานหนักเกินไป และผู้คนที่ฆ่ากันเพราะที่ดิน
    • เราอยู่ใน ภาวะอุดมสมบูรณ์ มานานแล้ว เพียงแต่เราเลือกที่จะไม่แจกจ่ายความอุดมสมบูรณ์นั้น
    • เมื่อดูตลาดสินค้าเสมือนที่แข็งแกร่งและ เศรษฐกิจเสมือน ขนาดไม่น้อยในที่อย่าง Roblox หรือ Second Life ผมคิดว่าต่อให้เราไปไกลเกินภาวะหลังความขาดแคลนแค่ไหน ตลาดก็ยังสามารถมีอยู่ได้เสมอ และจะมีอยู่จริง
      ทั้งนี้อยู่บนสมมติฐานว่ามนุษยชาติยังคงอยู่ในรูปแบบปัจจุบัน และความชอบในการบริโภคคงที่ ส่วนโมเดลทุนนิยมเองผมไม่มั่นใจเท่า แต่สิ่งนั้นก็อาจดำรงอยู่ต่อไปได้ อาจจะแค่เพื่อความสนุกก็ได้
      https://en.wikipedia.org/wiki/Virtual_economy
    • มีการล้มละลาย กฎระเบียบ การสลายทรัสต์ และการก่อวินาศกรรม