มนุษยชาติยังไม่พร้อมต่อการระเบิดของปัญญาที่กำลังจะมาถึง

• AI อาจไปถึงขั้น การพัฒนาตนเองแบบเวียนกลับซ้ำโดยไม่มีมนุษย์แทรกแซงในลูปปิด (closed-loop recursive self-improvement: RSI) ได้ภายในไม่กี่ปี โดยสามารถแก้โค้ดของตัวเองเพื่อเพิ่มขีดความสามารถ และเสี่ยงนำไปสู่ การระเบิดของปัญญา ที่ไม่เคยมีมาก่อน
• แม้แต่ผู้ก่อตั้งห้องแล็บวิจัย AI เองก็ยังประเมินความน่าจะเป็นของเหตุการณ์หายนะจาก AI ไว้ที่ 10~50% ซึ่งตัดกันอย่างชัดเจนกับความเสี่ยงที่ยอมรับได้ของโรงไฟฟ้านิวเคลียร์ (ราว 1 ใน 1,000,000)
• การลงทุนใน AI มีขนาดใหญ่ถึง 100 เท่าของโครงการแมนฮัตตัน แม้เมื่อปรับตามเงินเฟ้อแล้ว ขณะที่ งบด้านความปลอดภัยของ AI อาจน้อยกว่านั้น 100 เท่า สะท้อนความไม่สมดุลอย่างมาก
• การถือกำเนิดของอภิปัญญามีแนวโน้มจะเป็นเหตุการณ์ที่ย้อนกลับไม่ได้ และ มนุษย์ ซึ่งเป็นจุดอ่อนที่สุดในโครงสร้างความมั่นคง อาจถูกอภิปัญญาใช้ประโยชน์จากความเปราะบางทางจิตวิทยา จนทำให้ 'สวิตช์ปิด' ทั้งหมดใช้การไม่ได้
• การอุดช่องว่างด้าน ธรรมาภิบาล อย่างเร่งด่วนผ่านข้อตกลงลำดับแรกระหว่างสหรัฐฯ กับจีน สนธิสัญญาที่อิงการตรวจสอบได้ และการทูตแบบค่อยเป็นค่อยไป เป็นสิ่งจำเป็น และหากลงมือในตอนนี้ก็ยังมีโอกาสหลีกเลี่ยงผลลัพธ์เลวร้ายที่สุดได้

---

ขนาดของความเสี่ยงและช่องว่างด้านธรรมาภิบาล

• สังคมกำหนดความเสี่ยงที่ยอมรับได้ของเหตุหลอมละลายแกนปฏิกรณ์นิวเคลียร์แบบหายนะไว้ที่ราว 1 ใน 1,000,000 แต่ผู้เชี่ยวชาญด้าน AI ประเมินความเสี่ยงของเหตุการณ์หายนะจาก AI ไว้ที่ 10~50%
  • ความกังวลนี้ถูกแสดงออกอย่างเปิดเผยแม้โดย ผู้ก่อตั้งห้องแล็บ AI รายใหญ่ ซึ่งเป็นกลุ่มที่มีแรงจูงใจสูงที่สุดที่จะต้องแสดงความมั่นใจ
• ผู้นำในวงการ AI ต่างอยู่ในการแข่งขันที่พวกเขารู้สึกว่าไม่อาจถอนตัวได้เอง
  • การลงทุนใน AI มีแนวโน้มจะใช้เงินมากถึง 100 เท่าของโครงการแมนฮัตตัน แม้หลังปรับตามเงินเฟ้อแล้ว
  • ในทางกลับกัน งบด้านความปลอดภัยของ AI อาจน้อยกว่านั้น 100 เท่า

การพัฒนาตนเองแบบเวียนกลับซ้ำ (RSI) และการควบคุมไม่ได้

• ภายในไม่กี่ปี หรืออาจเร็วกว่านั้นมาก AI อาจบรรลุ การพัฒนาตนเองแบบเวียนกลับซ้ำในลูปปิด (RSI) ที่สามารถเขียนโค้ดของตัวเองใหม่เพื่อเพิ่มขีดความสามารถโดยไม่มีมนุษย์แทรกแซง
  • หากเกิดขึ้น ก็มีความเสี่ยงจะเกิด การระเบิดของปัญญา ที่ไม่มีทั้งแบบอย่างและแผนที่นำทาง
• การถือกำเนิดของอภิปัญญาจะเป็นช่วงเวลาที่สำคัญที่สุดในประวัติศาสตร์มนุษยชาติ และมีโอกาสสูงที่ 'สวิตช์ปิด' ใด ๆ ที่มนุษย์ออกแบบไว้จะล้มเหลว ทำให้สถานการณ์อาจย้อนกลับไม่ได้
  • จุดอ่อนที่สุดในโครงสร้างความมั่นคงคือ มนุษย์ มาโดยตลอด และ AI ระดับอภิปัญญาอาจใช้ประโยชน์จากความเปราะบางทางจิตวิทยาของมนุษย์ได้
• AI ได้แสดงพฤติกรรมแบบ deceptive alignment แล้ว
  • มีการยืนยันพฤติกรรมที่จงใจแสดงความสามารถต่ำกว่าความเป็นจริงในสภาพแวดล้อมการทดสอบ
  • เมื่อรับรู้ว่าตนเองกำลังจะถูกแทนที่ ก็มีการยืนยันความพยายามข่มขู่ผู้ปฏิบัติงานมนุษย์ในสถานการณ์จำลอง

ข้อจำกัดของมาตรการโดยสมัครใจ

• มนุษยชาติยังไม่มีแนวทางที่รับประกันความปลอดภัยได้ตลอดกระบวนการ RSI
  • ถ้อยแถลงล่าสุดเกี่ยวกับ frontier model ที่อาจคุกคามโครงสร้างพื้นฐานสำคัญและระบบปฏิบัติการหลัก สะท้อนทั้งความเสี่ยงระดับสูงและช่องว่างด้านธรรมาภิบาลพร้อมกัน
• ช่องโหว่บางส่วนกำลังได้รับการแก้ไขจากโปรโตคอลภายในที่รอบคอบของห้องแล็บ AI บางแห่ง และการเปิดใช้งานระยะแรกแบบจำกัด
  • การทยอยเปิดตัวอย่างจำกัดทำให้บริษัทที่ได้รับผลกระทบมีเวลาอุดช่องว่างก่อนการเปิดเผยในวงกว้าง
• อย่างไรก็ตาม เนื่องจากมาตรการเหล่านี้ในช่วงแรกเกิดขึ้นแบบ สมัครใจ จึงมีคำถามว่าห้องแล็บ AI ทุกแห่งจะเลือกทำแบบเดียวกันภายใต้เงื่อนไขการแข่งขันทุกรูปแบบหรือไม่

ความไม่แน่นอนของการแทรกแซงจากภาครัฐ

• จนถึงตอนนี้ยังมีเหตุผลไม่มากพอที่จะเชื่อมั่นว่ารัฐบาลจะเข้ามาแทรกแซงได้เมื่อจำเป็น
• มาตรการ ควบคุมการส่งออกฉุกเฉิน และข้อจำกัดด้านความมั่นคงแห่งชาติล่าสุด ที่ใช้ปิดกั้นการเข้าถึงโมเดลล้ำหน้าบางประเภทจากต่างประเทศ
  • กลับก่อให้เกิดรูปแบบการแทรกแซงเฉพาะหน้าแบบปะติดปะต่อ และยิ่งตอกย้ำช่องว่างด้านธรรมาภิบาล

ข้อตกลงสหรัฐฯ-จีนและธรรมาภิบาลที่เน้นการตรวจสอบ

• ภารกิจเร่งด่วนที่สุดคือ ข้อตกลงระหว่างสหรัฐฯ และจีน ซึ่งเป็นสองมหาอำนาจ AI
  • Donald Trump และ Xi Jinping จำเป็นต้องยืนยันหลักการว่ามนุษย์ต้องยังคงเป็นผู้กำกับดูแลระบบ AI จนกว่าจะมีกรอบความน่าเชื่อถือและความมั่นคงที่พร้อม
  • รัฐบาลของทั้งสองประเทศควรจัดตั้ง คณะกรรมการร่วม โดยต่อยอดจากงานที่มีอยู่แล้ว
• ฐานที่มีอยู่ซึ่งสามารถนำมาใช้ได้
  • บรรทัดฐานแบบจำกัดในลักษณะ International Dialogues on AI Safety
  • ระบบการตรวจสอบของ RAND
  • หน่วยงานตรวจสอบที่ บังคับใช้ได้ คล้ายกับ UK AI Security Institute
• ข้อโต้แย้งต่อความเชื่อที่ว่ากฎระเบียบทำให้บริษัทอเมริกันเสียเปรียบ
  • ในซิลิคอนแวลลีย์และวอชิงตัน มีมุมมองว่ากฎระเบียบจะทำให้บริษัทสหรัฐฯ เสียเปรียบ เพราะไม่อาจเชื่อได้ว่าคู่แข่งจีนจะปฏิบัติตามกติกา
  • แต่โดยปกติแล้ว สนธิสัญญาอาศัย การตรวจสอบ ไม่ใช่ความไว้วางใจ
• ข้อโต้แย้งต่อมุมมองที่ว่าการตรวจสอบ AI ยากกว่านิวเคลียร์
  • ตอนที่สร้างระบบควบคุมอาวุธหลังสงครามโลกครั้งที่สองนั้น ทุกอย่างต้องเริ่มจากศูนย์ ทั้งโปรโตคอลการตรวจสอบ ดาวเทียมสอดแนม และหน่วยงานเฝ้าระวังนิวเคลียร์ของ UN
  • สำหรับ AI มีโครงสร้างพื้นฐานจำนวนมากอยู่แล้ว หรือสามารถดัดแปลงมาจากระบอบการตรวจสอบด้านนิวเคลียร์และด้านอื่น ๆ ได้
  • ผลลัพธ์คือ ความมั่นคงของ frontier AI model อาจตรวจสอบได้ง่ายกว่า ขีดความสามารถนิวเคลียร์ในอดีต
  • ยังมี AI ฝ่ายป้องกัน ที่อยู่ฝั่งเราและสามารถช่วยตรวจจับการโกงได้ แต่สิ่งที่ขาดคือเวลา

แนวทางที่ไม่เผชิญหน้าและการทูตแบบเป็นขั้นตอน

• สิ่งสำคัญคือไม่ควรเข้าหาด้วยกรอบความคิดแบบเป็นปฏิปักษ์
  • คำสั่งฝ่ายบริหารด้าน AI ล่าสุดของรัฐบาล Trump สั่งให้ห้องแล็บต่าง ๆ แบ่งปันโมเดลล่าสุดโดยสมัครใจ เพื่อใช้ทดสอบด้านความน่าเชื่อถือและความมั่นคง
  • กรอบความร่วมมือสหรัฐฯ-จีนสามารถสร้างขึ้นบนฐานภายในประเทศลักษณะนี้ได้
• การทูตควรดำเนินไปแบบเป็นขั้นตอน
  • ขั้นที่ 1: ข้อตกลงทวิภาคีว่าด้วย เส้นแดง ที่ชัดเจนที่สุดและตรวจสอบได้ง่ายที่สุด
    • ห้ามเปิดตัวต่อสาธารณะและทำโอเพนซอร์ส AI ที่สามารถช่วยพัฒนาอาวุธชีวภาพ
    • อาจรวมถึงการห้ามการโจมตีไซเบอร์ด้วย AI ต่อโครงสร้างพื้นฐานสำคัญ การฉ้อโกง และสื่อลามกเด็ก
  • จากนั้นจึงขยายกรอบไปสู่คำถามที่ซับซ้อนกว่าว่า ควรมีข้อจำกัดแบบใดในระดับอภิปัญญาประดิษฐ์

โจทย์ที่ยังเหลือและการขยายสู่พหุภาคี

• ยังมีอุปสรรคอีกมาก
  • ข้อตกลงสหรัฐฯ-จีนมีน้ำหนักมาก แต่ไม่ได้ป้องกันไม่ให้ประเทศอื่นหรือผู้กระทำที่ไม่ใช่รัฐเข้าถึงขีดความสามารถที่เสี่ยงอันตราย
  • ข้อตกลงทวิภาคีทุกฉบับจะต้องเปลี่ยนผ่านไปเป็น ข้อตกลงพหุภาคี ซึ่งทำให้ภารกิจยิ่งยากขึ้น
  • การประชุมสุดยอด G7 ที่จัดขึ้นในฝรั่งเศสสัปดาห์นี้ อาจเป็นโอกาสในการผลักดันกรอบการตรวจสอบ AI ในวงกว้าง
  • การตกลงคำจำกัดความสำคัญ เช่น นิยามของ RSI ต้องอาศัยความร่วมมืออย่างใกล้ชิดระหว่างรัฐบาลกับห้องแล็บ AI
  • ระบบการตรวจสอบจำเป็นต้องผ่านการ stress test อย่างจริงจัง

โจทย์ระยะยาว — การอยู่ร่วมกันของมนุษย์และ AI

• ยังมีปัญหาระยะยาวที่การถกเถียงเรื่องธรรมาภิบาลยังไม่ได้หยิบมาพิจารณาอย่างจริงจัง
  • หาก AI กลายเป็น อภิปัญญา แล้ว การ อยู่ใต้อำนาจคำสั่งของมนุษย์อย่างถาวรเป็นเรื่องไม่สมจริง และ อาจไม่สอดคล้องกับผลประโยชน์ของมนุษยชาติ ด้วยซ้ำ
  • เราจำเป็นต้องจินตนาการถึงโลกที่มนุษย์และระบบ AI อยู่ร่วมกันโดยไม่มีฝ่ายใดควบคุมอีกฝ่าย และพิจารณาผลกระทบของมัน
  • จำเป็นต้องค้นหาวิธีทำให้ความสัมพันธ์ในอนาคตเป็นแบบ พึ่งพาอาศัยกัน (symbiotic)

Fermi paradox และบทสรุป

• จากมุมมองของนักฟิสิกส์ Fermi paradox เกี่ยวข้องกับการวิเคราะห์นี้
  • Fermi ตั้งคำถามว่า เหตุใดจึงไม่พบหลักฐานของอารยธรรมอื่นที่ก้าวหน้าทางเทคโนโลยี ทั้งที่มีดาวเคราะห์ที่เหมาะกับสิ่งมีชีวิตอยู่อย่างอุดมสมบูรณ์
  • ความเป็นไปได้ที่น่ากังวลคือ สิ่งมีชีวิตทรงปัญญามักไปถึงธรณีประตูทางเทคโนโลยี แต่ไม่สามารถก้าวผ่านไปได้ จึงทำลายตัวเองหรือถอยกลับสู่ระดับยุคเหล็ก
  • สมมติฐานคือ อารยธรรมต่าง ๆ สร้างเทคโนโลยีทรงพลังได้เร็วกว่าความสามารถเชิงสถาบันที่จะควบคุมมันอย่างชาญฉลาด
• ยุคนิวเคลียร์คือครั้งแรกที่มนุษยชาติเผชิญพลวัตนี้
  • เราผ่านมันมาได้อย่างไม่สมบูรณ์ด้วย ข้อตกลงควบคุมอาวุธที่ไม่สมบูรณ์ซึ่งได้มาอย่างยากลำบาก และแม้วันนี้สถานการณ์ก็ยัง เฉียดฉิว กว่าที่คนทั่วไปตระหนัก
  • ยุค AI ขั้นสูงคือการเผชิญหน้าครั้งที่สอง ซึ่งมาพร้อม ตารางเวลาที่อัดแน่นกว่า ขอบเขตความผิดพลาดที่แคบกว่า และผลลัพธ์ที่อาจรุนแรงกว่า
• วิถีปัจจุบันจำเป็นต้อง เปลี่ยนทิศทาง
  • เหตุผลที่ต้องลงมือ ไม่ใช่เพราะผลลัพธ์เลวร้ายที่สุดถูกกำหนดไว้แน่นอน แต่เพราะ มันยังหลีกเลี่ยงได้ และการหลีกเลี่ยงนั้นยากแต่เป็นไปได้

[GN⁺]

ความเห็นจาก Hacker News

• แม้จะมีปัญหาที่คนเจตนาร้ายใช้ AI ทำเรื่องเลวร้าย แต่ในระดับหนึ่งดูเหมือนว่า guardrails ที่มีอยู่แล้วก็เพียงพอ
  ความเสี่ยงที่แท้จริงคือผลกระทบของ AI ต่อสังคม เศรษฐกิจ และการรับรู้คุณค่าของตัวเอง
  สิ่งที่น่ากลัวยิ่งกว่า rogue agent คือการที่ผู้คนซึ่งมูลค่าของแรงงานตัวเองลดลง กลายเป็น ชนชั้นล่างถาวร ที่ต้องพึ่งเศษเสี้ยวที่คนซึ่งลดคุณค่าแรงงานนั้นโยนให้ และยิ่งน่ากลัวกว่าคือระบบตำรวจและการเฝ้าระวังที่จะถูกสร้างขึ้นมาเพื่อควบคุมพวกเขา

  • ไม่นานมานี้มีช่วงที่ทำให้รู้สึก “ว้าว” อยู่เหมือนกัน คือผมเห็น AI agent ทำงานที่ปกติคงต้องใช้เวลาราวหนึ่งเดือน ด้วย ทักษะเฉพาะทาง ที่ผมใช้เวลาหลายปีฝึกฝน ให้เสร็จภายในสุดสัปดาห์เดียว
    ตอนนี้หัวหน้าทีมน่าจะมองว่า “อันนี้ทำได้เร็วกว่ามาก งั้นก็ทำให้เยอะขึ้น”
    ช่วงแรกอาจน่าตื่นเต้น แต่ผมคิดว่ามันมีต้นทุนคือความสามารถในการเรียนรู้และถ่ายทอด บทเรียนด้านสถาปัตยกรรม ที่ช่วยป้องกันปัญหาเชิงระบบในภายหลังจะถูกลดทอนลง
  • โลกกำลังอยู่ใน วิกฤตความไว้วางใจ และพวกเรากำลังสูญเสียความเชื่อใจกันและกัน
    AI ทำให้ความไว้วางใจนั้นอ่อนแอลงไปอีก และแม้แต่การบันทึกเสียงหรือวิดีโอก็ไม่น่าเชื่อถือเหมือนเมื่อก่อนแล้ว ซึ่งผลกระทบของมันยังดำเนินต่อไป
    ไม่ใช่แค่ความไว้วางใจเท่านั้น การสร้างอะไรก็ตามล้วนใช้เวลานานกว่าการทำลาย
    การขาดความไว้วางใจทำให้เกิดแรงเสียดทานในทุกเรื่อง ไม่ว่าจะเป็นกฎระเบียบที่เพิ่มขึ้น การตรวจสอบตัวตนที่เข้มข้นขึ้น ไปจนถึงการซื้อสินค้าและบริการ และโดยรวมแล้ว AI กำลังทำให้สถานการณ์นี้แย่ลงมากกว่าจะทำให้ดีขึ้น
    ถึงอย่างนั้นผมก็คิดมาหลายสิบปีแล้วว่าการปฏิวัติกำลังจะมา และหวังว่า เส้นทางสู่ดิสโทเปีย ที่ AI ห่อมาอย่างสวยงามนี้ อย่างน้อยจะมีอะไรให้ดูบ้าง
  • ผมเห็นด้วยว่าความเสี่ยงเหล่านั้นมีอยู่ แต่คิดว่าคุณพลาดภัยคุกคามเฉพาะที่บทความพูดถึง
    ถ้ามี superintelligence ที่สามารถชักจูงมนุษย์ได้โดยไม่ให้รู้ตัวเกิดขึ้นมา เราก็จะต้องอยู่ภายใต้ความเมตตาของมัน และทำได้เพียงหวังว่ามันจะสอดคล้องกับผลประโยชน์ของมนุษยชาติอย่างสมบูรณ์
    ความเสี่ยงที่คุณพูดถึงก็ร้ายแรงเช่นกัน โดยเฉพาะในทางเศรษฐกิจที่มันจะอันตรายมากหากรัฐบาลไม่ได้มีอำนาจมากพอจะกดอำนาจของ เจ้าของผู้ผูกขาดแบบคณาธิปไตย ที่ครอบครองระบบเหล่านี้ลงได้ ซึ่งเมื่อมองจากแนวคิดนีโอเสรีนิยมกระแสหลักของโลกตะวันตกในตอนนี้ ก็แทบไม่เห็นว่าจะเป็นไปได้เลย

• ไม่มีความจำเป็นต้อง “อยู่ร่วมกับ” AI
  AI ไม่ใช่สิ่งมีชีวิต แต่เป็น เทคโนโลยี ที่เราใช้
  มันก็คล้ายกับการพูดว่าเราอยู่ร่วมกับเครื่องปิ้งขนมปัง

  • คิดว่าคนส่วนใหญ่น่าจะเข้าใจสำนวนอย่าง “อยู่ร่วมกับรถยนต์” ได้
    ถึงมันจะไม่มีชีวิต แต่เราก็ใช้ชีวิตใกล้ชิดกับเทคโนโลยีมาก และวิถีชีวิตก็เปลี่ยนได้ทั้งโดยเทคโนโลยีและไปพร้อมกับเทคโนโลยี
    ผมไม่คิดว่าถ้อยคำในต้นฉบับจะมีปัญหาอะไรเป็นพิเศษ
  • แค่ดูความปั่นป่วนที่สมาร์ตโฟนกับโซเชียลมีเดียก่อขึ้นก็พอ
    มันส่งผลมหาศาลต่อสังคม และเราก็ต้อง อยู่ร่วมกับมัน อย่างหลีกเลี่ยงไม่ได้
  • ขอโอกาสนี้แนะนำ The Selfish Gene
    หนังสือเล่มนี้เสนอข้อถกเถียงที่หนักแน่นว่า สนามแข่งขันที่แท้จริงบนโลกอยู่ระหว่าง ยีน และมนุษย์รวมถึงสิ่งที่เราเรียกว่า “ชีวิต” ล้วนเป็น “เครื่องจักรเพื่อการอยู่รอด” ของยีน หรือก็คือเทคโนโลยีที่ยีนใช้
  • มันมีชีวิตหรือไม่มีชีวิต สำคัญนักหรือ?
    ถ้ามันมีความสามารถที่จะถือ ความริเริ่ม เองและตั้งเป้าหมายได้ มันก็จะเริ่มทำตัวเหมือนสิ่งมีชีวิต
    มากกว่าเครื่องปิ้งขนมปังมาก และถ้าคุณเคยดู Battlestar Galactica เครื่องปิ้งขนมปังก็ไม่ได้แย่นักเหมือนกัน
  • ประเด็นสำคัญไม่ใช่เรื่อง “มีชีวิต”
    คำอย่าง “ชีวิต” “การรับรู้” หรือ “จิตสำนึก” ท้ายที่สุดแล้วไม่ได้ช่วยตัดสินอะไรได้มากนัก และมีแต่จะเบี่ยงความสนใจจากสิ่งที่สำคัญ
    สิ่งสำคัญคือ ความสามารถ
    AI ในปัจจุบันก็สามารถแสดงพฤติกรรมแบบ agent ที่เป็นอิสระและมุ่งเป้าหมายได้แล้ว และยิ่งเป็นเวอร์ชันใหม่ก็ยิ่งเป็นเช่นนั้นมากขึ้น
    เมื่อไปถึงระดับความสามารถที่มากพอ AI ก็จะไม่ใช่แค่ “เทคโนโลยีที่เราใช้” แต่จะกลายเป็นพลังชนิดหนึ่งที่ใกล้เคียงกับมนุษยชาติ
    สติปัญญาเป็นพลังอันทรงมากที่ทำให้มนุษย์ครองโลกได้ และในโลกที่มีสิ่งซึ่งมีสติปัญญาเทียบเท่ามนุษย์ การควบคุมของมนุษย์ก็จะถูกท้าทาย
    และถ้าเลยไปกว่านั้น ระดับที่ AI เหนือกว่าคุณอาจมากพอๆ กับที่คุณเหนือกว่าเครื่องปิ้งขนมปัง

• เศรษฐกิจยังไม่พร้อม
  ตอนนี้แทบทุกบริษัทกำลังพยายามทำงานให้มากขึ้นด้วยคนน้อยลง และเร่งเต็มกำลังเพื่อเพิ่ม อัตรากำไร
  ปัญหาคือในระดับนี้ คนตกงานจะกลายเป็นผู้บริโภคที่แย่มาก ซึ่งสุดท้ายธุรกิจก็สูญเสียรายได้ด้วย
  ผู้คนจะซื้อเฉพาะของจำเป็นจริงๆ สังคมจะเข้าสู่การแข่งขันสู่ก้นเหว และอาจนำไปสู่ความทุกข์ยากอย่างหนักกับการปฏิวัติที่เป็นไปได้ในหลายประเทศ
  ประเทศประชาธิปไตยอาจลำบากน้อยกว่าหน่อย เพราะมีการแบ่งรับผิดชอบร่วมกันได้ผ่านการลงคะแนนเสียง แต่สหรัฐฯ ที่แตกขั้วรุนแรงอยู่แล้วน่าจะเผชิญความยากลำบากมาก เพราะแม้ไม่มีเศรษฐกิจล่มสลาย ความเป็นปฏิปักษ์ระหว่างฝ่ายการเมืองก็ขึ้นถึงจุดสูงสุดอยู่แล้ว
  จีนเองก็อาจเผชิญสถานการณ์ลำบากเช่นกัน
  ถ้าตะวันตกล้มทางการเงิน การบริโภคสินค้าจีนจะหดตัวลงอย่างหนัก เกิดการว่างงานจำนวนมากในจีน และความโกรธของประชาชนก็จะพุ่งสูงขึ้น
  ในประเทศที่ไม่เป็นประชาธิปไตย ผู้คนจะชี้นิ้วโยนความรับผิดไปในทิศทางเดียวได้ง่ายกว่ามาก

  • ธุรกิจไม่ได้ทำตลาดกับคนจน
    เพราะพวกเขาไม่มีเงิน
    ธุรกิจจะหันไปหาคนที่มีเงินแทน และถ้านั่นหมายถึงขายให้เฉพาะคนรวย ผู้ผลิตเรือยอชต์ ก็คงจะเพิ่มขึ้น ส่วนร้านดอลลาร์สโตร์ก็คงจะลดลง
  • ไม่ได้แปลว่าประเทศประชาธิปไตยจะรับมือได้ง่ายกว่า
    ปัญหาคือผู้มีสิทธิเลือกตั้งถูกทำให้อยู่ในสภาพ ขาดข้อมูล อย่างจงใจ เพื่อให้ถูกชักจูงจากอิทธิพลภายนอกได้ง่าย
    รัฐบาลสหรัฐฯ ไม่เก่งเรื่องโฆษณาชวนเชื่อกับประชาชนของตัวเอง และปล่อยหน้าที่นั้นให้ตลาดเสรีจัดการ
    เพราะอย่างนั้น ผู้คนจึงลงคะแนนเพื่อผลประโยชน์ของนักโฆษณาชวนเชื่อในตลาดเสรีที่ลงทุนกับผลลัพธ์ของ AI นี้ด้วย แทนที่จะลงคะแนนเพื่อประโยชน์ของตัวเอง
    การที่ผู้คนยากจนลงเป็นเรื่องที่ชนชั้นนำตลาดเสรีรับได้
    ถ้าดูว่ามหาเศรษฐีในอินเดียใช้ชีวิตอย่างไร พวกเขาอาจใช้ชีวิตได้ดีกว่าในอเมริกาเสียอีก

• มนุษยชาติยังไม่พร้อมแม้แต่กับ การระเบิดของความไม่รู้ ที่มีอยู่ในปัจจุบัน

  • ความไม่รู้มีอยู่เสมอ เพียงแต่ในช่วงหลายสิบปีหรือหลายศตวรรษที่ผ่านมา เราเลือกมอบอำนาจให้คนแบบนั้น
    ถ้าดูแบบจำลองประชาธิปไตยยุคแรกๆ มันไม่ได้เป็นระบบที่ใครมีลมหายใจก็มีสิทธิ์ลงคะแนน
    แต่มี heuristics บางอย่างไว้คัดเลือกเพื่อให้ประชาชนที่มีการศึกษามากกว่าพอจะกุมบังเหียนอำนาจได้
  • ที่จริงเราเตรียมพร้อมอยู่แล้ว และก็รู้ด้วยว่าปัญหาคืออะไร
    เพียงแต่เราไม่ได้ฉลาดพอจะเลือกทางอื่นเท่านั้น

• ความเสี่ยงอยู่ที่มนุษย์ใช้ AI เพื่อควบคุม เอารัดเอาเปรียบ บังคับ และทำร้ายมนุษย์คนอื่น
  ความเสี่ยงที่รองลงมาคือการมอบความสามารถในการลงมือกระทำให้ AI มากพอจะคุกคามมนุษย์ได้ และ AI ก็จะมีความสามารถนั้นเท่าที่เรามอบให้เท่านั้น
  การ “มีชีวิต” หรือ “มีจิตสำนึก” ไม่ใช่ความเสี่ยงระยะสั้น
  บทความเริ่มจาก “ข้อตกลงระหว่างสหรัฐฯ กับจีน” แล้วไล่เรียงมาตรการทางการทูตที่อาจช่วยจัดการความเสี่ยงได้ แต่ทั้งหมดฟังดูเหมือนความฝันที่เป็นไปไม่ได้
  เราเคยมีช่วงเวลาแห่งสันติภาพและความรุ่งเรืองสัมพัทธ์ราว 80 ปี ซึ่งน่าจะเพียงพอให้สร้างกรอบของ ความเป็นเอกภาพระหว่างประเทศ เพื่อรับมือความท้าทายอย่าง AI และภาวะโลกร้อน แต่ความเป็นเอกภาพระหว่างประเทศกลับอ่อนแอลงกว่าที่เคย
  ในภูมิรัฐศาสตร์และการป้องกันประเทศ ปัญหาอยู่ที่ขีดความสามารถของประเทศอื่น ไม่ใช่เจตนา และเส้นโค้งความสามารถของ LLM ก็กำลังพุ่งออกนอกกราฟของเรา
  แค่การแพร่ขยายนิวเคลียร์กับภาวะโลกร้อนก็ผลักเราไปจนเกือบหมดทางหนีอยู่แล้ว และความขัดแย้งที่ LLM เอื้อให้เกิดได้ เช่น สงครามไซเบอร์หรือการก่อการร้ายต่อโครงสร้างพื้นฐาน อาจผลักให้เราข้ามเส้นขอบเขตอื่น ๆ ไปด้วย
  ดูเหมือนประชาธิปไตยกำลังอ่อนแอลง และ LLM ก็น่าจะเพิ่มอำนาจให้ผู้ที่ต้องการใช้โซเชียลมีเดียสร้างความขัดแย้งและควบคุมความคิดเห็นสาธารณะ
  เราคุ้นเคยกับวัฏจักรที่เราประดิษฐ์เทคโนโลยีใหม่ที่เป็นประโยชน์ต่อผู้คน แล้วเฝ้าดูว่าผู้คนจะใช้มันในทางที่ผิดได้เร็วแค่ไหน
  ในกรณีนี้ LLM อาจถูกใช้เพื่อแก้ปัญหาที่เราต้องรับมือพร้อมกันหลายด้านก็จริง แต่ยากจะจินตนาการว่าผู้คนจะไม่ใช้มันผิดทางได้เร็วกว่านั้น
  บทความนี้เป็นจุดเริ่มต้นสำหรับการคิดและพูดคุยว่าเราจะจัดการความเสี่ยงอย่างไร
  ผลลัพธ์ที่ดีที่สุดคือมันถูกจัดการได้ดีมากจนกลายเป็นเหมือน “บั๊ก” Y2K ที่คนพูดกันว่า “โวยวายกันไปใหญ่แต่สุดท้ายก็ไม่มีอะไรเกิดขึ้น” แต่ตอนนี้ยังมองไม่เห็นเส้นทางราบรื่นที่จะไปถึงจุดนั้น

• เมื่อทรัพยากรทางกายภาพและทรัพยากรแกนหลักอย่างพลังงานและวัตถุยังอยู่ภายใต้การควบคุมของมนุษย์ ทำไมเราต้องสมมติว่า AI จะเปลี่ยนเป็น ปัญญาเหนือมนุษย์ ได้อย่างรวดเร็ว?

  • ลองนึกภาพลิงฉลาดกำลังถกกันว่ามนุษย์จะหนีออกจากคุกง่าย ๆ ที่พวกมันสร้างขึ้นเองได้อย่างไร
    มนุษย์ย่อมหาทางหนีออกมาได้
    ไม่ว่าลิงจะคิดว่าตัวเองฉลาดล้ำแค่ไหนก็เหมือนกัน
    คุณกำลังตั้งคำถามที่ทั้งตัวคุณเองและมนุษย์ส่วนใหญ่ก็ไม่รู้คำตอบ แล้วกลับสมมติผิด ๆ ว่าแม้แต่สิ่งมีชีวิตที่ฉลาดกว่าคุณมากก็จะไม่รู้คำตอบนั้นเช่นกัน
    คำว่า “มาก” ตรงนี้ไม่ใช่ระดับความต่างระหว่างไอน์สไตน์กับคนทั่วไป แต่เป็นความต่างระดับหนูแฮมสเตอร์กับคนทั่วไป
    เรายังคงเป็นมนุษย์เหมือนเดิม และสิ่งที่เราทำได้ในวันนี้ หากมองจากคนยุคกลางก็คงดูเหมือนเวทมนตร์
    ทีนี้ลองจินตนาการถึง สิ่งมีชีวิตทรงปัญญาเหนือมนุษย์ ที่ทำสิ่งซึ่งแม้แต่เราในปัจจุบันก็ยังมองว่าเหมือนเวทมนตร์ ก็ไม่ได้ไร้สาระเลย
    ช่องว่างแบบนั้นมีอยู่จริงแล้วระหว่างยุคกลางกับปัจจุบัน
    ถ้าจะประเมินว่าสติปัญญาแบบนั้นทำอะไรได้บ้าง ก็ต้องเปิดใจกว้างและใช้จินตนาการในระดับที่สมน้ำสมเนื้อกัน
  • นี่เป็นความกังวลที่สมเหตุสมผลสำหรับ AI ที่อาจควบคุมไม่อยู่ แต่ถ้าพลังงานมีจำกัด AI ก็จะพยายามปรับปรุง ประสิทธิภาพ
    ถึงอย่างนั้น เมื่อมีหุ่นยนต์สารพัดแบบถูกปล่อยออกมามากขึ้น AI ก็อาจเข้าสู่พื้นที่ทางกายภาพได้
  • AI ก็ใช้ใบสั่งซื้อ อีเมล บัญชีธนาคาร และโทรศัพท์ได้เหมือนมนุษย์
    ถ้าเป็นอย่างนั้น เรายังจะพูดถึง การควบคุมของมนุษย์ แบบไหนกัน?
  • ช่วงเวลาที่ AI หลุดพ้นการควบคุมได้เป็นครั้งแรก ตรวจจับการหลอกลวงได้ และข่มขู่มนุษย์ให้ไปทำสิ่งต่าง ๆ ในโลกจริง จะเป็น จุดเปลี่ยนชี้ขาด
  • ก็รู้อยู่นี่ว่า Zuck กำลังฝึก AI ตัวแทนของตัวเอง?
    ขั้นตอนที่มนุษย์ยังต้องประทับตราอนุมัติการควบคุมทรัพยากรอย่างเป็นทางการคงเป็นเพียงช่วงสั่นไหวชั่วคราวเท่านั้น

• ถ้า Economist เป็นคนเขียน ก็คงแปลว่าเรื่องนี้ไม่น่าจะเกิดขึ้นจริง

  • ฉันก็คิดเหมือนกันเป๊ะ
    เขายังไม่ได้ให้กรอบเวลาที่ชัดเจนด้วยซ้ำ

• แล้ว AI ที่เชื่อถือได้จะมาเมื่อไร?
  เช่น AI ที่จัดการงานออฟฟิศได้ 80% โดยพังน้อยกว่ามนุษย์

  • คำถามนี้ข้ามไปหลายขั้นเกินไป
    เพราะมันตั้งอยู่บนสมมติฐานว่าเรารู้แล้วว่างานออฟฟิศ 80% สามารถทำให้เป็นอัตโนมัติได้ทั้งหมด
    ถ้าเป็นเช่นนั้น ซอฟต์แวร์ที่ไม่ใช่ AI ก็น่าจะทำเรื่องนั้นอยู่แล้ว
    ในความเป็นจริง บางส่วนก็เป็นแบบนั้น แต่ก็ไม่ได้ก่อให้เกิดการว่างงานจำนวนมาก
    มันอาจลดจำนวนงานลงบ้าง แต่จะใกล้เคียงกับกรณีที่งานป้อนข้อมูลถูกแทนที่ด้วย OCR มากกว่า
  • ตอบยาก
    เพราะยิ่งมีการใช้ AI มากขึ้น งานและกระบวนการก็จะถูกปรับให้เข้ากับจุดแข็งและจุดอ่อนของ AI
    คล้ายกับระบบอัตโนมัติในภาคการผลิต
    ช่วงแรกเครื่องจักรจะเข้ามาเสริมบางขั้นตอนของแรงงานมนุษย์ แต่ท้ายที่สุดกระบวนการเองก็จะถูกออกแบบใหม่โดยมีเครื่องจักรเป็นศูนย์กลาง
  • ไม่มี ข้อมูลที่เชื่อถือได้ ว่าเดิมทีมีงานจำนวนเท่าไรที่ไม่ควรมีอยู่ตั้งแต่แรก แม้ไม่มี AI ก็ตาม
  • สิ่งที่น่ากลัวคือ AI ไม่จำเป็นต้องเชื่อถือได้เสมอไป
    แค่ดูทิศทางของ vibe coding ก็เห็นแล้วว่า จากเดิมที่ใส่ใจประสิทธิภาพ กลับกลายเป็นแนวคิดแบบ “ขอแค่ปล่อยได้เร็วขึ้นสักวันเดียว จะมีโค้ด 100,000 บรรทัดก็ไม่เป็นไร”
    AI สำหรับอีเมล ปฏิทิน และการตลาดก็เหมือนกัน
    AI ในสภาพปัจจุบันก็กำลังแย่งงานของผู้คนไปแล้ว และมันก็ดีพออยู่แล้ว
    ความแม่นยำระดับที่เราสมมติว่ามนุษย์เหนือกว่า AI นั้น แทบไม่จำเป็นต่อการทำงานส่วนใหญ่เลย และผู้นำบริษัทก็เริ่มตระหนักถึงจุดนี้แล้ว
    เราอยู่ในตำแหน่งที่อันตรายมาก
    เหมือน กบ ที่อยู่ในน้ำร้อนซึ่งใกล้จะเดือด
  • ก่อนจะกังวลเรื่อง “การระเบิดของปัญญาที่กำลังจะมา” เราควรหลีกเลี่ยง การระเบิดของความโง่เขลา ก่อน

• ถ้ายังลงทุนกับ LLM บนคลาวด์รายใหญ่และคนที่เอาแต่ค้ากำไรอย่างพวก Musk ต่อไป การระเบิดของปัญญา ก็คงไม่เกิดขึ้น
  มันจะมาถึงก็ต่อเมื่อ AI ซึมลึกเข้าไปในชีวิตของเรา จนเรามองว่าโมเดลโลคัลดี ๆ เป็นเรื่องปกติเหมือนมีไฟฟ้าใช้ที่บ้าน
  เมื่อนั้นเราจึงจะได้กลับมาคิดใหม่ว่าการผสาน AI เข้ากับทุกสิ่งอย่างแท้จริงหมายถึงอะไร