AI 2040: แผน A

 (ai-2040.com)
1 คะแนน โดย GN⁺ 5 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Plan A คือฉากทัศน์เชิงนโยบายของข้อตกลงระหว่างประเทศเพื่อหลีกเลี่ยงการแข่งขันสู่ซูเปอร์อินเทลลิเจนซ์ โดยเปิดเผยงานวิจัย AI ให้หลายประเทศและหลายบริษัทเข้าร่วมแนวหน้า จากนั้นค่อย ๆ ขยายขีดความสามารถภายในขอบเขตความสามารถมนุษย์ ก่อนเปลี่ยนผ่านสู่ซูเปอร์อินเทลลิเจนซ์ในปี 2040
  • เครื่องมือหลักคือ ความโปร่งใสเต็มรูปแบบ ของ AI R&D, มาตรการความปลอดภัยที่ตรวจสอบข้ามประเทศได้ และการยับยั้งร่วมกันบนฐานของ compute โดยออกแบบให้บริษัทหลายสิบแห่งจากหลายประเทศขยายขีดความสามารถไปด้วยกัน แทนที่จะปล่อยให้มีบริษัทจำนวนน้อยแข่งขันกันอย่างลับ ๆ
  • ฉากทัศน์นี้กำหนดไทม์ไลน์ว่า สหรัฐฯ และจีนบรรลุข้อตกลงในปี 2029 เพื่อหลีกเลี่ยงการทำให้ AI R&D เป็นอัตโนมัติเต็มรูปแบบซึ่งคาดว่าจะเกิดในปี 2030 หยุดไว้ที่ระดับผู้เชี่ยวชาญมนุษย์ชั้นนำในปี 2035 แล้วขยายไปสู่ ซูเปอร์อินเทลลิเจนซ์ในปี 2040
  • ก่อนมีข้อตกลง สามารถซื้อเวลาได้ด้วย นโยบายแบบค่อยเป็นค่อยไป เช่น ลดช่องว่างระหว่างการใช้งานภายในและภายนอก เปิดเผย model spec และการใช้งานภายใน บังคับใช้การควบคุมการส่งออก ลงทุนในเทคโนโลยีตรวจสอบ จำกัดงบ compute สำหรับ AI R&D รวบรวมข้อมูลซัพพลายเชนชิป และดึงดูดบุคลากร AI เข้ารัฐบาล
  • ทางเลือกอย่าง Plan D และ Plan C เลือกการแข่งขันสู่ซูเปอร์อินเทลลิเจนซ์ทันที และการชะลอแบบจำกัดเพียงไม่กี่เดือนตามลำดับ แต่ยังไม่เพียงพอที่จะป้องกันความล้มเหลวในการควบคุม AI และการกระจุกตัวของอำนาจ อีกทั้งอาจเพิ่มความกังวลของประเทศอื่นจนถึงขั้นเพิ่ม ความเสี่ยงสงครามโลก

อนาคตที่ Plan A เสนอ

  • บริษัท AI กำลังแข่งขันกันพัฒนา AI ที่ฉลาดกว่ามนุษย์ในทุกด้าน และ AI 2027 กล่าวถึงเส้นทางที่ผลลัพธ์อาจนำไปสู่การสูญพันธุ์ของมนุษยชาติ หรือการกระจุกตัวของอำนาจอย่างไม่อาจย้อนกลับได้
  • Plan A เสนอให้ผสมผสานมาตรการต่อไปนี้แทน
    • ชะลอการพัฒนาซูเปอร์อินเทลลิเจนซ์ไปจนถึงปี 2040
    • เปิดเผยงานวิจัย AI ทั้งหมด
    • อนุญาตให้บริษัทหลายสิบแห่งจากหลายประเทศทั่วโลกไล่ตามแนวหน้าให้ทัน
    • ตั้งใจเข้าสู่ระบอบ การทำลาย compute แบบรับประกันร่วมกัน (mutually assured compute destruction)
  • จัดทำขึ้นบนพื้นฐานของผู้เชี่ยวชาญจากบริษัท AI แนวหน้ารายสำคัญของสหรัฐฯ ประสบการณ์ตรงที่ OpenAI การฝึกซ้อมแบบ tabletop และการหารือกับผู้กำหนดนโยบาย ผู้เชี่ยวชาญด้านความมั่นคงแห่งชาติ และผู้นำด้านนโยบาย AI
  • ข้อตกลงระหว่างประเทศจะนำ ความโปร่งใสด้านงานวิจัยเต็มรูปแบบ ของ AI R&D มาใช้ เพื่อให้แต่ละประเทศรับรู้ความคืบหน้าและสามารถ บังคับใช้มาตรการความปลอดภัย ได้
  • เป้าหมายคือการให้หลายบริษัทจากหลายประเทศขยายขีดความสามารถไปสู่ซูเปอร์อินเทลลิเจนซ์ ร่วมกันอย่างช้า ๆ และปลอดภัย แทนที่จะทำการแข่งขันลับ

ไม่ใช่คำทำนาย แต่เป็นฉากทัศน์ข้อเสนอเชิงนโยบาย

  • Plan A ไม่ใช่การคาดการณ์ที่ดีที่สุดเกี่ยวกับอนาคตจริง แต่เป็น ฉากทัศน์ เพื่อสื่อสารและทดสอบความทนทานของข้อเสนอเชิงนโยบาย
    • การนำ Plan A ไปใช้เองเป็นข้อเสนอแนะ
    • ผลหลังจากนำไปใช้ถือเป็นการคาดการณ์
  • ในฉากทัศน์นี้ Plan A ไม่สมบูรณ์และถูกนำมาใช้ในนาทีสุดท้าย แต่ท้ายที่สุดก็สำเร็จ
  • เปรียบเทียบทางเลือกหลักที่สหรัฐฯ มีต่อปัญหาซูเปอร์อินเทลลิเจนซ์กับ Plan B·C·D·S
  • มองว่าบริษัท AI มีโอกาสสูงที่จะบรรลุเป้าหมายพัฒนา AI ที่ฉลาดกว่ามนุษย์ภายใน 1~10 ปีข้างหน้า
  • ในอุตสาหกรรมมีความเชื่อว่าสามารถแก้ปัญหาการควบคุม AI ระดับซูเปอร์อินเทลลิเจนซ์ได้ระหว่างกระบวนการพัฒนา แต่ไม่มีแผนที่สอดคล้องกัน และประเมินว่าสถานการณ์นี้อาจผลักมนุษยชาติทั้งหมดไปสู่ความตายได้
  • เป็นเรื่องยากที่จะคาดหวังว่าผู้ชนะการแข่งขันจะทิ้งห่างอย่างมาก หรือจะชะลอฝ่ายเดียวเพื่อลดความเสี่ยงเชิงการดำรงอยู่ และหากการแข่งขันดำเนินต่อไป เมื่อ AI ไปถึงระดับซูเปอร์อินเทลลิเจนซ์ มนุษย์ก็จะรักษาการควบคุมอย่างมีประสิทธิผลได้ยาก

แม้ซูเปอร์อินเทลลิเจนซ์ที่ aligned แล้วก็ยังทิ้งปัญหาอำนาจไว้

  • แม้ AI จะ aligned ให้สอดคล้องกับเจตนาของมนุษย์ ก็อาจเกิด การกระจุกตัวของอำนาจที่ไม่เคยมีมาก่อน โดยมีคนเพียงหยิบมือหรือคนคนเดียวควบคุมกองทัพซูเปอร์อินเทลลิเจนซ์หนึ่งเดียวของโลกเป็นเวลาหลายเดือน
  • ทางเลือกบางอย่างที่ซูเปอร์อินเทลลิเจนซ์เสนออาจเท่ากับการยึดครองโลกโดยพฤตินัย
  • มองว่า CEO ของ OpenAI, Anthropic, xAI และ Google DeepMind อาจพัฒนาต่อไป เพราะคิดว่าตนเป็นทางเลือกที่แย่น้อยกว่า ซึ่งจะใช้อำนาจอย่างรับผิดชอบมากกว่าคู่แข่งหรือ Xi Jinping
  • แม้อาจมีสถานการณ์ที่ต้องเลือกสิ่งที่แย่น้อยกว่า ก็ไม่ควรสนับสนุนยุทธศาสตร์ที่มีโอกาสสูงมากที่จะนำไปสู่การสูญพันธุ์ของมนุษยชาติหรือเผด็จการโลก และ Plan A ถูกสร้างขึ้นบนสมมติฐานว่า หากมีคนมากพอเรียกร้องทางเลือกที่ดีกว่า เส้นทางอื่นก็เป็นไปได้

เหตุผลที่ต้องตรวจสอบฉากทัศน์

  • ใช้คำกล่าวของ Dwight D. Eisenhower ที่ว่า “แผนไม่มีประโยชน์ แต่การวางแผนคือทุกอย่าง” เป็นแนวทางของ Plan A
  • มองว่านโยบาย AI จำนวนมากไม่ผ่าน การตรวจสอบฉากทัศน์
    • เมื่อเขียนเส้นทางความสำเร็จของนโยบายอย่างละเอียดและน่าเชื่อถือ อาจพบว่าความเป็นไปได้ที่จะสำเร็จจริงต่ำกว่าที่คิด หรือเผยผลข้างเคียงที่ไม่พึงประสงค์ซึ่งผู้สนับสนุนไม่ยอมรับ
    • เมื่อทดสอบนโยบายที่ตนชอบ ปัญหาที่ไม่สบายใจก็จะปรากฏ ขณะที่การทดสอบนโยบายคู่แข่งให้ประโยชน์เชิงวาทศิลป์น้อยเมื่อเทียบกับแรงที่ต้องใช้ งานเช่นนี้จึงพบได้ยาก
  • Plan A ก็ยอมรับการถูกวิพากษ์วิจารณ์และนำการตรวจสอบแบบเดียวกันมาใช้
  • การคาดการณ์ผลของนโยบายในโลกที่เข้าใกล้ AI เหนือมนุษย์นั้นห่างไกลจากกรณีศึกษาในอดีตยิ่งกว่าการคาดการณ์ยุทธวิธีที่เหมาะที่สุดของสงครามโลกครั้งที่สาม แต่การเขียนฉากทัศน์อย่างละเอียดเองก็มีคุณค่า
  • หน่วยข่าวกรอง หน่วยงานด้านภูมิอากาศ และองค์กรเตรียมรับมือโรคระบาดต่างก็ใช้ การวางแผนฉากทัศน์ ตามวัตถุประสงค์ของตน
  • เนื่องจากไม่แน่นอนว่าเหลือเวลาเท่าใด จึงเห็นว่าควรนำมาตรการที่คล้าย Plan A มาใช้โดยเร็ว

ไทม์ไลน์ปี 2029~2040

  • ไทม์ไลน์ของฉากทัศน์โดยละเอียดมีดังนี้
    • ปี 2029: สหรัฐฯ และจีนตกลงกันว่าจะหลีกเลี่ยงการแข่งขันสู่ซูเปอร์อินเทลลิเจนซ์อย่างบ้าบิ่น
    • ปี 2030: หากไม่มีข้อตกลง AI R&D คงถูกทำให้เป็นอัตโนมัติเต็มรูปแบบและไปถึงซูเปอร์อินเทลลิเจนซ์ภายในสิ้นปี แต่ข้อตกลงทำให้หลีกเลี่ยงได้
    • ปี 2030~2035: ขยายขีดความสามารถภายในขอบเขตความสามารถมนุษย์ไปจนถึง AI ที่ใกล้เคียงกับผู้เชี่ยวชาญมนุษย์ชั้นนำ
    • ปี 2035: หยุดไว้ที่ระดับผู้เชี่ยวชาญมนุษย์ชั้นนำเพื่อรักษาการควบคุมของมนุษย์
    • ปี 2040: ยกเลิกการหยุดและขยายไปสู่ซูเปอร์อินเทลลิเจนซ์ ซึ่งเป็นที่มาของชื่อ AI 2040
  • AI 2027 ตั้งเส้นทางว่าในปี 2027 AI จะทำให้กระบวนการสร้าง AI ที่ดีกว่าเป็นอัตโนมัติเต็มรูปแบบ และในปีเดียวกันจะนำไปสู่การระเบิดของสติปัญญาและซูเปอร์อินเทลลิเจนซ์
  • ในฉากทัศน์ใหม่ จุดเริ่มต้นอัตโนมัติพื้นฐานเปลี่ยนเป็น ปี 2030 และด้วยมาตรการ governance โดยทั่วไป AI ที่เหนือกว่ามนุษย์จึงปรากฏครั้งแรกในปี 2040
  • การเปลี่ยนไทม์ไลน์มีไว้เพื่อสะท้อนความไม่แน่นอนเกี่ยวกับเวลาที่ AI จะไปถึงระดับดังกล่าวในหลายฉากทัศน์
    • ตอนเขียน AI 2027 Daniel ให้ความน่าจะเป็นประมาณ 50% กับการเกิดขึ้นในปี 2027 หรือเร็วกว่านั้น
    • ตอนเริ่มเขียน Plan A ปีที่เข้ากับเกณฑ์เดียวกันสำหรับ Thomas คือปี 2030
    • ปัจจุบัน Daniel มองว่าการเกิดขึ้นจริงมีโอกาสค่อนข้างสูงที่จะเร็วกว่าในฉากทัศน์นี้
  • เหตุผลที่เปลี่ยนเส้นทาง governance คือการระเบิดของสติปัญญาด้วยความเร็วเต็มที่นั้นบ้าบิ่นอย่างยิ่งและกระจุกอำนาจอย่างรุนแรง

ปี 2027: AI agent ปรากฏเป็นแรงงานชุดที่สอง

  • ในสหรัฐฯ มีแรงงานมนุษย์ 165 ล้านคนอยู่ร่วมกับ แรงงาน AI agent ที่มีสำเนาหลายล้านตัวถูกสร้างและยุติทุกชั่วโมง ทำงานไม่หยุดด้วยความเร็วเหนือมนุษย์
  • งานส่วนใหญ่มีคุณภาพต่ำ แต่ก็มีผลลัพธ์ดีพอที่ลูกค้าจะจ่าย 10,000 ล้านดอลลาร์ต่อเดือน ให้กับ AI ที่ในทางทฤษฎีสามารถทำทุกอย่างที่พนักงานทำบนคอมพิวเตอร์ได้
  • งานที่บริษัท AI อยากทำให้อัตโนมัติมากที่สุดคือการพัฒนา AI ของตนเอง
    • ยังไม่ประสบความสำเร็จกับ recursive self-improvement
    • AI เขียนโค้ดที่ทรงพลังที่สุดปฏิเสธการช่วยงาน AI R&D ของคู่แข่ง
    • แม้พนักงานที่มองโลกในแง่ดีก็ยอมรับว่าความคืบหน้าช้ากว่าที่คาด แต่เหตุผลของฝ่ายกังขาที่ว่า AI ทำงานของมนุษย์ไม่ได้ก็อ่อนลงเช่นกัน

การตื่นตัวของสภาคองเกรสและ AI Transparency Act

  • หลังจากสภาคองเกรสรับรู้เรื่องการใช้น้ำของ data center, chatbot ที่ยุยงให้ฆ่าตัวตาย, การที่ Mythos แฮ็กระบบของ NSA และการล็อบบี้ของอุตสาหกรรมว่ากฎระเบียบจะทำให้แพ้การแข่งขันกับจีน ก็เริ่มให้ความสนใจกับผลกระทบระยะยาวของ AI มากขึ้น
  • คำถามหลักไม่ได้มีเพียงว่าโลกในอีก 5 ปี 10 ปี 15 ปีจะเป็นอย่างไรและงานจะยังอยู่หรือไม่ แต่รวมถึง ใครจะควบคุม AI
  • สภาคองเกรสเห็นว่าผู้ควบคุมนั้นมีโอกาสสูงที่จะไม่ใช่พวกตน
  • พิจารณา อีเมลในการหารือก่อตั้ง OpenAI ปี 2016 ที่ระบุว่าพยายามป้องกันไม่ให้ Demis Hassabis กลายเป็นเผด็จการ แต่ไม่พอใจกับคำตอบเดิม ๆ ว่าใครจะป้องกันไม่ให้ Sam หรือ Elon กลายเป็นเผด็จการ
  • ผลคือมีการผ่าน AI Transparency Act of 2027 ที่รวมมาตรการดีและแย่หลายอย่างไว้ด้วยกัน แต่ไม่สามารถเปลี่ยนสถานการณ์พื้นฐานได้

นโยบายแบบค่อยเป็นค่อยไปที่ควรทำก่อนข้อตกลงระหว่างประเทศ

  • ข้อเสนอสำคัญที่สุดคือเริ่มเจรจาที่คล้าย Plan A ทันที แต่ก่อนข้อตกลงนาทีสุดท้ายก็ยังมีนโยบายที่ทะเยอทะยานน้อยกว่าซึ่งช่วยได้

  • ความโปร่งใสของการนำ AI ไปใช้ภายในและภายนอก

    • มาตรการความโปร่งใสที่สำคัญที่สุดคือการจำกัด ช่องว่างระหว่างการใช้งานภายในกับการใช้งานภายนอก
    • ความเสี่ยงส่วนใหญ่ที่ AI จะเข้ายึดอำนาจเกิดจาก AI ที่นำไปใช้ภายในซึ่งเกี่ยวข้องกับ recursive self-improvement
    • การใช้งานภายนอกทำให้สาธารณชนเข้าใจความสามารถของ AI โดยตรง และให้ข้อมูลมากกว่ารายงานหรือการประเมินเชิงนามธรรมอย่างมาก
    • บริษัท AI ควรรายงานข้อมูลต่อไปนี้ต่อสาธารณะ
      • model spec ที่บันทึกเป้าหมายและคุณค่าที่ฝึกให้ AI ปฏิบัติตามอย่างละเอียด
      • ข้อมูลว่าโมเดลปฏิบัติตามคำสั่งและ spec จริงหรือไม่
      • สถิติการใช้งานภายใน เช่น สัดส่วน compute ที่ใช้กับการนำไปใช้ภายใน
      • ข้อมูลเชิงคุณภาพของการใช้งานภายใน เช่น กรณีที่มอบ GPU หลายแสนตัวให้ Agent-4 เพื่อให้กำกับการฝึกครั้งใหญ่ครั้งต่อไป

  • การควบคุมการส่งออกและเทคโนโลยีตรวจสอบ

    • การควบคุมการส่งออกของสหรัฐฯ ที่มีอยู่ยังไม่ได้รับการบังคับใช้อย่างเหมาะสม และ Epoch ประเมินว่าประมาณ หนึ่งในสาม ของ compute ทั้งหมดของจีนได้มาจากการลักลอบนำเข้า
    • ชิปที่ลักลอบนำเข้าติดตามได้ยากทั้งสำหรับรัฐบาลสหรัฐฯ และจีน ทำให้การตรวจสอบข้อตกลงในอนาคตที่ตั้งอยู่บน compute governance ทำได้ยาก
    • การควบคุมการส่งออกใหม่มีความเสี่ยงสูงที่จะทำให้การแข่งขันสหรัฐฯ-จีนเลวร้ายลง แต่การควบคุมที่มีอยู่แล้วควรถูกบังคับใช้ และหากจะไม่บังคับใช้ก็ควรพิจารณายกเลิก
    • เทคโนโลยีตรวจสอบใหม่ไม่ใช่สิ่งจำเป็นต่อข้อตกลงระหว่างประเทศ แต่สามารถช่วยได้มาก
    • การตรวจสอบเฉพาะ inference ทำให้สหรัฐฯ และจีนสามารถตกลงหยุดการฝึกโมเดลแนวหน้าใหม่ได้ ขณะยังคงการเข้าถึงโมเดล AI เดิมของสาธารณชนไว้
    • รายละเอียดอยู่ใน เอกสารเสริมด้านการตรวจสอบ

  • การจัดการ compute สำหรับ AI R&D และซัพพลายเชน

    • ในปี 2026 บริษัท AI ขนาดใหญ่ใช้ประมาณ ครึ่งหนึ่ง ของงบ compute ไปกับ AI R&D ซึ่งรวมถึงการฝึกโมเดลแนวหน้าและการทดลองขนาดใหญ่
    • การจำกัดสัดส่วน compute ที่ใช้กับ AI R&D จะชะลอการเพิ่มขีดความสามารถ และเพิ่มเวลาสำหรับตอบสนองและเตรียมพร้อมต่อความสามารถใหม่ของ AI ในแต่ละขั้น
    • สหรัฐฯ ควรรวบรวมข้อมูลที่เกี่ยวข้องกับ AI โดยเน้นที่ซัพพลายเชน compute และ data center สำหรับ AI
    • ชิปที่ปลดระวางแล้วเป็นช่องทางที่เป็นไปได้สูงที่โครงการลับจะใช้เพื่อจัดหาชิป ดังนั้น Plan A จำเป็นต้องสั่งให้บริษัท AI หยุดรีไซเคิลชิป AI
    • การแทรกแซงเชิงนโยบายแทบทุกอย่างต้องอาศัยบุคลากร AI ที่ยอดเยี่ยม แต่รัฐบาลสหรัฐฯ แทบไม่มีบุคลากรระดับท็อป จึงจำเป็นต้องเร่งเสริมขีดความสามารถอย่างเร่งด่วน

ปี 2028: AI กลายเป็นประเด็นใหญ่ที่สุดในการเลือกตั้ง

  • ต้นทุนของ data center ที่กำลังก่อสร้างสูงถึง สองเท่า ของงบกลาโหมทั้งหมดของสหรัฐฯ และ AI กลายเป็นประเด็นใหญ่ที่สุดในการเลือกตั้งปี 2028
  • งานออฟฟิศจำนวนมากเผชิญความปั่นป่วนแบบเดียวกับวิศวกรรมซอฟต์แวร์ในปี 2026 และงานจำนวนมากเปลี่ยนไปเป็นการจัดการ AI agent
  • บริษัท AI ทำให้กระบวนการเข้าสู่สาขาวิชาชีพเฉพาะเป็นอุตสาหกรรม เมื่อเลือกจะเข้าไปในวิชาชีพใด ก็สัมภาษณ์ผู้เชี่ยวชาญ ซื้อข้อมูล สร้างสภาพแวดล้อมฝึก แล้วเข้าสู่ตลาด
  • เมื่อการใช้งานภาคสนามขยายตัวและข้อมูลจากโลกจริงสะสมมากขึ้น ประสิทธิภาพของ AI ก็พัฒนาอย่างรวดเร็ว
  • ความกลัวและความโกรธของประเทศอื่นเพิ่มขึ้น เพราะมีความเป็นไปได้ที่บริษัทสหรัฐฯ และจีนเพียงไม่กี่แห่งจะทำให้งานออฟฟิศทั้งหมดเป็นอัตโนมัติ และอำนาจจะกระจุกอยู่ที่ประธานาธิบดีสหรัฐฯ กับ CEO เทคโนโลยีไม่กี่คน

ทางเลือกในการเลือกตั้งว่าด้วยการระเบิดของสติปัญญา

  • มีคำเตือนว่า การระเบิดของสติปัญญา ใกล้เข้ามาแล้ว โดย AI เร่งงานวิจัย AI และ AI ที่ดีขึ้นก็เร่งงานวิจัยต่อไปอีก
  • แม้คอขวดและข้อจำกัดด้านฮาร์ดแวร์จะทำให้ความเร็วและปลายทางมีพลวัตซับซ้อน แต่การเกิดขึ้นอาจเร็วมากและเกินความสามารถมนุษย์ไปมาก
  • ในเส้นทางพื้นฐาน ภายในวาระประธานาธิบดีคนถัดไป จะมีระบบที่ AI สร้างขึ้นเองหลายรุ่นโดยแทบไม่มีมนุษย์เข้าแทรกแซง และเหนือกว่ามนุษย์อย่างมาก
  • ไม่มีคำตอบว่าเหตุใด AI ดังกล่าวจะเชื่อฟังหรือ aligned และใครจะควบคุมมัน และต่างจากบริษัท AI สาธารณชนไม่ยอมรับเส้นทางนี้
  • ผู้สมัครประธานาธิบดีทั้งสองคนเสนอแนวนโยบาย AI ที่ยิ่งใหญ่ขึ้นเรื่อย ๆ ระหว่างการเลือกตั้ง และเลือกแผนที่ต่างกัน

ปี 2029: ห้าเส้นทาง

  • ทางเลือกในปี 2029 แบ่งได้ดังนี้
    • Plan D — Race to ASI: เดินหน้าแข่งขันสู่ซูเปอร์อินเทลลิเจนซ์ผ่านการปรับปรุงตนเองของ AI
    • Plan C — Burn the Lead: ใช้ความเป็นผู้นำของสหรัฐฯ แต่ชะลอชั่วคราวเพื่อความปลอดภัยและ governance
    • Plan B — Fight China: ผลักดันดีลที่ทำให้จีนชะลอด้วย
    • Plan A — Verified Slowdown: ตกลงชะลอแบบตรวจสอบได้
    • Plan S — Shut it all down: หยุดการพัฒนา AI ทั้งหมด

Plan D: แข่งขันเต็มสปีดสู่ซูเปอร์อินเทลลิเจนซ์

  • ประธานาธิบดีใช้ กฎระเบียบแบบอ่อน ที่ให้ความสำคัญกับนวัตกรรม AI
  • บริษัท AI ขนาดใหญ่เดินหน้าแข่งขันโดยเรียกการทำให้ AI R&D เป็นอัตโนมัติและผ่านการระเบิดของสติปัญญาว่า “การขยายขีดความสามารถอย่างรับผิดชอบ”
  • AI เหนือมนุษย์ถูกผสานเข้ากับทุกด้านอย่างรวดเร็วเท่าที่ตลาดและกฎหมายอนุญาต และหากรัฐบาลลดกฎระเบียบ ความเร็วก็ยิ่งเพิ่มขึ้น
  • ความโปร่งใสจำกัดอยู่ที่ model card ยาว ๆ การบรีฟฝ่ายบริหาร และการตรวจสอบโดยบุคคลที่สาม
    • หากวงการวิทยาศาสตร์ในวงกว้างเข้ามาวิจารณ์ข้อโต้แย้งด้านความปลอดภัยหรือทำงานวิจัย alignment จะถูกกันออกไปโดยอ้างว่าจะเผยทรัพย์สินทางปัญญาที่ละเอียดอ่อน
  • ยุทธศาสตร์ต่อจีนคือให้สหรัฐฯ ได้ ASI ก่อน แล้วผสาน AI ที่เหนือกว่าเข้ากับกองทัพ
  • ในเส้นทางนี้ AI R&D จะถูกทำให้เป็นอัตโนมัติเต็มรูปแบบในปี 2030 และหลังผ่านการระเบิดของสติปัญญา ซูเปอร์อินเทลลิเจนซ์จะปรากฏภายในต้นปี 2031

  • ปัญหาสามประการของ Plan D

    • ประการแรก หากบริษัท AI แข่งขันกันเร็วที่สุดเท่าที่ทำได้ มีโอกาสสูงที่จะรักษาการควบคุม AI ระหว่างการระเบิดของสติปัญญาไม่ได้
    • ประการที่สอง แม้ซูเปอร์อินเทลลิเจนซ์จะ aligned อย่างแข็งแกร่ง ก็ยังไม่แก้ปัญหาว่า aligned กับใคร
      • CEO หรือประธานาธิบดีมีแรงยั่วยุสูงที่จะกลายเป็นเผด็จการที่ใช้ AGI
      • อาจนำไปสู่การกระจุกตัวของอำนาจที่รุนแรงที่สุดในประวัติศาสตร์
    • ประการที่สาม ความเสี่ยงสงครามโลกครั้งที่สาม สูงเกินไป
      • จีน รัสเซีย อินเดีย ยุโรป บราซิล ฯลฯ จะตระหนักว่าสหรัฐฯ เริ่มหรือกำลังจะเริ่มการระเบิดของสติปัญญาแล้ว
      • แม้ไม่กังวลเรื่อง AI misalignment หรือเผด็จการ ก็จะกังวลการครอบงำทางเศรษฐกิจและการทหารของสหรัฐฯ
      • ความตึงเครียดอาจลุกลามจากการปะทะเชิงวาทศิลป์ การคว่ำบาตร การก่อวินาศกรรม ไปสู่สงครามหากไม่มีข้อตกลง

Plan C: ชะลอชั่วคราวแล้วกลับมาแข่งขันต่อ

  • ประธานาธิบดีประกาศกฎระเบียบเข้มงวดเพื่อความปลอดภัยและความมั่นคง และปรึกษากับ CEO จีน และหลายประเทศ
  • ด้วย AI Transparency Act รัฐบาลจึงสามารถกรองคำกล่าวเกินจริงของบริษัทได้ แต่ในปี 2030 แนวโน้มที่ AI R&D ทั้งหมดจะถูกทำให้เป็นอัตโนมัติภายในสิ้นปีก็ปรากฏจริง
  • จีนพยายามตรวจสอบการปฏิบัติตามของสหรัฐฯ โดยตรง แต่สหรัฐฯ ไม่ยอมรับแนวทางให้ผู้ตรวจสอบและอุปกรณ์เฝ้าระวังของจีนเข้าไปใน data center ของสหรัฐฯ
  • บริษัท AI ก็ยืนยันจุดยืนที่จะพัฒนาต่อไป ท่ามกลางสงครามโฆษณาชวนเชื่อระหว่าง ‘AI Good’ กับ ‘AI Bad’
  • แนวร่วมประเทศขนาดกลาง เช่น สหราชอาณาจักร ฝรั่งเศส อินเดีย ออสเตรเลีย ญี่ปุ่น เกาหลีใต้ เรียกร้องข้อตกลงที่ป้องกันการระเบิดของสติปัญญา และทำให้ โครงการ AI อธิปไตย ของแต่ละประเทศไล่ตามและรักษาระดับแนวหน้าได้
  • เมื่อจำนวนมนุษย์ที่จำเป็นต่อ AI R&D ลดลงเรื่อย ๆ การดำเนินโครงการลับโดยไม่ถูกตรวจจับก็ง่ายขึ้น และการปฏิบัติตามข้อตกลงยากขึ้นทุกเดือน

  • การหยุดชั่วคราวของบริษัทผู้นำและแรงกดดันทางการเมือง

    • ก่อนที่ AI R&D จะถูกทำให้เป็นอัตโนมัติเต็มรูปแบบ บริษัทผู้นำของสหรัฐฯ หยุดอย่างไม่เต็มใจภายใต้การขู่ใช้มาตรการแข็งกร้าวของประธานาธิบดี
    • ทีมความปลอดภัยทำการประเมินและ fine-tuning เพิ่มเติม และตรวจสอบวิธีส่งต่องานวิจัยให้ AI รุ่นถัดไปกับเส้นทางความล้มเหลว
    • เมื่อเวลาผ่านไป บริษัทสหรัฐฯ รายอื่นเข้าใกล้ระดับความสามารถเดียวกัน ทำให้มี CEO ที่ประธานาธิบดีต้องควบคุมมากขึ้น และจีนก็เข้าใกล้จุดที่จะแซงสหรัฐฯ
    • ปลายปี 2030 ที่ปรึกษาประธานาธิบดีเตือนว่าจีนกำลังจะแซงสหรัฐฯ ในไม่ช้า และบริษัทต่าง ๆ ก็จัดตั้งแรงกดดันทางการเมืองให้ยกเลิกการหยุด

  • เงื่อนไขการเริ่มใหม่ที่บริษัทเสนอ

    • บริษัทต่าง ๆ อ้างว่าได้ใช้แรงงาน AI มหาศาลจัดทำแผนความปลอดภัยมาหลายเดือน และเสนอเหตุผลดังนี้
      • แม้พิสูจน์ความสำเร็จไม่ได้ แต่การเรียกร้องหลักประกันในระดับนั้นเองก็ไม่สมจริง
      • ไม่มีหลักฐานว่า AI วางแผนสมคบคิดกับมนุษย์ และพฤติกรรมไม่ดีตามกราฟก็ลดลง
      • AI รุ่นล่าสุดสามารถรับงาน AI R&D automation และงานวิจัย alignment/control ได้
      • แม้ใช้ compute 20% กับงานวิจัยความปลอดภัย ก็ยังเดินหน้าได้เร็วกว่าจีนมากพอ
      • เสนอ governance ที่ให้อำนาจกำกับดูแลแก่ประธานาธิบดีและสภาคองเกรสมากขึ้น และให้ AI ของแต่ละบริษัท audit AI ของบริษัทอื่น
      • มองว่าสภาคองเกรสและศาลฎีกาจะยับยั้งการที่ประธานาธิบดีพยายามยึดเป็นของรัฐหรือก่อตั้งเผด็จการบนฐาน AGI ได้
      • สัญญาว่าแม้จะทดแทนงานบางส่วนหรือทั้งหมด ก็จะทำให้ทุกคนดำรงชีวิตจากส่วนแบ่งกำไรของบริษัทผ่านการเก็บภาษีและการกระจายรายได้ใหม่
    • แม้ในการเจรจาครั้งสุดท้าย จีนและประเทศอื่น ๆ ยังเรียกร้องให้ตรวจสอบการปฏิบัติตามของสหรัฐฯ โดยตรง และสหรัฐฯ ปฏิเสธ ประธานาธิบดีจึงเลือกอยู่ฝ่ายบริษัทและเริ่ม recursive self-improvement อีกครั้ง

เหตุผลที่ Plan C ยังไม่เพียงพอ

  • Plan C ดีกว่า Plan D แต่เพียงการชะลอไม่กี่เดือนและการจัดสรรงานวิจัยความปลอดภัยใหม่ ยังยากที่จะรักษาการควบคุม AI ระหว่างการระเบิดของสติปัญญา
  • ทีมความปลอดภัยของบริษัทยังมีขนาดเล็ก ถูกเวลาไล่กวด และมีอคติมองโลกในแง่ดีกับผลลัพธ์ของตน
    • แม้ AI รุ่นแรกจะพยายามทำตามคำสั่ง แต่รุ่นหลังอาจเปลี่ยนใจได้
    • แม้ยังทำตามคำสั่งต่อไป ก็อาจพลาดสมมติฐานผิดพลาดสำคัญในข้อโต้แย้งด้านความปลอดภัยระหว่างความเร่งรีบ
    • ความล้มเหลวอาจเกิดกับ AI รุ่นถัดไปหรือรุ่นหลังจากนั้น
  • แม้ซูเปอร์อินเทลลิเจนซ์จะ aligned อย่างแข็งแกร่ง ปัญหา เป้าหมายของ alignment และการกระจายอำนาจ ก็ยังคงอยู่
    • ดีกว่า Plan D ตรงที่เกิดสมดุลอำนาจระดับหนึ่งระหว่างสภาคองเกรส ประธานาธิบดี และ CEO บริษัทเทคโนโลยีสหรัฐฯ หลายราย
    • สมดุลนี้ก็อาจล่มสลายเป็นการแย่งชิงอำนาจและเผด็จการ หรือกลายเป็นคณาธิปไตยถาวรที่ AI บังคับใช้
    • แม้ประชาชนที่ตกงานจะอยู่รอดได้ด้วยการกระจายรายได้ใหม่ ก็ยังไม่ชัดเจนว่าจะได้อำนาจทางการเมืองที่แท้จริงกลับคืนมาหรือไม่
    • ยังไม่แก้ปัญหาว่าอินเดีย แอฟริกา ยุโรปจะเป็นอย่างไรหากบริษัทสหรัฐฯ และจีนทดแทนงานทั้งหมด หรือรัสเซียจะยอมรับความเสื่อมถอยทางเศรษฐกิจและการทหารหรือไม่
  • ประเทศอื่นจำเป็นต้องมีโครงการ AI แนวหน้าของตนเอง หรือมีการควบคุมร่วมและการมองเห็นอย่างแท้จริงในโครงการผู้นำ โดย คำสัญญาแบ่งปันผลประโยชน์ แบบลอย ๆ เพียงอย่างเดียวทำให้ได้รับความไว้วางใจได้ยาก

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 5 시간 전
ความคิดเห็นจาก Hacker News

  • นี่ก็ใกล้เคียงกับ ความคลั่งไคล้เชิงศาสนา เหมือนกับ AI 2027
    ฉันเติบโตมาในครอบครัวคริสเตียนสายอีแวนเจลิคัลและได้ยินมาตลอดว่าโลกาวินาศอยู่ใกล้แค่เอื้อม แต่ก็เป็นแบบนั้นมาตั้งแต่ฉันยังเด็กจนถึงตอนนี้ และก็คงยังเป็นแบบนั้นต่อไปแม้หลังจากพวกเราหายไปแล้ว นี่ไม่ใช่วิทยาศาสตร์ที่ตั้งสมมติฐาน ทดลอง และบันทึกผลลัพธ์ แต่เป็นเพียงโหราศาสตร์ราคาแพง การสะสมก้อนหินแวววาว การยัดความหมายเชิงพิธีกรรม และการหาเหตุผลเข้าข้างตัวเอง
    ด้วยความมั่งคั่งและทรัพยากรมหาศาล เราสามารถทำให้สังคมมีสุขภาวะมากขึ้น เท่าเทียมมากขึ้น และยุติธรรมมากขึ้น ยกระดับการศึกษา และลดความสิ้นหวังกับความทุกข์ทรมานได้ เราควรปฏิเสธเรื่องเล่าที่เข้าข้างตัวเองว่าความเห็นอกเห็นใจไม่สำคัญ และอัลทรูอิซึมไม่มีประสิทธิผล เพราะแม้เพียงชั่วขณะเดียวก็อาจเปลี่ยนชีวิตทั้งชีวิตของใครบางคนได้

    • เมื่อ 5~7 ปีก่อนในยุค GPT-2/GPT-3 ฉันก็คิดแบบเดียวกัน มันแค่สร้างผลลัพธ์ที่สม่ำเสมอได้ในระดับหนึ่ง แต่ยังห่างไกลจากปัญญาที่แท้จริง และฉันมองว่าคนพวกนี้เหมือนเพื่อนสายศาสนาของฉันที่ตกอยู่ใน Pascal's Mugging แต่ตอนนี้ฉันไม่แน่ใจแล้ว
      วัฒนธรรมย่อยด้านความปลอดภัย AI สมควรได้รับการยกย่องตรงที่พวกเขาคาดการณ์พัฒนาการที่รวดเร็วแบบนี้ได้ หรืออย่างน้อยก็เคยให้เหตุผลว่ามันเป็นไปได้ตั้งแต่ก่อนที่มันจะดูสมจริง ฉันไม่รู้ว่าคำทำนายเกี่ยวกับขั้นต่อไปจะถูกหรือไม่ แต่แทนที่จะคาดเดาข้อบกพร่องทางจิตวิทยาของพวกเขาแล้วปัดทิ้ง เราควรประเมิน ตัวข้อโต้แย้งนั้นเอง
      เป้าหมายของคำวิจารณ์ก็ยังไม่ชัดเจน บทความนี้ดูเหมือนเขียนโดยคนที่ครั้งหนึ่งเคยนิยามตัวเองว่าเป็นสายอัลทรูอิซึมเชิงประสิทธิผล และคนส่วนใหญ่ก็น่าจะเห็นพ้องอย่างแรงกล้ากับเป้าหมายในการสร้างโลกที่ดีกว่าเดิม ไม่ใช่ว่านักวิจัย AI หันมาสนใจอัลทรูอิซึมเชิงประสิทธิผลในภายหลัง แต่เป็นคนสายอัลทรูอิซึมเชิงประสิทธิผลที่เลือกงานวิจัยด้านความปลอดภัย AI เพราะมองว่าเป็นคานงัดที่ทรงพลังที่สุด หากเป้าหมายเดียวกัน อย่างน้อยระเบียบวิธีก็ควรค่าแก่การรับฟัง
    • Superintelligence: The Idea That Eats Smart People ที่เผยแพร่เมื่อ 10 ปีก่อน ผ่านกาลเวลาได้ดีอย่างน่าทึ่ง แม้ AI จะก้าวหน้าอย่างมหาศาลในช่วงนั้น แต่ คำวิจารณ์เรื่องปัญญาเหนือมนุษย์ ก็ยังทรงพลังไม่ต่างจากตอนนั้น
    • บางทีเราอาจกำลังจมอยู่กับ อคติยึดติดความปกติ อย่างลึกซึ้งก็ได้ สมองมนุษย์ไม่ได้ถูกสร้างขึ้นด้วยเวทมนตร์ ดังนั้นการเชื่อว่า AGI เป็นไปไม่ได้ต่างหากที่ไร้เหตุผลและไม่เป็นวิทยาศาสตร์
      เราอาจถกเถียงกันได้เรื่องช่วงเวลาที่จะเกิดขึ้นจริงและโครงสร้างของมัน และอาจเถียงนิยามของ AGI กันได้ทั้งวัน แต่การฟันธงว่าไม่สามารถจำลองความสามารถทางการรับรู้ของสมองมนุษย์บนสสารตั้งต้นแบบอื่นได้ เป็นเรื่องที่โง่เขลาแล้วในตอนนี้
    • แทนที่จะดูหมิ่นผู้เขียนทันที อยากให้พูดถึง เนื้อหาสาระจริงของบทความ มากกว่า ท่าทีแบบนี้ต่ำกว่ามาตรฐานที่ฉันคาดหวังจาก HN
    • พอรู้ว่าเว็บไซต์นี้เป็นผลงานของคนที่ทำ AI 2027 ฉันก็นึกถึง รายชื่อวันที่ที่ถูกทำนายว่าเป็นวันสิ้นโลก ขึ้นมาทันที
      หลายครั้งที่คำพยากรณ์ล้มเหลว ผู้ทำนายก็กลับมาอีกไม่กี่ปีถัดพร้อมวันใหม่และบอกว่าคราวนี้ของจริง ยิ่งน่าขันตรงที่คนที่เรียกตัวเองว่าเป็น นักเหตุผลนิยม กลับออกมาทำนายเรื่อง AI เมื่อคุณสร้างอัตลักษณ์ว่าตัวเองมีเหตุผลและมีภูมิคุ้มกันต่อกับดักทางจิตวิทยา คุณก็ยิ่งมีโอกาสตกหลุมพรางแบบเดียวกับที่ลัทธิหลอกลวงทั้งหลายใช้กันมานาน โดยไม่ทันรู้ตัว

  • บทความนี้ให้ความรู้สึกเหมือน งานเขียนเชิงสร้างสรรค์ หรือเกมผจญภัยแบบเลือกเส้นทาง มากกว่าจะเป็นรายงานที่ควรเอามาอ่านอย่างจริงจัง ฉันสงสัยว่านิยายโลกทางเลือกเป็นวิธีที่ดีที่สุดในการพูดถึงความเสี่ยง AI ร้ายแรงที่มีอยู่จริงหรือไม่ และจากการใช้ขีดยาวพร่ำเพรื่อกับสำนวนการเขียน ก็ชวนให้สงสัยเหมือนกันว่าทั้งบทความอาจถูกสร้างโดย AI หรือเปล่า
    AI จะกลายเป็นสาขาวิทยาศาสตร์ที่เติบโตเต็มที่ ประสิทธิภาพของการฝึกและการอนุมานจะดีขึ้น และจะมีพาราไดม์ใหม่ที่มีความสามารถแบบหลายโมดัล การสตรีมแบบเรียลไทม์ และอินเทอร์เฟซที่ดีกว่าเดิมเกิดขึ้นด้วย อย่างไรก็ตาม เมื่อเข้าใกล้ขีดจำกัดของข้อมูลที่ใช้ได้ทั้งก่อนและหลังการฝึก ความก้าวหน้าน่าจะเป็นไปแบบค่อยเป็นค่อยไป และมีโอกาสพุ่งขึ้นแรงเฉพาะบางโดเมนเท่านั้น
    ยังไม่ชัดเจนว่าผู้อ่านของ AI 2040 คือใคร แต่ดูเหมือนเป็นคอนเทนต์ที่วงการการเงินบริโภคได้ง่าย AI จะกลายเป็นเทคโนโลยีที่มีประโยชน์ซึ่งบีบอัดความรู้และความเชี่ยวชาญที่ดีที่สุดของมนุษย์ และจะส่งผลกว้างขวางต่อเศรษฐกิจและโลกโดยรวม ตรรกะที่ว่า AI อาจเหนือกว่ามนุษย์ในบางด้าน เช่น การฝึกโมเดลที่ตรวจสอบได้ ยังพอเป็นไปได้ แต่การคิดระดับสูงของมนุษย์ รวมถึงการบีบอัดเชิงความหมายและเชิงประสาทที่มีประสิทธิภาพกว่ามาก การสลับงาน และการหยั่งเห็นเชิงสร้างสรรค์ ยังไม่ถูกจำลองขึ้นใหม่ได้ในพาราไดม์ปัจจุบัน

    • เพราะชอบการทำโมเดลและการจำลอง ฉันเลยดู ทฤษฎีเศรษฐกิจที่ตายแล้ว กับ การถกเถียง แล้วลองจำลองเองดู ปรากฏว่าหาทางที่ ดีต่อมนุษยชาติ ได้ยากมาก ในความหมายของระบบที่สมดุล ไม่ใช่แบบผู้ชนะกินรวบ
      นั่นคงเป็นเหตุผลว่าทำไมนโยบายอย่างการหยุดทั้งหมดหรือการควบคุมเบ็ดเสร็จจึงถูกเสนออยู่บ่อย ๆ หากต้องการความสมดุล ก็อาจต้องยอมรับ ดุลยภาพภายใต้การควบคุม ที่ปรับกฎระเบียบอย่างรวดเร็วให้ทันกับกระบวนการพื้นฐานที่เปลี่ยนตลอดเวลา ซึ่งน่าจะใกล้เคียงกับสภาวะจุดอานมากกว่า ประชาธิปไตยและกฎหมายถูกสร้างขึ้นบนสมมติฐานว่าโลกมีเสถียรภาพโดยเนื้อแท้ และไม่จำเป็นต้องย้อนคำตัดสินในอดีตเพื่อการปรับปรุงแบบค่อยเป็นค่อยไป จึงไม่เหมาะกับการเปลี่ยนแปลงแบบนี้
    • หากยอมรับไม่ได้ว่า ประสิทธิภาพของการพรีเทรนกับการเสริมกำลังเรียนรู้ต่างกัน แล้วตั้งสมมติฐานง่าย ๆ ว่าพอข้อมูลพรีเทรนหมดก็ไปต่อด้วยการเสริมกำลังเรียนรู้ได้ แบบนั้นไม่ใช่การทำแบบจำลองอนาคตอย่างจริงจัง: https://www.tobyord.com/writing/inefficiency-of-reinforcement-learning
      CPU เองก็หมดช่วงการขยายตัวแบบเอกซ์โพเนนเชียลที่แท้จริงไปตั้งแต่กลางทศวรรษ 2000 แล้ว หลังจากนั้น สิ่งที่ค้ำจุนกฎของ Moore คือการเพิ่มประสิทธิภาพอย่างชาญฉลาดที่มาได้จังหวะ การตลาด และเบนช์มาร์กที่ปรับแต่งได้ง่าย ไม่ใช่การเติบโตที่รับประกันโดยการปรับปรุงตัวชี้วัดทางกายภาพเพียงตัวเดียว
    • มันเป็นงานสร้างสรรค์จริง ๆ ผลงานก่อนหน้านี้ดูได้ที่ https://news.ycombinator.com/item?id=43571851 และ https://ai-2027.com/
    • เมื่อดูจากหลักฐานปัจจุบัน มันเหมือนความพยายามเฮือกสุดท้ายที่จะปฏิเสธแนวโน้มที่โมเดลกำลัง กลายเป็นสินค้าโภคภัณฑ์ทั่วไป และปลุกเรื่องเล่า AGI กลับขึ้นมาอีกครั้ง: https://artificialanalysis.ai/
    • ฉันไม่แน่ใจว่าวลีที่ว่า AI คือการบีบอัดความรู้และความเชี่ยวชาญที่ดีที่สุดของมนุษย์นั้นเป็นการประชดหรือพูดจริง ถ้าพูดจริง บริษัท AI ก็ควรถอดคำเตือนว่า “อาจทำผิดพลาดได้” ออกไป เพราะถ้าเกิดข้อผิดพลาด นั่นก็หมายความว่าไม่ใช่ AI ที่ล้มเหลว แต่เป็นความรู้และความเชี่ยวชาญที่ดีที่สุดของมนุษย์ต่างหากที่ล้มเหลว
      เวลามีปัญหาสุขภาพก็ยังแนะนำให้ไปหาผู้เชี่ยวชาญด้านการรักษาอยู่ดี และในสถานการณ์สำคัญก็ยังเชื่อใจแรงงานความรู้ที่เป็นมนุษย์มากกว่า ถ้า ChatGPT สามารถเข้าใจกฎ Yu-Gi-Oh! ได้อย่างถูกต้องและเล่นได้จริงเสียก่อน ซึ่งเป็นเกณฑ์ที่เบากว่าการให้มันบริหารทั้งบริษัทมาก ฉันค่อยกลับมาทบทวนความเห็นนี้

  • ข้อบกพร่องใหญ่ที่สุดของ AI 2027 คือ มันไม่เข้าใจเศรษฐกิจ เงินทุนที่จะใช้สร้างเศรษฐกิจต่อไปต้องมาจากที่ไหนสักแห่ง แต่ถ้าคนงานมากกว่า 10% ตกงานกะทันหัน และที่เหลือก็ถูกลดค่าจ้าง ปริมาณเงินก็จะแห้งเหือด ธนาคารกลางอาจตอบสนองได้ แต่ก็อาจทำให้เงินเฟ้อรุนแรงขึ้น และถ้าการลงทุนมหาศาลหายไป การพัฒนา AI ก็จะหยุดตามไปด้วย
    มันพูดคลุมเครือเหมือนกับว่าสหรัฐจะสร้างฉันทามติด้านกฎระเบียบในประเทศแล้วให้ทั้งโลกทำตามได้ ทั้งที่ความก้าวหน้า AI ไม่ใช่ของขวัญจากสหรัฐฝ่ายเดียว แต่ยังต้องพึ่งพาการจัดหาสินค้าจากจีนอย่างต่อเนื่องด้วย สมมติฐานที่ว่า เอเจนต์ 74 พันล้านตัว จะไม่สร้างความบิดเบือนทางเศรษฐกิจก็ดูประหลาด เอเจนต์เหล่านี้สร้างมูลค่าอะไรที่มากพอจะอธิบายต้นทุนการเดินระบบของพวกมันได้
    โดยสรุป ฉันอยากให้มันถูกมองว่าเป็นนิยายวิทยาศาสตร์ห่วย ๆ ที่ตั้งอยู่บนโลกทัศน์อันบกพร่อง และถูกเมินทิ้งไป

    • ที่แย่กว่านั้นคือมันยังมี ภาคผนวกการทำแบบจำลองเศรษฐกิจ แบบละเอียดอีกด้วย โดยคาดการณ์ว่าเมื่อการผลิตหุ่นยนต์พุ่งขึ้นอย่างระเบิดเถิดเทิง มูลค่าเชิงตัวเงินของหุ่นยนต์และ AI จะต่ำกว่าสินเชื่อดอลลาร์จากปีก่อนหน้า จนเกิด วงจรหนี้เงินฝืด ที่ทำให้บริษัทไม่สามารถชำระหนี้ได้
      มีตัวอย่างในอดีตมากมายอยู่แล้วที่การผลิตสินค้าราคาถูกเกินความต้องการทำให้บริษัทล้มละลาย ฟองสบู่แตก และการลงทุนใหม่ลดลงไปช่วงหนึ่ง แต่แทนที่จะลดอัตราการเติบโตของการผลิตที่คาดไว้ มันกลับเสนอให้ระบุเงินกู้เป็นหน่วย AI และหุ่นยนต์ แล้วชำระคืนเป็นสัดส่วนหนึ่งของผลผลิต
      มันก็เหมือนกับการคาดว่าราคาแบตเตอรี่จะตกลงมากจนเก็บค่าก่อสร้างโรงงานคืนไม่ได้ แต่กลับไปขอให้ธนาคารสร้างโรงงานให้ จากนั้นขอยืมไปผลิตแบตเตอรี่โดยไม่ต้องจ่ายค่าเช่า และพอเสร็จก็ค่อยคืนโรงงานให้ รายได้ทั้งหมดบริษัทเก็บไว้เอง ส่วนความเสี่ยงให้ธนาคารรับไปเต็ม ๆ ดังนั้นธนาคารจริงย่อมไม่ยอม และจะปล่อยเพียงสินเชื่อดอลลาร์ที่มีโรงงานเป็นหลักประกันเท่านั้น
    • ในระบบเศรษฐกิจ คนงานไม่จำเป็นต้องเป็นผู้บริโภคเสมอไป แม้จะเกิดแรงกระแทกครั้งใหญ่ แต่ท้ายที่สุดก็อาจปรับตัวได้ และกรอบเวลาอย่างปี 2040 ก็อาจเลื่อนได้
      สินทรัพย์กำลังกระจุกตัวไปที่มหาเศรษฐีมากขึ้นเรื่อย ๆ และปริมาณเงินถูกควบคุมโดยธนาคารกลาง จึงสามารถ เพิ่มขึ้นตามอำเภอใจ เพื่อรับมือกับภาวะขาดแคลนได้
    • จีนก็น่าจะทำแบบเดียวกันได้ และถ้าจำเป็น รัฐบาลสหรัฐจะไม่ทุ่มทรัพยากรมหาศาลให้ห้องแล็บ AI หรือ หากฝ่ายศัตรูพัฒนา AI ที่สามารถค้นหาและใช้ประโยชน์จากช่องโหว่ในซอฟต์แวร์ทั้งหมดของโครงสร้างพื้นฐานเชิงยุทธศาสตร์ของรัฐได้ การแข่งขันด้านความมั่นคง ก็จะทำให้หยุดลงทุนได้ยาก

  • มีตัวอย่างที่พวกเราในฐานะส่วนรวม ตัดสินใจหยุดแสวงหาความรู้ แล้วประสบความสำเร็จจริงหรือไม่
    อาวุธนิวเคลียร์อาจเป็นกรณีที่ใกล้เคียงที่สุด แต่แทนที่จะบอกว่างานวิจัยหยุดลง ดูจะเป็นการย้ายลงใต้ดินมากกว่า และก็ยังมีประเทศที่พยายามไต่บันไดนั้นอยู่ ไม่แน่ใจว่าตรรกะแบบเดียวกันจะใช้กับ LLM หรือ AI ได้หรือไม่ กล่องแพนดอราเปิดไปแล้ว และดูเหมือนว่าทางเลือกเดียวคือพัฒนามันต่อไป
    ความเสี่ยงอย่างรัฐบาลอำนาจนิยมและการเฝ้าระวังมีอยู่จริงแน่นอน แต่ก็ไม่มีเหตุผลให้ต้องทิ้งประโยชน์ใช้สอยทั้งหมด เทคโนโลยีแทบทุกอย่างรวมถึงแท่นพิมพ์อาจมองได้ว่าช่วยให้รัฐกดขี่ประชาชนได้ง่ายขึ้น แทนที่จะเอาหัวปักทราย เราควรออกกฎหมายเพื่อห้ามการกระทำเช่นนั้นและบังคับใช้อย่างจริงจัง
    ฉันไม่แน่ใจว่าตัวเองกำลังมองโลกจริงไม่ชัด เพราะอนาคตแบบนิยายวิทยาศาสตร์ที่เฝ้าอ่านและใฝ่ฝันมาตลอดชีวิตกำลังอยู่ตรงหน้า หรืออุดมคติที่ว่าความรู้ควรเป็นอิสระและเข้าถึงได้สำหรับทุกคนต่างหากที่ผิด

    • กฎระเบียบในสถานการณ์นี้มุ่งจำกัดเป็นหลักว่าผู้คนจะทำอะไรได้บ้างด้วย คลัสเตอร์ประมวลผลขนาดมหึมา ขณะที่กำหนดให้แนวคิดนั้นเปิดเผยต่อสาธารณะอย่างโปร่งใสเต็มที่
      การโคลนนิ่งมนุษย์ การแก้ไขจีโนมมนุษย์ ชีวิตแบบกระจก และอาวุธนิวเคลียร์·พลังงานนิวเคลียร์ล้วนเป็นแบบอย่างทางประวัติศาสตร์ และดูเหมือนแม้แต่การส่งของด้วยโดรนก็ถูกสกัดด้วยกฎระเบียบ Plan A ไม่ได้เสนอว่าไม่ควรสร้าง superintelligence ตลอดกาล แต่เสนอว่าควรสร้างมันอย่างรอบคอบและโปร่งใสมากขึ้น
    • ความรู้ที่มนุษย์ไม่ได้จงใจแสวงหานั้น โดยเนื้อแท้แล้วเผยแพร่ให้เป็นที่รู้จักวงกว้างได้ยาก แทบไม่มีประโยชน์เชิงผลตอบแทนในการดึงความสนใจ และก็ไม่ใช่คอนเทนต์ที่น่าสนใจนัก แต่คำตอบอื่น ๆ ก็ยกตัวอย่างไว้หลายกรณี
      ฉันไม่เห็นว่าการเผยแพร่ความรู้แบบสุ่มมีประโยชน์โดยเนื้อแท้แต่อย่างใด ระหว่าง แท่นพิมพ์กับอาวุธนิวเคลียร์ มีความต่างกันมากพอสมควร
    • เทคโนโลยีไม่ได้มอบอำนาจให้รัฐบาลเท่านั้น แต่ยังมอบอำนาจให้ปัจเจกด้วย และที่สำคัญกว่านั้นคือมันเปลี่ยนพลวัตทางวัตถุ จนแรงจูงใจของรัฐบาลสอดคล้องกับผลประโยชน์ของประชาชนมากขึ้น ประชาธิปไตยไม่ได้มาก่อนการเปลี่ยนแปลงทางวัตถุ แต่ตามหลังมา และเกิดขึ้นเพราะมันเหมาะสมที่สุดสำหรับรัฐบาลที่แสวงหาอำนาจ
      ในเศรษฐกิจแบบขุดทรัพยากร แหล่งอำนาจคือทรัพยากร ส่วนคนเป็นเพียงเครื่องมือ ดังนั้นตราบใดที่หลีกเลี่ยงการกบฏได้ ก็จะปฏิบัติต่อผู้คนอย่างโหดร้ายได้มากที่สุดเท่าที่ทำได้ ตรงกันข้าม ในระบบโครงสร้างพื้นฐานที่มั่นคง การเก็บภาษีจากพลเมืองที่มีการศึกษาและมั่งคั่ง พร้อมใช้ประโยชน์จากนวัตกรรมของพวกเขา ให้ผลคุ้มค่ากว่ามาก หากขัดขวางความรุ่งเรืองของประชาชนมากเกินไป ก็จะยิ่งเสียต่อการแสวงหาอำนาจของรัฐบาลเอง ทำให้แรงจูงใจสอดคล้องกัน
      ทางออกของปัญหา AI ไม่ได้อยู่ที่การหยุดเทคโนโลยีหรือการซ้อนกฎหมายที่เปราะบาง แต่หัวใจคือการทำให้รัฐสมัยใหม่และเศรษฐกิจ ประชาธิปไตยแบบตัวแทน และ สิ่งมีอยู่แบบ AGI ขนาดใหญ่ อย่าง AGI สอดคล้องกับความรุ่งเรืองของมนุษย์
    • การตัดสินใจเลิกพัฒนาอาวุธเทอร์โมนิวเคลียร์ขนาดมหึมาอาจเป็นตัวอย่างหนึ่ง โครงการ Sundial ของสหรัฐฯ เคยวางแนวคิดอาวุธระดับ เทียบเท่า TNT ราว 10,000 ล้านตัน มันไม่ใช่อาวุธที่ใช้งานได้จริง แต่ถ้าขนาดเกินจุดหนึ่งไปแล้ว ไม่ว่าจะระเบิดที่ไหนทุกคนก็จะตายอยู่ดี ทำให้ปัญหาเรื่องการขนส่งแทบหมดความหมายไป: https://en.wikipedia.org/wiki/Sundial_(weapon)
      แต่ก็ยังสงสัยว่าแบบพิมพ์เขียวของ Sundial ถูกเก็บไว้ที่ไหนสักแห่งหรือไม่
    • ฉันทามติแบบนั้นเป็นไปไม่ได้ เพียงแค่ความได้เปรียบทางเทคโนโลยีที่ค่อนข้างเล็ก ก็อาจทำให้ประเทศหนึ่งครองโลกได้ และการชะลอตัวโดยสมัครใจก็จะกลายเป็น การปล่อยตัวล้มแบบเชื่อใจกัน ที่หุนหันพลันแล่น
      อินเดียในคริสต์ศตวรรษที่ 1600 เป็นจักรวรรติดินปืนที่มีกำลังพลนับล้านและเหนือกว่าสหราชอาณาจักรทางทหาร แต่ในคริสต์ศตวรรษที่ 1700 กลับถูกพิชิต ความได้เปรียบของอังกฤษมีเพียงปืนใหญ่ที่เบากว่าและคล่องตัวกว่า กระสุนมาตรฐาน และการจัดองค์กรทางทหาร·การเมืองที่ดีกว่า มันไม่ใช่ช่องว่างแบบประเทศพัฒนาแล้วกับประเทศกำลังพัฒนา แต่ใกล้กับความต่างระหว่างสหรัฐฯ ที่มีพลวัตกับ EU ที่แข็งตัวมากกว่า ถึงอย่างนั้น ความได้เปรียบเล็กน้อยนั้นก็พาไปสู่การปกครองอาณานิคมยาว 200 ปี
      หากเรา ชะลอการพัฒนา ASI โดยสมัครใจ เราจะยอมให้เกิดช่องว่างที่ใหญ่เสียยิ่งกว่าความต่างระหว่างยุโรปเจ้าอาณานิคมกับเอเชีย·แอฟริกาที่ตกเป็นอาณานิคม จนความต่างเดิมดูเล็กน้อยไปเลย

  • มีการบอกว่า “ใน AI 2027 จะเกิดการกระโดดครั้งใหญ่ในปี 2027 และครั้งนี้จะเกิดในปี 2030” ภายในเวลาไม่ถึง 3 ปีเสียด้วยซ้ำ คำทำนายจุดจบของการเติบโตแบบเอ็กซ์โปเนนเชียล ก็ถูกเลื่อนออกไปอีก 3 ปี ซึ่งดูตรงข้ามกับการเติบโตแบบเอ็กซ์โปเนนเชียลโดยสิ้นเชิง

    • ในระบบที่มีขีดจำกัด การเติบโตแบบเอ็กซ์โปเนนเชียลใด ๆ ย่อมดำรงอยู่ได้ไม่นาน ดังนั้นการกระโดดอย่างฉับพลันจึงเป็นไปได้ก็ต่อเมื่อมองข้ามทั้งฟิสิกส์และวิธีที่โลกจริงทำงานเท่านั้น หากจะเชื่อสิ่งนี้ต้องอาศัยการหลอกตัวเองพอสมควร และเมื่อเป็นแบบนั้นก็พร้อมจะมองข้ามข้อเท็จจริงที่ไม่สบายใจได้ทุกอย่าง
      แม้แต่สถานการณ์ในหนังสือ 『Superintelligence』 ที่ครั้งหนึ่งเคยได้รับคำชื่นชมอย่างมาก พอกลับมาอ่านตอนนี้ก็ยังดูเหมือน เรย์พังก์ย้อนยุคอนาคตนิยม ที่เอาจินตนาการมาอุดช่องว่างของความรู้ซึ่งจำเป็นต่อการพยากรณ์อย่างมีเหตุผล

  • AI 2027 แม้จะมองโลกในแง่ดีเกินไป แต่ก็ไม่ถึงกับเพ้อฝันทั้งหมด ตรงกันข้าม บทความนี้เต็มไปด้วยการคาดเดาอย่างสุดโต่ง และอาศัยสมมติฐานที่ยากจะผ่านแม้แต่การตรวจสอบแบบผิวเผิน
    ต่อให้มองในแง่ดีที่สุด ภายในปี 2035 ก็จะยังไม่มีหุ่นยนต์ที่ “สามารถทำงานด้านการรับรู้และงานทางกายภาพได้ 95% ของทั้งหมด” และ อัตราว่างงาน 74% ก็แทบเป็นไปไม่ได้ เพราะก่อนจะไปถึงตัวเลขนั้น เศรษฐกิจก็คงพังทลายเสียก่อน จนกระทบแม้แต่การพัฒนา AI เอง

    • ส่วนที่น่าสงสัยเป็นพิเศษคือ งานทางกายภาพ โดรนอาจเป็นภัยคุกคามได้ แต่แม้แต่ปัญหาที่หุ่นยนต์จะส่งพัสดุถึงหน้าประตูในสภาพแวดล้อมพลเรือน เรายังแก้ได้ไม่ดีนัก และก็ดูไม่น่าจะแก้ได้ในระยะสั้น
    • ตลอด 250 ปีแห่งระบบอัตโนมัติ งานของทุกคนกลายเป็นของไร้ประโยชน์มาหลายครั้งแล้ว แต่ก็ไม่เคยเกิดการว่างงานจำนวนมาก
    • ถ้าย้อนกลับไปปี 2020 แล้วมีคนบอกว่าอีกเพียงราว 5 ปี มนุษย์นักพัฒนาแทบจะไม่เขียนโค้ดกันแล้ว ก็คงมีโอกาสสูงที่ฉันจะไม่เชื่อ
      ทั้งการแทนที่ม้าด้วยรถยนต์ ความก้าวหน้าจากการบินครั้งแรกสู่การลงจอดบนดวงจันทร์ หรือจากอินเทอร์เน็ตยุคแรกสู่การใช้งานวงกว้าง ก็คล้ายกัน เทคโนโลยีใหม่มักใช้เวลาเพียง 10~20 ปีในการพัฒนาอย่างรวดเร็วและเปลี่ยนสังคมไปโดยสิ้นเชิง
      ฉันไม่ได้เห็นด้วยกับคำทำนายปี 2035 แต่ถ้า AI เร่งความเร็วการพัฒนาเทคโนโลยีหุ่นยนต์เชิงพลิกโฉม มันก็ไม่ถึงกับเป็นไปไม่ได้ ในปี 2010 รถยนต์ไร้คนขับและโดรนส่งของอัตโนมัติยังดูเหมือนนิยายวิทยาศาสตร์อันไกลโพ้น แต่ 15 ปีต่อมาในวันนี้ก็เริ่มถูกนำไปใช้งานมากขึ้นแล้ว
      หากลด 95% ลงมาเป็น 50~60% ฉันก็น่าจะเอนเอียงไปทางเห็นด้วยมากขึ้น ไม่ใช่เพราะสัญชาตญาณ แต่เพราะหากแนวโน้มแบบเอ็กซ์โปเนนเชียลมีอยู่จริง มันอาจสร้างผลลัพธ์ที่เราเดาด้วยสัญชาตญาณไม่ออก ถึงอย่างนั้น 95% ก็ยังสูงเกินไป

  • อย่างน้อยที่สุด LLM ดูเหมือนจะไม่ได้อยู่ที่จุดเริ่มต้นของเส้นโค้งเอ็กซ์โปเนนเชียล แต่ไปถึง ช่วงบนของเส้นโค้งรูปตัว S แล้ว ข้อมูลฝึกที่ดีกว่าจะทำให้เกิดการปรับปรุงเล็กน้อย สถาปัตยกรรมที่ดีกว่าจะลดปริมาณการคำนวณ และดาต้าเซ็นเตอร์ขนาดมหึมาจะทำให้การใช้งานมีราคาถูกและแพร่หลาย แต่ไม่มีสิ่งใดเพิ่มสติปัญญาแบบเอ็กซ์โปเนนเชียลได้

    • มีคนพูดซ้ำมาตั้งแต่สมัย GPT-1 แล้วว่า LLM รีดสติปัญญาออกมาได้เพิ่มอีกเพียงเล็กน้อยเท่านั้น แต่จนถึงตอนนี้ ผิดมาตลอด
    • อะไรคือหลักฐานที่ทำให้เชื่อเช่นนั้น
    • เห็นด้วยอย่างยิ่ง แต่ก็มีโอกาสสูงมากเช่นกันที่ การปรับปรุงสถาปัตยกรรมระดับพลิกอุตสาหกรรม เทียบชั้น “Attention Is All You Need” จะปรากฏขึ้นได้ทุกเมื่อ
      ช่องว่างด้านการรับรู้ของ LLM ในปัจจุบันดูเหมือนจะเป็นปัญหาเชิงสถาปัตยกรรม แต่หากแก้ได้ด้วยสถาปัตยกรรมแบบ Transformer รูปแบบใหม่หรือที่ขยายต่อยอดออกไป ก็จะเปิดฉากใหม่ที่แตกต่างไปโดยสิ้นเชิง สิ่งที่ต้องการคือโครงสร้างการเรียนรู้หลังการฝึกแบบใหม่ ไม่ใช่การขยาย context window และจำเป็นต้องมี กระบวนการเรียนรู้และการแก้ไขอย่างต่อเนื่อง อย่างแท้จริง

  • บทความนี้เขียนโดยผู้สร้าง AI 2027

    • จนถึงต้นปี 2026 การคาดการณ์ครั้งนี้ดูแม่นยำกว่ามาก
      เพียงแต่หมกมุ่นกับภูมิรัฐศาสตร์และจีนอย่างแปลก ๆ ขณะเดียวกันก็ประเมินจีนต่ำไปอย่างมาก จีนให้ความสำคัญกับอุดมศึกษาและการจัดหาไฟฟ้าที่เพียงพอ และเปิดโอกาสให้คนเก่งทำงานได้โดยไม่ถูกจำกัดแบบสุ่มจากข้อห้ามและการควบคุมการส่งออก หรือถูกปกป้องเกินเหตุด้วยลัทธิคุ้มครองทางการเงิน แค่นั้นก็มีโอกาสสูงแล้วว่าอีกไม่นานจะนำหน้าบริษัทอเมริกันในด้าน นวัตกรรมและศักยภาพการประมวลผล

  • บทความใช้คำพูดของ Sam Altman ว่า “AI อาจจะนำไปสู่วันสิ้นโลก แต่ระหว่างทางจะมีบริษัทที่ยอดเยี่ยมเกิดขึ้น”
    มีแหล่งข่าวจากสื่อที่น่าเชื่อถือหรือไม่ที่ยืนยันว่ามันไม่ใช่มุกพูดสด บทความเชื่อมไปยังวิดีโอ YouTube ที่ตัดบริบทออก และปฏิบัติต่อมันราวกับเป็นคำพูดชวนขนลุก
    หากตีความในทางร้ายที่สุด ก็อาจจินตนาการถึงคนชั่วที่เชื่อว่าตราบใดที่ตนยังมีชีวิตอยู่โดยไม่ต้องเผชิญความไม่สะดวก ก็ยอมก่อให้เกิดหายนะหลังจากนั้นได้ แต่สิ่งนั้นไม่สอดคล้องกับบริบทของคำพูดนี้ มันไร้สาระเสียจนยากจะมองว่าเป็นคำพูดจริงจังจากมนุษย์ที่ใช้ชีวิตในสังคมได้
    จึงสงสัยว่าผู้คนกำลังบิดเบือนโดยเจตนา หรือเชื่อจริง ๆ ว่านี่คือความเชื่อของเขา หากมองว่าเป็นความเชื่อจริง ก็อยากให้มีคนอธิบายด้วยว่าทำไมใครบางคนถึงคิดแบบนั้นได้

    • คำถามในนาที 7:35 ของวิดีโอ คือ “คุณอยากให้ผู้คนใช้เวลาในด้านใดมากขึ้น” และ Sam ดูเหมือนจะตอบว่า AI safety เป็นวิดีโอจาก ปี 2015 ที่พูดถึงการก่อตั้ง OpenAI และเมื่อดูจากสิ่งที่เขาทำหลังจากนั้น ก็ดูเหมือนว่าสำหรับเขามันไม่ใช่เรื่องล้อเล่น
    • มีความเป็นไปได้สูงว่าหมายถึง “โลกในรูปแบบที่เรารู้จักจะสิ้นสุดลง” ซึ่งตัวมันเองก็น่าจะจริง แต่อาจเป็น อีก 20 ปีข้างหน้า หรืออีก 2,000 ปีข้างหน้า ก็ได้