ฟีดแบ็กของ Sam Altman และ Greg Brockman ต่อข้ออ้างของนักวิจัยด้านความปลอดภัยของ OpenAI
(twitter.com/gdb)-
ขอบคุณต่อการมีส่วนร่วมของ Jan และการอธิบายกลยุทธ์
- ขอบคุณ Jan สำหรับการมีส่วนร่วม และเชื่อว่าเขาจะยังคงช่วยขับเคลื่อนภารกิจนี้จากภายนอกต่อไป
- ต้องการอธิบายกลยุทธ์ของเราต่อคำถามต่าง ๆ ที่เกิดขึ้นจากการจากไปของเขา
-
การยกระดับการตระหนักรู้ต่อความเสี่ยงและโอกาสของ AGI
- ยกระดับการตระหนักรู้ต่อความเสี่ยงและโอกาสของ AGI เพื่อให้โลกเตรียมพร้อมได้ดียิ่งขึ้น
- สาธิตให้เห็นหลายครั้งว่าดีปเลิร์นนิงสามารถขยายขีดความสามารถได้ และวิเคราะห์ความหมายของมัน
- เคยเรียกร้องให้มีธรรมาภิบาลระดับนานาชาติสำหรับ AGI ซึ่งในเวลานั้นยังไม่ใช่ประเด็นที่ได้รับความนิยม
- บุกเบิกศาสตร์การประเมินความเสี่ยงระดับหายนะของระบบ AI
-
การวางรากฐานสำหรับการนำระบบที่ปลอดภัยไปใช้งาน
- กำลังวางรากฐานสำหรับการนำระบบที่มีความสามารถสูงขึ้นเรื่อย ๆ ไปใช้งานอย่างปลอดภัย
- การทำให้เทคโนโลยีใหม่ปลอดภัยตั้งแต่ครั้งแรกไม่ใช่เรื่องง่าย
- ได้ทำงานจำนวนมากเพื่อเปิดตัว GPT-4 สู่โลกอย่างปลอดภัย
- นำบทเรียนจากการใช้งานจริงมาปรับปรุงพฤติกรรมของโมเดลและการติดตามการใช้งานในทางที่ผิดอย่างต่อเนื่อง
-
ความท้าทายในอนาคต
- อนาคตจะยากกว่าที่ผ่านมา
- ต้องยกระดับงานด้านความปลอดภัยอย่างต่อเนื่องให้สอดคล้องกับความสำคัญของโมเดลใหม่
- ได้จัดระบบเรื่องนี้ผ่าน Preparedness Framework ที่นำมาใช้เมื่อปีที่แล้ว
-
มุมมองต่ออนาคต
- คาดว่าเมื่อโมเดลทรงพลังมากขึ้น มันจะถูกรวมเข้ากับโลกอย่างลึกซึ้งยิ่งขึ้น
- ผู้ใช้จะไม่ได้โต้ตอบเพียงกับโมเดลเดี่ยวผ่านข้อความเข้าและออกเท่านั้น แต่จะโต้ตอบกับระบบที่ประกอบด้วยโมเดลมัลติโหมดหลายตัวและเครื่องมือต่าง ๆ
-
การพัฒนาระบบที่ปลอดภัยและเป็นประโยชน์
- เชื่อว่าระบบเหล่านี้จะเป็นประโยชน์และช่วยเหลือผู้คนได้อย่างมาก และจะสามารถให้บริการได้อย่างปลอดภัย
- การทำเช่นนั้นต้องอาศัยงานพื้นฐานอีกมาก
- รวมถึงการพิจารณาอย่างรอบคอบต่อสิ่งที่เชื่อมต่อกันระหว่างการฝึก และการหาทางแก้ปัญหาที่ยาก เช่น scalable oversight
- ขณะสร้างไปในทิศทางนี้ เรายังไม่รู้ว่าจะถึงจุดที่ผ่านเกณฑ์ความปลอดภัยสำหรับการเปิดตัวเมื่อใด แต่หากตารางเปิดตัวต้องล่าช้าก็ไม่เป็นไร
-
วงจรป้อนกลับและการทดสอบอย่างเข้มงวด
- ตระหนักว่าเราไม่อาจจินตนาการถึงทุกสถานการณ์ในอนาคตที่เป็นไปได้
- จำเป็นต้องมีวงจรป้อนกลับที่ใกล้ชิดมาก การทดสอบอย่างเข้มงวด การพิจารณาอย่างรอบคอบในทุกขั้นตอน ความปลอดภัยระดับโลก และความสมดุลระหว่างความปลอดภัยกับความสามารถ
- จะเดินหน้าทำวิจัยด้านความปลอดภัยต่อไปในหลายช่วงเวลา
- จะสานต่อความร่วมมือกับรัฐบาลและผู้มีส่วนได้ส่วนเสียหลายฝ่าย
-
ความเข้าใจเกี่ยวกับเส้นทางสู่ AGI
- ยังไม่มีเพลย์บุ๊กที่พิสูจน์แล้วสำหรับการสำรวจเส้นทางไปสู่ AGI
- ความเข้าใจเชิงประจักษ์จะช่วยชี้ทางไปข้างหน้า
- ทำงานเพื่อมอบข้อได้เปรียบมหาศาล พร้อมลดทอนความเสี่ยงร้ายแรง
- เราให้ความสำคัญกับบทบาทของเราอย่างจริงจัง และพิจารณาฟีดแบ็กต่อการกระทำของเราอย่างรอบคอบ
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ถ้าเป็นบริษัทเทคโนโลยีที่ใหญ่พอ องค์กร ลดความเสี่ยง อย่างฝ่ายกฎหมาย จัดซื้อ หรือไอที ก็มักทำงานได้แค่ภายในหน้าต่าง Overton ระหว่างความเสี่ยงที่บริษัทจ้างพวกเขามาเพื่อหลีกเลี่ยง กับความต้องการของผู้บริหารที่อยากเร่งเดินหน้าเมื่อรู้สึกว่าจำเป็น
คนที่ดูแลความเสี่ยงมักเห็นคำเตือนที่รุนแรงขึ้นเรื่อย ๆ ถูกเมินหรือถูกโต้แย้งตรง ๆ ซ้ำแล้วซ้ำเล่า สุดท้ายก็ต้องปรับตัวตาม หรือไม่ก็ลาออกเพราะขัดกับจริยธรรมของตัวเอง
คำว่า “AGI” กับความหวาดกลัวระดับการสูญพันธุ์ของมนุษยชาติอาจทำให้เรื่องนี้ดูดราม่าเกินความจำเป็นก็ได้ ถ้าเปลี่ยน AGI เป็น “ไม่มีนโยบายห้ามใช้อุปกรณ์ส่วนตัว” ก็นึกภาพได้ว่าน่าจะมีสตาร์ตอัปสักแห่งที่คนดูแลความปลอดภัยยึดติดกับนโยบาย แต่ผู้บริหารไม่สนใจ แล้วสุดท้ายคนนั้นก็ลาออก
หรือไม่ก็อาจเป็นเรื่องร้ายแรงและอันตรายอย่างที่เห็นจริง ๆ ก็ได้ จากคนนอกตัดสินได้ยาก
ไม่ว่าการปะทะกันต่อหน้าสาธารณะช่วงหลังจะเป็นแค่ดราม่าภายในหรือการเมืององค์กรที่รั่วออกมา หรือเป็นเพราะบริษัทไม่ได้จริงจังพอกับการจัดการปัญหานี้ ทั้งสองแบบก็ไม่ดีทั้งคู่
องค์กรนี้ยิ่งดูเหมือน คณะละครสัตว์ ขึ้นเรื่อย ๆ และแย่กว่านั้นคือดูเหมือนองค์กรที่พลาดประเด็นสำคัญไป การที่คนกลุ่มนี้กำลัง “นำ” การทำเทคโนโลยีนี้ไปสู่เชิงพาณิชย์และเป็นผู้กำหนดบรรยากาศของทั้งอุตสาหกรรมนั้นน่ากังวลมาก โดยเฉพาะเมื่อดูเหมือนว่าคนสำคัญหลายคนที่เข้าร่วมเพราะหลักการและเหตุผลทางศีลธรรมกำลังทยอยออกไป
ในท้ายที่สุด เราคงได้เห็นอย่างรวดเร็วว่าผลลัพธ์ของการฝากทั้งเงิน อำนาจ ความรับผิดชอบ และความเชื่อไว้กับซิลิคอนแวลลีย์จะออกมาเป็นอย่างไร
โมเดลอัจฉริยะเหนือมนุษย์ที่ปฏิเสธคำสั่งก็ไร้ประโยชน์พอ ๆ กับโมเดลโง่ที่ไม่เข้าใจคำสั่ง ทีม alignment เองก็เป็นส่วนหนึ่งของการแข่งขันเพื่อสร้างโมเดลที่ทรงพลังยิ่งขึ้น ถ้าอยากเข้าใจเชิงเทคนิคมากขึ้น ดูบทความล่าสุดของ OpenAI ได้ที่: https://openai.com/index/weak-to-strong-generalization/
แน่นอนว่า ถ้าคุณทำให้คนเชื่อได้ว่าโมเดลภาษาขนาดใหญ่มีความเป็นตัวกระทำที่ถูกนำไปใช้งานจริง และสามารถเจาะทะลุระบบออกมาเหมือนไวรัสคอมพิวเตอร์ได้ ก็อาจแพ็กมันเป็นปัญหาความปลอดภัยทั่วไปได้ แต่โมเดลภาษาขนาดใหญ่ก็คือตัวสร้างข้อความ ในทางกายภาพมันทำอะไรเองไม่ได้ และจะลงมือทำได้ก็ต่อเมื่อเราอนุญาตและเชื่อมมันเข้ากับบางอย่างเท่านั้น
ความเสี่ยงจริงคือผู้คนอาจไม่เข้าใจจุดนี้ และอาจมีคนจำนวนมากอยากนำโมเดลแบบนี้ไปเชื่อมกับสถานการณ์อันตราย เพียงเพราะ OpenAI รับรองว่าปลอดภัย ถ้าเข้าถึงข้อมูลการฝึกไม่ได้ ก็ไม่มีทางรู้ได้ว่าพฤติกรรมแบบไหนถูกเรียนรู้ไปแล้ว หรือโมเดลจะทำตัวอย่างไร ถ้ามีข้อมูลการฝึก เราจะเข้าใจได้ดีกว่ามาก และความไม่แน่นอนที่เหลือก็เป็นแค่ความไม่เป็นกำหนดแน่นอนของการนำไปใช้จริง ถึงอย่างนั้น อย่างน้อยมันก็ยังเป็นกระบวนการเชิงความน่าจะเป็นที่อธิบายได้
พวกเขาปล่อยให้ทีมความปลอดภัยเป็นฝ่ายนำ และผลก็คือผลิตภัณฑ์ถูกทุกคนเกลียด แต่ตอนนี้ก็น่าสนใจที่บริษัทซึ่งโดยรวมสร้างผลิตภัณฑ์ระดับดีที่สุดในกลุ่ม กลับถูกชุมชนเทคโนโลยีเกลียดอีกครั้งเพราะไม่ยอมให้ทีมความปลอดภัยครอบงำการพัฒนาผลิตภัณฑ์
ผลลัพธ์คือมันกลายเป็นการแสดงที่การคิดสองชั้นและการพูดสองแง่สองง่ามกลายเป็นมาตรฐาน และถ้าอยากอยู่ต่อ คุณก็ต้องให้ความสำคัญกับการตีความถ้อยคำของกฎหมายที่ใช้บังคับแบบที่สร้างภาระน้อยที่สุด มากกว่าการรักษาเจตนารมณ์ของกฎหมายและตัวการแสดงนั้นเอง
มุมมองเชิงปฏิบัติมาก ๆ ต่อความเป็นจริงของวัฒนธรรมความปลอดภัยที่ยั่งยืนอาจดูได้จาก [1] เช่นกัน
[1] https://github.com/lorin/resilience-engineering/raw/master/b...
เรื่องที่บอกว่า AI จะสร้างคลิปหนีบกระดาษแล้วกำจัดมนุษยชาติ ทำให้น่าหงุดหงิดเพราะเบี่ยงความสนใจออกจากความเสี่ยงจริงที่กำลังเกิดขึ้นอยู่ตอนนี้
ตอนนี้พวกมิจฉาชีพกำลังอยู่ในยุครุ่งเรือง และความสามารถก็จะยิ่งดีขึ้นและใช้งานง่ายขึ้นอีก ผู้คนกำลังโง่ลงจริง ๆ เพราะเชื่อผลลัพธ์หลอนผิดของมันแบบหัวปักหัวปำ แม้แต่การสื่อสารธรรมดาก็กำลังพังลง เพราะเราไม่อาจเชื่อได้ว่าอีกฝ่ายกำลังถกเถียงจริง ๆ หรือแค่คัดลอกคำเพ้อเจ้อจาก AI มาวาง
เราเห็นผลิตภัณฑ์แฟนสาว AI กันแล้ว และเมื่อดูจำนวนผู้ใช้ของบางตัว ก็ทำให้ไม่ค่อยเชื่อมั่นในอนาคตของเผ่าพันธุ์เราเท่าไร
ปัญหาใหญ่ที่สุดคือเหล่าผู้บริหารระดับสูงสติหลุดและพวกสาย MBA ทั้งหลายสนใจแค่รีดทุกอย่างให้ได้แม้กระทั่งเงินเหรียญสุดท้าย ไม่สนวิธีการ รวมถึงการเลิกจ้างคนหลายพันพร้อมกันแล้วแทนที่ด้วยแชตบอตห่วย ๆ ของบริษัทที่หนุนหลังโดย Microsoft
ผมไม่คิดว่า AI จะยิงอาวุธนิวเคลียร์ แต่เชื่อว่ามันจะมาแทนงานของทุกคนและทำให้คนที่แข็งแรงอยู่แล้วยิ่งแข็งแรงกว่าเดิม พวกประจบ AI อาจตะโกนว่า “แต่ก็มีรายได้พื้นฐานถ้วนหน้านี่!” แต่การร่ายคาถาไม่ได้เปลี่ยนโลกความจริง
ถ้าเป้าหมายของงานใดคือการผลิตเรื่องไร้สาระให้ได้มากที่สุดโดยเร็วที่สุด โมเดลภาษาขนาดใหญ่ก็จะยอดเยี่ยมมาก
ไม่เห็นสมาร์ตโฟน ผู้คนมาพบกันจริง ๆ คุยกัน ซื้ออาหารท้องถิ่น หัวเราะ และดื่มกันนิดหน่อย จากนั้นก็ไปกินข้าวบ้านเพื่อนหรือทำกิจกรรมกลางแจ้ง แต่สำหรับคนที่ติดออนไลน์ตลอดเวลา มันก็ดูมืดมนแน่นอน
น่าแปลกที่ผู้บริหารจำนวนมากดูเหมือนจะเชื่ออย่างจริงจังว่า การลดต้นทุนแรงงานให้ต่ำที่สุด สำคัญกว่าการส่งมอบคุณค่าให้ลูกค้า
ผมเห็นด้วยกับปัญหาแฟนสาวเสมือน และถ้าเอา VR มารวมด้วย เด็กผู้ชายวัยรุ่นที่ยิ่งโดดเดี่ยวทางสังคมมากขึ้นเรื่อย ๆ ก็จะไปเติมเต็มความต้องการผ่านเทคโนโลยีนี้
เป็นความจริงที่ AI สามารถสร้างผลลัพธ์อัตโนมัติได้จำนวนมาก แต่ข้อโต้แย้งของผมคือส่วนใหญ่มันก็ทำได้ดีสุดแค่ระดับธรรมดา ๆ
มีเรื่องให้พูดมากมายว่าความเสี่ยงของ AI มาจากคนที่นำมันไปใช้และให้ทุน ไม่ใช่จากตัว AI เอง คำพูดที่ว่า AI ตัวมันเองอันตรายนั้นไร้สาระสิ้นดี
โมเดลภาษาขนาดใหญ่มีประโยชน์อยู่บ้าง แต่จากที่ผมลองใช้มา มันยังไม่พร้อมสำหรับงานที่ยากกว่างานพื้นฐานมากนัก
การตะโกนเรื่อง ความปลอดภัยของ AI เสียงดัง ๆ และสร้างบรรยากาศวันสิ้นโลกให้รู้สึกเหมือนเป็นกลยุทธ์เพื่อเพิ่มความสำคัญของ OpenAI และพูดเกินจริงถึงความสามารถของโมเดลภาษาขนาดใหญ่ ยุค “AI” รอบนี้เหมือนเป็นเรื่องของการทำท่าเหมือนเครื่องจักรคิดได้ และคนที่สร้างมันก็ทำท่าเหมือนเป็นศาสดา
มีคนจำนวนมากเรียกร้องเรื่องความปลอดภัยมาหลายสิบปี คนเหล่านี้คาดการณ์และสร้างเส้นทางของ AI ขึ้นมาเอง และพวกเขาก็พูดถูก เราควรฟัง
“ถ้าเรายอมรับได้ว่าผลกระทบของเครื่องจักรที่ฉลาดอย่างแท้จริงอาจลึกซึ้งมาก และมีแม้เพียงความเป็นไปได้เล็กน้อยว่าสิ่งนี้จะเกิดขึ้นในอนาคตที่คาดการณ์ได้ การพยายามเตรียมตัวล่วงหน้าก็เป็นท่าทีที่รอบคอบ หากเรารอจนดูมีแนวโน้มสูงมากว่าเครื่องจักรอัจฉริยะจะมาถึงในไม่ช้า มันก็จะสายเกินไปที่จะถกเถียงและไตร่ตรองปัญหาที่เกี่ยวข้องอย่างเพียงพอ”
~ ผู้ร่วมก่อตั้ง DeepMind, 2008
https://www.vetta.org/documents/Machine_Super_Intelligence.p...
มีความเป็นไปได้ไม่น้อยเลยว่าพวกเขาเป็นคนที่ไร้เดียงสาอย่างลึกซึ้ง และแทบไม่เข้าใจฐานเชิงประจักษ์ของสิ่งที่ตัวเองกำลังทำอยู่
พวกเขาบอกว่า “เราเรียกร้องธรรมาภิบาลระดับนานาชาติสำหรับ AGI มาตั้งแต่ก่อนที่มันจะเป็นที่นิยม” แต่พอมีความพยายามจะนำธรรมาภิบาลแบบนั้นมาใช้จริง ก็กลับขู่ว่าจะถอนตัวจากสหภาพยุโรป
พวกเขาบอกว่า “เราได้วางรากฐานเพื่อให้สามารถเปิดใช้งานระบบที่มีความสามารถเพิ่มขึ้นเรื่อย ๆ ได้อย่างปลอดภัย การหาวิธีทำให้เทคโนโลยีใหม่ปลอดภัยเป็นครั้งแรกนั้นไม่ง่าย” แต่ยิ่งไม่ง่ายเข้าไปใหญ่เมื่อโดยเฉพาะ OpenAI เองก็ไม่ได้ open เลยแม้แต่น้อย
พวกเขาพูดถึง “ความรอบคอบว่าเชื่อมต่ออะไรบ้างระหว่างการฝึก วิธีแก้ปัญหายาก ๆ อย่าง scalable oversight และงานด้านความปลอดภัยรูปแบบใหม่” แต่สิ่งเหล่านี้ก็คือสิ่งที่สหภาพยุโรปเคยเรียกร้อง เมื่อมีข้อกำหนดให้เปิดเผยแหล่งที่มีลิขสิทธิ์ จัดทำเอกสารของ foundation model และอื่น ๆ พวกเขากลับขู่ว่าจะถอนตัว
คำแปลของ “ผมคิดว่าความเข้าใจเชิงประจักษ์สามารถบอกทิศทางข้างหน้าได้ เรามี...” คือ: “เราต้องการปิดให้มากที่สุดเท่าที่จะทำได้ และอยากมีคูเมืองทางธุรกิจให้มากพอ รวมถึงบริษัทที่ต้องพึ่งพาเรา เพื่อที่เราจะได้ยังคงมีความเกี่ยวข้องและขาดไม่ได้ต่อไป”
พวกเขาเองก็ไม่ได้อยากตายเหมือนกัน ดังนั้นไม่จำเป็นต้องคิดว่าไม่มีแรงจูงใจที่จะทำให้ทุกคนปลอดภัย
มีข้อเท็จจริงอยู่บ้าง
นี่เป็นการตอบกลับต่อข้อกล่าวอ้างของ Jan: https://x.com/janleike/status/1791498174659715494
ในคำตอบนั้นไม่มีเนื้อหาที่เป็นรูปธรรมเกี่ยวกับการจัดแนว AI เลย ไม่มีใครรู้ว่าการจัดแนว AI จะพัฒนาได้เมื่อใด จริยธรรม AI และอคติของ AI เป็นสิ่งจำเป็น แต่เป็นประเด็นที่ต่างจากการจัดแนว AI และก็ไม่มีใครรู้เช่นกันว่า AI ที่ก่อความเสี่ยงระดับดำรงอยู่จะถูกพัฒนาเมื่อใด
หากมีการพัฒนา AI ที่ก่อความเสี่ยงระดับดำรงอยู่ก่อน การจัดแนว AI ก็มีความเสี่ยงต่อการสูญพันธุ์ของมนุษยชาติอยู่ในระดับหนึ่ง OpenAI อยู่แนวหน้าของการพัฒนา AI ที่มีความเสี่ยงต่อการสูญพันธุ์ของมนุษยชาติ แต่กลับไม่ได้จัดสรรทรัพยากรให้การจัดแนว AI อย่างเพียงพอ
การสมัครใช้ ChatGPT เริ่มทำให้รู้สึกอึดอัด
อย่างที่หลายคนเห็นพ้องกัน ความเสี่ยงของ AI ไม่ใช่การมีอยู่ของสิ่งเหนือมนุษย์ที่ควบคุมไม่ได้
ความเสี่ยงนั้นใกล้ตัวและเป็นจริงกว่ามาก เช่น การนำโมเดลภาษาขนาดใหญ่ไปใช้กับการกลั่นกรองแชตแล้วระบุคำพูดผิด การสรุปรายงานทางทหารยาว 100 หน้าแล้วได้ข้อสรุปที่ผิด หรือการแต่งเติมรายละเอียดบางส่วนในข่าวจนอีกหลายปีต่อมาถูกยอมรับว่าเป็นข้อเท็จจริงทางประวัติศาสตร์
หางยาวของผลลัพธ์เหล่านี้จะใหญ่ขึ้นตามขนาดการใช้งานโมเดลภาษาขนาดใหญ่ ปัญหาเดี่ยวบางอย่างที่มองไม่เห็นในตอนนี้อาจมีผลกระทบมากกว่าปัญหาอื่นอย่างมาก การเสียชีวิตที่เกิดจากสิ่งนี้จะนำไปสู่กฎระเบียบเพิ่มเติม ส่วนผลลัพธ์อื่น ๆ ก็จะกลายเป็นวิถีชีวิตใหม่ของเราไปเอง
แม้เครื่องจักรจะทำงานเดียวกันได้แม่นยำน้อยกว่ามนุษย์ ก็ยังตรวจสอบได้ง่ายกว่า และพฤติกรรมก็ทำซ้ำได้และขยายขนาดได้ ถึงแม้จะมีผู้คนจำนวนมากเสียชีวิตจากความผิดพลาดในสงครามแบบที่พอจินตนาการได้ มนุษย์ก็จะไปทำงานที่ดีกว่าแทน ดังนั้นมันก็อาจยังดีกว่าอยู่ดี
ท้ายที่สุดแล้วมันคือ การแลกเปลี่ยน
รู้สึกขัดใจที่ใช้แค่ชื่ออย่าง “Sam และ Greg” เพื่อสื่อความสนิทสนมกับบริษัท
ความพยายามจะทำให้ดูสบาย ๆ และเป็นมนุษย์นั้นดูปลอม และในขณะเดียวกันการยกคนเหล่านี้ขึ้นในวัฒนธรรมสาธารณะด้วยการเรียกแค่ชื่อก็ดูหยิ่งผยอง
ที่ว่า “ตัวอย่างเช่น ทีมของเราทำงานมากมายเพื่อปล่อย GPT-4 สู่โลกอย่างปลอดภัย” นี่ล้อเล่นหรือเปล่า?
ฉันไม่คิดว่าเราควรกังวลเรื่อง superalignment ในเมื่อ OpenAI ยังนิยามหรือทดสอบ AGI อย่างเหมาะสมไม่ได้ด้วยซ้ำ
ถ้าเรียกว่า “การกำกับดูแลโมเดล” มันคงไม่ฟังดูเซ็กซี่เท่าใช่ไหม?
ความกลัวว่า AGI จะทำลายมนุษยชาติ ดูเหมือนส่วนใหญ่จะมาจากความสงสัยว่า หากมันเป็นกลไกที่คิดอย่างมีเหตุผล มันอาจสรุปได้จริง ๆ ว่าควรกำจัดพวกเรา
หากให้ AGI ไปบริหารโรงงานผลิตคลิปหนีบกระดาษ วันหนึ่งเมื่อคุณกลับมา อาจพบว่าคาร์บอนและเหล็กส่วนใหญ่ในกาแล็กซีถูกจัดเรียงใหม่ให้กลายเป็นคลิปหนีบกระดาษแล้ว การสูญพันธุ์ของพืชและสัตว์ท้องถิ่นที่นั่นเป็นเพียงผลพลอยได้ของแรงขับนั้น ดูภาพรวมแบบสั้น ๆ ได้ที่ [2]
[2]: https://selfawaresystems.com/wp-content/uploads/2008/01/ai_d...
แต่ทำไมต้องทำให้มนุษย์สูญพันธุ์ด้วย? จะสร้างเขตอนุรักษ์ธรรมชาติสำหรับพวกเราและสิ่งมีชีวิตอื่นเพื่อการอนุรักษ์และการวิจัยไม่ได้หรือ? แนวทางแบบนั้นมีอยู่ในสังคมมนุษย์มาตั้งแต่หลายพันปีก่อนแล้ว
หากเราสร้างบางสิ่งที่คล้ายเราแต่มีความสามารถมากกว่ามากขึ้นมา เราก็คงจะหวาดกลัวและตกที่นั่งลำบาก