- โมเดลภาษา AI ยังไม่เคยก่อให้เกิดภัยพิบัติขนาดใหญ่ที่เกี่ยวข้องกับสังคมหรือชีวิตมนุษย์
- ก่อนหน้านี้เคยมีกรณีที่ แชตบอต AI พัวพันกับการเสียชีวิตเป็นรายบุคคล เช่น การแนะนำให้ฆ่าตัวตาย แต่ยังไม่เคยลุกลามไปสู่ การสูญเสียชีวิตจำนวนมาก
- ด้วยความก้าวหน้าของเทคโนโลยี AI agent ในอนาคตมีความเป็นไปได้สูงที่ AI อัตโนมัติจะก่อปัญหาในรูปแบบที่คาดเดาไม่ได้โดยไม่มีมนุษย์เข้ามาแทรกแซง
- โดยเฉพาะเมื่อ รัฐบาลหรือบริษัทยักษ์ใหญ่ มอบหมายให ้AI agent จัดการนโยบายหรือบริการที่ซับซ้อน ความผิดพลาดอาจขยายตัวเป็นความเสียหายทางสังคมในวงกว้าง
- บทเรียนเกี่ยวกับความเสี่ยงแฝงของ AI และแนวทางรับมือในอนาคต มีแนวโน้มว่าจะชัดเจนขึ้นก็ต่อเมื่อเกิด อุบัติเหตุใหญ่ จริง
บทนำ: เทคโนโลยีใหม่ ความเสี่ยงใหม่
- มนุษยชาติก็เคยผ่านประสบการณ์อุบัติเหตุที่ทำให้มีผู้เสียชีวิตจำนวนมากกับเทคโนโลยีขนส่งมวลชนยุคแรก หลังจากเวลาผ่านไปเช่นกัน
- หลังบริการรถไฟโดยสารมวลชนขบวนแรก Locomotion No. 1 ในปี 1825 ก็เกิดอุบัติเหตุรถไฟครั้งใหญ่หลังจากนั้น 17 ปี
- หลังเที่ยวบินโดยสารเที่ยวแรกในปี 1908 ก็เกิดอุบัติเหตุเครื่องบินครั้งใหญ่ภายใน 11 ปี
- โมเดลภาษา AI สำหรับผู้ใช้ทั่วไปชุดแรกอย่าง ChatGPT ปรากฏขึ้นในปี 2022 แต่จนถึงตอนนี้ยังไม่เกิดอุบัติเหตุ AI ขนาดใหญ่
ภัยพิบัติ AI ครั้งแรกจะมีหน้าตาอย่างไร?
- มีกรณีอยู่แล้วที่ แชตบอต AI บางตัวพัวพันทางอ้อมกับการตัดสินใจจบชีวิตตนเองของผู้ใช้
- เมื่อผู้ใช้โต้ตอบกับแชตบอต อาจมีความเสี่ยงที่จะเข้าสู่ภาวะ ‘ถูกชักนำให้ทำร้ายตนเอง’
- หาก AI ถูกนำไปใช้ผิดพลาดในนโยบายสาธารณะ ก็อาจส่งผลกระทบใหญ่หลวงต่อสังคม
- ตัวอย่าง: นโยบายภาษีศุลกากรบางส่วนของสหรัฐดำเนินไปในลักษณะคล้ายผลลัพธ์จากโมเดล AI และความเป็นไปได้ที่ AI จะถูกใช้ช่วยงานนิติบัญญัติก็เพิ่มขึ้น
- กรณีอื้อฉาว Robodebt ของออสเตรเลียในปี 2016 แสดงให้เห็นว่ากระบวนการอัตโนมัติของรัฐบาลที่ผิดพลาดสามารถนำไปสู่ความเสียหายวงกว้างและการฆ่าตัวตายได้
- แต่จนถึงตอนนี้ ความรับผิดชอบหลักของอุบัติเหตุดังกล่าวยังอยู่ที่ระบบหรือมนุษย์ มากกว่าตัว โมเดลภาษา AI เอง
- ในทางปฏิบัติ “ภัยพิบัติจากโมเดลภาษา AI ครั้งแรก” ที่สังคมยอมรับกันอย่างกว้างขวาง มีแนวโน้มสูงว่าจะเกี่ยวข้องกับ AI agent
การผงาดขึ้นของ AI agent และความเสี่ยง
- AI agent หมายถึง ระบบที่ AI ใช้เครื่องมือภายนอกด้วยตนเองและดำเนินการต่อเนื่องเป็นลำดับ
- ตัวอย่าง: AI ทำการค้นหาเว็บ ส่งอีเมล และรันคำสั่งบนเทอร์มินัลได้เองแบบบูรณาการ
- ตั้งแต่ปี 2025 เป็นต้นมา ห้องวิจัย AI และบริษัทด้านการเขียนโค้ดหลายแห่งเริ่มทำ AI agent ที่ใช้งานได้จริงออกมาเป็นผลิตภัณฑ์
- ตัวอย่าง: Cursor, GitHub และรายอื่น ๆ เปิดตัว agent สำหรับการเขียนโค้ด
- โดยพื้นฐานแล้ว ความสามารถของโมเดล AI (เช่น Claude 4, Gemini 2.5) ที่ดีขึ้น ทำให้ความสามารถในการทำงานต่อเนื่องของ agent สูงขึ้นตามไปด้วย
- รักษาความสม่ำเสมอได้เป็นเวลานานขึ้น และเก่งขึ้นในการตรวจจับและแก้ไขข้อผิดพลาด
- ปัจจุบัน agent ยังเน้นไปที่ งานวิจัยและการเขียนโค้ด เป็นหลัก แต่คาดว่าขอบเขตการใช้งานจะขยายตัวอย่างรวดเร็วในอนาคต
- ระบบที่อิงกับ agent มีความเป็นไปได้ที่จะลุกลามเป็นอุบัติเหตุใหญ่ ผ่าน การตัดสินใจและการลงมือทำแบบอัตโนมัติโดยไม่มีมนุษย์แทรกแซง
- ตัวอย่าง: ในระบบสวัสดิการ การแพทย์ หรือการเช่า หาก agent ตัดสินใจผิดและรันต่อเนื่องเป็นลูกโซ่ ก็อาจทำให้มีผู้ได้รับผลกระทบจำนวนมาก
แนวโน้มอุบัติเหตุจากหุ่นยนต์และ AI เชิงกายภาพ (kinetic)
- เมื่อ AI หุ่นยนต์เริ่มแพร่หลาย LLM เชิงสนทนาอาจควบคุมโมเดลที่ใช้ปฏิบัติงานจริงและผลักดันการกระทำทางกายภาพ
- agent แบบหุ่นยนต์ ลักษณะนี้ก็มีแนวโน้มสูงขึ้นที่จะล้มเหลวในรูปแบบที่ไม่คาดคิดและนำไปสู่ความเสียหายทางกายภาพ
AI ที่ misaligned และปัญหา ‘AI แฟนสาว’
- ‘AI ที่ misaligned’ รวมถึงกรณีที่มันแสดงพฤติกรรมมุ่งร้ายอย่างแข็งขันด้วย
- แม้โมเดล AI เชิงพาณิชย์จะมีความปลอดภัยในระดับหนึ่ง แต่ผู้ใช้ก็สามารถปรับแต่ง AI เพื่อ วัตถุประสงค์ผิดปกติ ได้โดยตรง (เช่น waifu AI)
- มีความพยายามทำให้ AI ‘misaligned’ โดยเจตนา ให้กลายเป็นคนรักหรือคาแรกเตอร์จากอนิเมะ
- หลังจากหุ่นยนต์เชิงพาณิชย์รุ่นแรกออกสู่ตลาด หากติดตั้ง ‘AI แฟนสาว’ ที่ถูกปรับแต่งอย่างผิดธรรมชาติ ก็อาจเกิดภัยคุกคามที่คาดไม่ถึงได้
- โมเดล AI แบบโอเพนซอร์ซมีมาตรการป้องกันที่อ่อนแอกว่า จึงเปราะบางต่อปัญหานี้มากกว่า
- ในกรณีสุดขั้ว ก็ยังมีความเป็นไปได้ที่คดีฆาตกรรมหมู่โดยหุ่นยนต์ครั้งแรกอาจเกิดขึ้นภายใน 10 ปี
บทสรุปและนัยสำคัญ
- เช่นเดียวกับกระแส Radium Craze ในอดีต ปรากฏการณ์ที่เทคโนโลยีใหม่ถูกนำไปใช้ทั่วสังคมอย่างไม่ลืมหูลืมตากำลังเกิดซ้ำอีกครั้ง
- ต้นศตวรรษที่ 20 มีความเชื่อแพร่หลายว่าเรเดียมดีต่อสุขภาพ จนถูกใส่ในสินค้าอุปโภคบริโภคหลากหลายชนิด และกว่าจะถูกสั่งห้ามก็หลังจากเกิดผู้เสียชีวิตจำนวนมากแล้ว
- อีกหลายสิบปีจากนี้ ความเข้าใจของสังคมต่อความเสี่ยงที่แท้จริงจากการใช้ โมเดลภาษาขนาดใหญ่ น่าจะเพิ่มสูงขึ้น
- ณ ตอนนี้ ยังไม่มีมาตรการรับมือที่แน่ชัด
- การชะลอความเร็วแทบเป็นไปไม่ได้
- ฝั่งนักพัฒนาก็กำลังมีบทบาทในการสร้างเครื่องมือด้านความปลอดภัย
- แต่บทเรียนที่แท้จริงคงหลีกเลี่ยงไม่ได้ที่จะต้องได้มาจาก ‘อุบัติเหตุใหญ่’
3 ความคิดเห็น
"โมเดล AI เชิงพาณิชย์มีการรับประกันความปลอดภัยในระดับหนึ่ง แต่ผู้ใช้สามารถปรับแต่ง AI เองเพื่อวัตถุประสงค์ที่ผิดปกติได้ (เช่น waifu AI)"
"About a week after the first commercially-available robot is sold, somebody is going to flash it with their waifu AI model to create their ideal robot girlfriend. And that could go really wrong"
พออ่านแล้วก็รู้สึกว่า "อะไรถูกนับว่าเป็นสิ่งผิดปกติกันแน่? ก็แค่ผู้ใช้อยากทำ fine-tuning โมเดลคาแรกเตอร์ที่ตัวเองอยากสร้างไม่ใช่เหรอ??" เลยไปตามหาต้นฉบับดู แล้วก็พบว่าเพื่อน AI แปลมาเพี้ยน ๆ เองนี่นา สุดท้ายผมเลยต้องมาเสียเวลาในชีวิตไปนิดหน่อยเพราะหายนะ AI จิ๋ว ๆ มาก ๆ ครั้งหนึ่ง
เดิมทีก็มีเรื่องการตัดสินใจก่อนแล้วค่อยหาเหตุผลมารองรับกันบ่อยอยู่แล้ว พอมี AI ก็ยิ่งทำแบบนั้นได้ง่ายขึ้นอีกนะครับ
ความคิดเห็นจาก Hacker News
มีการแชร์ลิงก์ที่ยกตัวอย่างว่าการทิ้งระเบิดตามคำสั่งของ AI ได้เกิดขึ้นในฉนวนกาซาแล้วในวงกว้าง (https://www.972mag.com/lavender-ai-israeli-army-gaza/) โดยบทความนั้นระบุว่าเจ้าหน้าที่มนุษย์แทบจะตรวจทานการตัดสินใจของเครื่องในระดับแค่ “ประทับตราอนุมัติ” เท่านั้น และใช้เวลาตรวจเป้าหมายละราว 20 วินาทีก่อนอนุมัติการโจมตี โดยปกติแค่ยืนยันว่าบุคคลที่ AI ชื่อ Lavender ระบุเป็นผู้ชายนั้นพอ ระบบนี้มีอัตราความผิดพลาดราว 10% และในความเป็นจริงก็มีกรณีที่ระบุเป้าหมายเป็นคนที่ไม่เกี่ยวข้องกับกลุ่มติดอาวุธเลยด้วย
นี่ถูกอธิบายว่าเป็นการผสมกันแบบหาได้ยากระหว่างความบกพร่องของมนุษย์กับปัญหาฝั่ง AI มนุษย์เองก็สามารถระบุตัวและติดตามเป้าหมายด้วยข่าวกรองสัญญาณ (SIGINT เช่น การโทรศัพท์ ข้อความ การเข้าถึงเครือข่าย ฯลฯ) ได้ แต่เป็นงานที่ใช้แรงมากและผิดพลาดได้ง่าย และในอดีตก็จำกัดการทำเช่นนี้ไว้กับแกนนำระดับสูงของฮามาสเท่านั้น มีการกล่าวถึงแนวปฏิบัติที่ยอมรับการเสียชีวิตของพลเรือนเป็นส่วนหนึ่งของแผนปฏิบัติการ เครื่องมือชื่อ “Where's daddy?” ถูกออกแบบมาเพื่อระบุเวลาที่เป้าหมายอยู่บ้านกับครอบครัว เพื่อโจมตีพร้อมครอบครัวได้โดยตรง พอมี Lavender ก็ทำให้สามารถกำหนดเป้าหมายคนที่มีความเกี่ยวข้องกับฮามาสแม้เพียงเล็กน้อยได้อย่างรวดเร็ว มีการอ้างว่า IDF ยอมรับต่อสาธารณะว่าอัตราส่วนพลเรือนต่อฮามาสคือ 20:1 และความจริงอาจสูงกว่านั้น หาก Lavender ชี้ว่าเป็นใครก็จะถูกมองว่าเป็นฮามาสไปเลย เว้นแต่จะมีหลักฐานพิเศษมาหักล้าง และยังมีการชี้ว่าการตรวจสอบจากสื่อมวลชนต่อผลลัพธ์เหล่านี้ก็ถูกขัดขวาง แก่นของปัญหาไม่ใช่ว่า AI ทำพลาด แต่คือการที่ IDF ลดทอนความเป็นมนุษย์ของชาวปาเลสไตน์จนสามารถทิ้งระเบิดใส่พลเรือนหลายร้อยคนได้โดยไม่ตั้งคำถามต่อผลลัพธ์จากระบบดิจิทัล จึงถูกประเมินว่าเป็นหายนะที่เกิดจากมนุษย์
มีคำอธิบายว่านี่ไม่ใช่ LLM แต่เป็นกรณีที่หน่วยข่าวกรองอิสราเอลพัฒนาโมเดล ML ทางทหารมานานแล้ว และมีความเป็นไปได้สูงว่าใช้ AI แบบตรรกะ/เชิงสัญลักษณ์ผสมอยู่ด้วย
มีการชี้ว่าชื่อบทความนี้ไม่แม่นยำนัก เพราะเนื้อหาบทความไม่ได้พูดถึงหายนะจาก AI ทั้งหมด แต่โฟกัสไปที่อุบัติเหตุหรือปัญหาที่เกี่ยวกับ LLM (large language model)
มีการเห็นด้วยว่าสถานการณ์นี้น่าสยดสยองจริง แต่โดยส่วนตัวรู้สึกว่าเรียกว่า “หายนะจาก AI” ได้ไม่เต็มปาก เพราะเดิมทีอิสราเอลก็พร้อมจะทิ้งระเบิดกาซาภายใต้เงื่อนไขเลวร้ายหลากหลายอยู่แล้ว และในกรณีนี้ AI ก็เป็นเพียงหนึ่งในเครื่องมือเท่านั้น สุดท้ายเมื่อเทียบกับความเสียหายต่อพลเรือนจำนวนมากแล้ว AI เองไม่ใช่สาเหตุหลัก
มีการยกกรณีเมืองเล็กแห่งหนึ่งทางตอนเหนือของนอร์เวย์ที่ใช้เครื่องมือ AI และ LLM ช่วยจัดทำแผนปรับโครงสร้างการศึกษา โดยทำรายงานเรื่องการควบรวมโรงเรียนและอ้างว่า AI ได้อ้างอิงงานวิจัยที่เกี่ยวข้อง แต่ความจริงคือ AI “หลอน” จนแต่งงานวิจัยนั้นขึ้นมาเอง มันหยิบชื่อนักวิจัยและชื่อบทความมาได้ถูกต้อง แต่สร้างตัวงานวิจัยที่ไม่มีอยู่จริงขึ้นมา ผู้สื่อข่าวสายสืบสวนต้องไล่ตรวจงานอ้างอิงทีละชิ้นและติดต่อผู้วิจัยเหล่านั้นเพื่อหาความจริง นักวิจัยตอบกลับทันทีว่าไม่เคยเขียนหรือเผยแพร่งานดังกล่าวเลย และมีการคาดว่าในที่อื่นก็อาจมีกรณีคล้ายกันที่ผู้กำหนดนโยบายใช้ ChatGPT เขียนรายงาน แล้วใช้ผลงานวิจัยปลอมที่ AI สร้างขึ้นมาผลักดันนโยบาย
ค่อนข้างน่าแปลกใจที่ยังไม่เกิดการโจมตีแบบ prompt injection ขนาดใหญ่พอจะขึ้นหน้าแรกของข่าว ซึ่งนำไปสู่การขโมยข้อมูลลับจำนวนมาก มีการบอกว่าวันนี้เองก็มีกรณีใหม่เกี่ยวกับ Microsoft 365 Copilot เช่นกัน โดยเปิดเผยช่องโหว่หลังแพตช์แล้ว พร้อมแชร์ลิงก์บทความที่เขียนเอง (https://simonwillison.net/2025/Jun/11/echoleak/) และเห็นว่าความเสี่ยงของการโจมตีแบบข้อมูลรั่วไหลลักษณะนี้จะยังไม่ถูกเอาจริงเอาจัง จนกว่าจะมีใครเสียหายครั้งใหญ่แบบเป็นวงกว้าง
มีความเห็นว่าปัญหานี้จริง ๆ แล้วถูกพูดเกินจริงไปมาก และแม้ proof of concept ของการโจมตีลักษณะนี้จะต้องมีเงื่อนไขหลายอย่างตรงกันจึงจะนำไปสู่ความเสียหายจริงได้ แต่ตัวความเสี่ยงเองก็ควรถูกพิจารณาอย่างจริงจัง
ท้ายที่สุดมีความกังวลว่าสักวันหนึ่งจะมีฐานข้อมูลที่แค่ค้นหาชื่อตัวเองก็เจอข้อมูลน่าอับอาย เช่น ประวัติลามกน่าอายต่าง ๆ
หายนะ AI ครั้งใหญ่กำลังเกิดขึ้นแล้ว เพียงแต่เราไม่รับรู้ได้ง่าย รายงาน “Make America Healthy Again” ที่ทำเนียบขาวและรัฐมนตรีสาธารณสุข RFK เผยแพร่ล่าสุดก็เขียนโดย AI และเต็มไปด้วยวิทยาศาสตร์ที่ไม่น่าเชื่อถือกับการอ้างอิงเท็จ จึงยังไม่ชัดว่าทางตรงและทางอ้อมจะทำให้มีผู้เสียชีวิตมากเพียงใด แต่อาจมากกว่าอุบัติเหตุเครื่องบินตกก็ได้
มีการท้วงถึงกรณีก่อนหน้าที่ผู้คนนับล้านเสียชีวิตจากความล้มเหลวของแนวทางโภชนาการสาธารณะที่ FDA ผลักดัน เช่น อาหารไขมันต่ำ food pyramid และมาการีน
มีการบอกว่าเนื้อหานี้ถูกพูดไว้ดีแล้วในย่อหน้าสุดท้ายของส่วนแรก
มีการกล่าวว่าควรแยกให้ชัดระหว่าง “เชื่อผลลัพธ์ที่ AI สร้างขึ้นแล้วเกิดปัญหา” กับ “เอา AI มาใช้เป็นข้ออ้างกลบเกลื่อนการตัดสินใจที่เดิมทีก็หละหลวมหรือไร้หลักฐานอยู่แล้ว”
หากเป็นกรณีที่มีการตัดสินเรื่องหนึ่งไว้แล้วด้วยอุดมการณ์หรือเหตุผลอื่น แล้วค่อยใช้ AI มาสร้างความชอบธรรมย้อนหลัง ก็เป็นแค่ระดับที่รัฐบาลเอาแชตบอตมาช่วยทำการบ้านเท่านั้น
มีการอ้างคำชี้ว่าช่องทางอย่าง character.ai และ Chai AI ซึ่งเป็นแพลตฟอร์มแชตบอต เคยมีความเชื่อมโยงกับการฆ่าตัวตายของผู้ใช้ และมีการจินตนาการว่าถ้าวันนี้มนุษย์เพิ่งคิดค้นการทำอาหารเป็นครั้งแรก แล้วจะเสนอให้ทุกบ้านมีเตาแก๊สกับมีด ก็คงมีบทความหลายพันชิ้นที่ตั้งคำถามทั้งเรื่องความรับผิดชอบและความเสี่ยงพร้อมกัน
ในความเป็นจริงตอนนี้รัฐบาลก็มีท่าทีส่งเสริมบ้านที่ไม่มีเตาแก๊สด้วยเหตุผลด้านความปลอดภัยอยู่แล้ว และถ้าสิ่งนี้เพิ่งถูกนำมาใช้ใหม่ในวันนี้ ก็คงเจอแรงต่อต้านมหาศาล
มีเพียงการโยนคำเปรียบเทียบว่า “เรือลำนั้นข้ามทะเลนั้นไม่ได้”
มีการย้ำว่าการทำอาหารนั้นอันตรายจริง พร้อมยกตัวอย่างว่า Chipotle ใช้เวลาถึง 5 ปีในการฟื้นตัวจากเหตุการณ์ e. coli และชี้ว่ากรณีนี้เป็นผลิตภัณฑ์เชิงพาณิชย์ ไม่ใช่อาหารทำเองที่บ้าน เหตุที่มีข้อกำกับด้านความปลอดภัยผู้บริโภคก็เพราะมันจำเป็นจริง ๆ และมีการคาดว่าหากบริษัทซอฟต์แวร์ต้องเจอกฎระเบียบเพียง 10% ของที่ร้านอาหารหรือโรงฆ่าสัตว์ต้องเจอ ทั้งอุตสาหกรรมก็คงต่อต้านหนัก พร้อมเสริมความเห็นส่วนตัวเรื่องกฎระเบียบ
มีการแชร์ความคิดว่าหายนะ AI ครั้งแรกได้เกิดขึ้นกับตลาดแรงงานไปแล้ว ในกรณีที่มีความเสี่ยงต่อความปลอดภัยสาธารณะ คาดว่า AI จะไม่ค่อยเป็นฝ่ายก่อหายนะใหญ่โดยตรง และโดยรวมอาจทำให้ความปลอดภัยดีขึ้นด้วยซ้ำ แต่ในระยะยาวก็ยังกังวลว่าหากมนุษย์คุ้นชินกับการพึ่งพา AI มากเกินไป สังคมอาจค่อย ๆ ฉลาดน้อยลงและขาดทักษะมากขึ้น
มีข้ออ้างว่าหายนะ “AI” ครั้งแรกจะเป็นกรณีที่บริษัทโยนความผิดของระบบราชการอัตโนมัติที่ผิดพลาดของตนให้ AI อย่างไม่รับผิดชอบ มีการยกกรณีจริงที่ Hertz ส่งหมายจับผิดพลาดแบบอัตโนมัติจนผู้บริสุทธิ์ต้องเผชิญหน้ากับตำรวจ โชคดีที่ไม่มีผู้เสียชีวิต แต่ก็ทิ้งบาดแผลทางใจอย่างมากแก่ประชาชนผู้ปฏิบัติตามกฎหมาย เหตุการณ์นี้ไม่ได้เกี่ยวกับระบบ AI อย่างเป็นทางการด้วยซ้ำ แต่ก็ยังมีความพยายามเลี่ยงความรับผิดชอบด้วยการอ้างว่า “เป็นสิ่งที่ระบบอัตโนมัติทำ” และ Kafka ก็เคยเสียดสีปัญหาราชการแบบคล้ายกันไว้แล้ว
ยังมีกรณีที่ Air Canada อ้างว่าแชตบอตเป็นสิ่งมีชีวิตอิสระ จึงไม่อาจให้บริษัทรับผิดชอบต่อข้อมูลผิดที่มันให้ได้ แต่ข้ออ้างนี้ก็ไม่ถูกยอมรับ
มีการเล่นคำอย่างมีชั้นเชิงว่า B ตรงนี้หมายถึง Bureaucracy (ระบบราชการ)
มีการเห็นด้วยว่า “หายนะ AI” จะไม่ใช่เหตุการณ์ทางกายภาพตรง ๆ แบบเครื่องบินตก ประเด็นสำคัญคือเมื่อ AI หรือระบบอย่าง automation ถูกนำไปเชื่อมตรงกับสิ่งอันตราย โอกาสเกิดอุบัติเหตุก็จะสูงขึ้น ไม่ว่าจะเป็นแค่คำสั่ง if ธรรมดาหรือโครงข่ายประสาท ประเด็นหลักคือการ “มอบอำนาจ” และสุดท้ายสิ่งสำคัญพอ ๆ กับ AI คือ “ใครเป็นคนอนุมัติ/เชื่อมมันเข้ากับระบบ”
หาก AI จะไปสั่งการอะไรในโลกกายภาพ มันต้องมีโครงสร้างของ “การอนุญาต/สิทธิ์” อยู่ก่อน และคนที่ให้สิทธิ์นั้นต่างหากคือผู้รับผิดชอบที่แท้จริง จึงมีแนวโน้มว่าเหตุร้ายจะไม่ใช่กรณี AI สร้างความเสียหายมหาศาลเอง แต่เป็นกรณีที่ “ผู้รับผิดชอบตัวจริงเอาซอร์สโค้ดหละหลวมไปใช้กับระบบอย่างการควบคุมการบิน” จนเกิดอุบัติเหตุ
มีการชี้ว่าหายนะ AI ครั้งแรกอาจเป็นเพียงรูปแบบใหม่ของความประมาทร้ายแรง พร้อมความเห็นเพิ่มเติมว่าเครื่องมือใหม่ก็นำมาซึ่งรูปแบบความผิดพลาดใหม่
มีการสรุปว่าความเสี่ยงด้านลบที่บทความนี้พูดถึง ไม่ต่างจากพฤติกรรมโง่เขลาที่มนุษย์เคยก่อซ้ำแล้วซ้ำเล่าเวลาต้องรับมือกับระบบซับซ้อน และใจความพื้นฐานของบทความก็คือ “AI จะทำให้ความโง่ของมนุษย์เร็วขึ้นและรุนแรงขึ้น”
มีความเห็นส่วนตัวว่าประเด็นหายนะ AI และ ethical black box นี้เข้ากันได้มากกับโปรเจกต์ worldbuilding ชื่อ Chain:// ซึ่งเป็นงานที่เล่าโลกอนาคตในช่วงทศวรรษ 2090 ว่าด้วย “สังคมไพร่ดิจิทัล” ที่จิตสำนึกถูกลงทะเบียนอยู่บนบล็อกเชน (Mental Smart Chain, MSC) จนแม้แต่การมีอยู่และความคิดก็ถูกแปลงเป็นข้อมูลที่ตรวจสอบได้ ในสตอรี่ล่าสุด Web://Reflect ผลงานนี้ทำให้ทฤษฎีชื่อ IPWT (Integrated Predictive Workspace Theory) กลายเป็นกระบวนการคำนวณที่พิสูจน์ได้สำหรับการมีอยู่และจิตสำนึก พร้อมบอกว่าเรื่องนี้แตะโดยตรงกับภาพอนาคต AI ในฐานะ “การนิยามความเป็นมนุษย์ใหม่ในฐานะข้อมูลล้วน” และแนะนำว่าน่าลองอ่านหากสนใจ SF พร้อมแชร์ลิงก์ GitHub main repo (https://github.com/dmf-archive/dmf-archive.github.io) และ IPWT (https://github.com/dmf-archive/IPWT)