‘Lavender’: เครื่องจักร AI ของอิสราเอลที่กำกับการทิ้งระเบิดในฉนวนกาซา

 (972mag.com)
1 คะแนน โดย GN⁺ 2024-04-04 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • จากการสืบสวนของ +972 Magazine และ Local Call กองทัพอิสราเอลใช้ Lavender ในช่วงต้นของสงครามกาซาเพื่อระบุชาวปาเลสไตน์หลายหมื่นคนเป็นเป้าหมายลอบสังหาร และเจ้าหน้าที่ข่าวกรองปฏิบัติต่อผลลัพธ์นั้นแทบไม่ต่างจากการตัดสินของมนุษย์
  • Lavender ให้คะแนนบุคคลที่สงสัยว่าเป็นสมาชิกองค์กรทหารของ Hamas และ Palestinian Islamic Jihad และมีคำให้การว่าในช่วงไม่กี่สัปดาห์แรกของสงคราม มีผู้ถูกระบุว่าเป็นนักรบต้องสงสัยราว 37,000 คน
  • แหล่งข่าวข่าวกรองหลายรายระบุว่า เจ้าหน้าที่ไม่ได้ตรวจสอบเป้าหมายอย่างเป็นอิสระ โดยปกติใช้เวลาเพียง 20 วินาที เพื่อตรวจยืนยันว่าเป็นผู้ชายหรือไม่ และแม้จะรู้กันภายในว่ามีข้อผิดพลาดราว 10% ก็ไม่ได้มีนโยบาย “ไร้ข้อผิดพลาด”
  • มีคำให้การว่า ระบบอัตโนมัติอย่าง Where’s Daddy? ถูกใช้เพื่อติดตามเป้าหมาย และเมื่อเป้าหมายกลับเข้าที่พักของครอบครัวก็จะถูกกำหนดเป็นเป้าหมายทิ้งระเบิด โดยสำหรับเป้าหมายระดับล่างมักเลือกใช้ ระเบิดไม่นำวิถี (dumb bomb) มากกว่าขีปนาวุธนำวิถีแม่นยำ
  • กองทัพอิสราเอลปฏิเสธข้อกล่าวหาว่า AI เป็นผู้ “ตั้งข้อกล่าวหา” เป้าหมาย โดยยืนยันว่ามีการวิเคราะห์ข่าวกรองอย่างเป็นอิสระและปฏิบัติตามกฎหมายระหว่างประเทศ แต่แหล่งข่าวมองว่าระดับการยอมรับความเสียหายต่อพลเรือน การคำนวณความเสียหายข้างเคียงแบบอัตโนมัติ และการไม่มีการตรวจสอบแบบเรียลไทม์ นำไปสู่การเสียชีวิตของพลเรือนจำนวนมาก

การสร้างเป้าหมายที่ Lavender รับผิดชอบ

  • The Human-Machine Team ซึ่งตีพิมพ์เป็นภาษาอังกฤษในปี 2021 วาดภาพ “เครื่องจักร” ที่ประมวลผลข้อมูลมหาศาลอย่างรวดเร็วระหว่างสงครามเพื่อสร้างรายชื่อผู้สมัครเป้าหมายทางทหารหลายพันรายการ
    • ผู้เขียนใช้นามปากกา “Brigadier General Y.S.” และ +972 กับ Local Call ระบุว่าพวกเขายืนยันได้ว่าเขาคือผู้บัญชาการคนปัจจุบันของหน่วยข่าวกรองอิสราเอล Unit 8200
    • หนังสือเสนอให้ผสาน AI กับมนุษย์เพื่อแก้ คอขวดของมนุษย์ ในกระบวนการค้นหาเป้าหมายใหม่และตัดสินใจอนุมัติเป้าหมาย
  • จากการสืบสวน กองทัพอิสราเอลได้พัฒนาโปรแกรมที่ใช้ AI ชื่อ Lavender จริง และเจ้าหน้าที่ข่าวกรองอิสราเอล 6 คนที่เกี่ยวข้องโดยตรงกับการสร้างเป้าหมายลอบสังหารด้วย AI ระหว่างสงครามกาซาให้การยืนยันเรื่องนี้
  • ระบบนี้ถูกออกแบบอย่างเป็นทางการให้ระบุสมาชิกต้องสงสัยขององค์กรทหาร Hamas และ Palestinian Islamic Jihad โดยเฉพาะแม้แต่ สมาชิกระดับล่าง ให้เป็นเป้าหมายทิ้งระเบิดที่เป็นไปได้
  • แหล่งข่าวระบุว่า ในช่วงไม่กี่สัปดาห์แรกของสงคราม กองทัพพึ่งพา Lavender แทบทั้งหมด และมี ชาวปาเลสไตน์ราว 37,000 คนพร้อมที่พักของพวกเขา ถูกระบุเป็นผู้สมัครเป้าหมายโจมตีทางอากาศ
  • โฆษกกองทัพอิสราเอลปฏิเสธการมีอยู่ของ kill list ดังกล่าวในคำตอบที่ส่งให้ +972 และ Local Call

การขยายขอบเขตของ “เป้าหมายมนุษย์”

  • ในอดีตของกองทัพอิสราเอล “human target” ตามกฎของฝ่ายกฎหมายระหว่างประเทศของกองทัพ หมายถึง บุคลากรทางทหารระดับสูง ที่สามารถถูกสังหารในที่พักส่วนตัวได้ แม้จะมีพลเรือนอยู่รอบข้าง
  • หลังจากกลุ่มติดอาวุธที่นำโดย Hamas โจมตีพื้นที่ทางตอนใต้ของอิสราเอลเมื่อวันที่ 7 ตุลาคม สังหารผู้คนราว 1,200 คน และลักพาตัว 240 คน แหล่งข่าวระบุว่ากองทัพอิสราเอลได้กำหนดสมาชิกทั้งหมดขององค์กรทหาร Hamas ใน “Operation Iron Swords” ให้เป็น human target โดยไม่คำนึงถึงยศหรือความสำคัญทางทหาร
  • ในอดีต การอนุมัติการลอบสังหาร human target หนึ่งรายต้องให้เจ้าหน้าที่ผ่านกระบวนการ ตั้งข้อกล่าวหา (incrimination) ที่ซับซ้อนและยาวนาน
    • ตรวจสอบไขว้หลักฐานว่าเป้าหมายเป็นสมาชิกระดับสูงขององค์กรทหาร Hamas หรือไม่
    • ระบุที่พักและช่องทางติดต่อ
    • ต้องรู้แบบเรียลไทม์ว่าเป้าหมายอยู่ที่บ้านเมื่อใด
  • เมื่อรายชื่อเป้าหมายขยายจากเจ้าหน้าที่ระดับสูงไม่กี่สิบคนเป็นเจ้าหน้าที่ระดับล่างหลายหมื่นคน แหล่งข่าวอธิบายว่างานข่าวกรองจึงพึ่งพาซอฟต์แวร์อัตโนมัติและ AI อย่างมาก
  • นายทหารระดับสูงคนหนึ่งกล่าวว่า การทำให้สามารถโจมตีเจ้าหน้าที่ระดับล่างได้โดยอัตโนมัติคือ “Holy Grail” และเมื่อเปลี่ยนไปสู่ระบบอัตโนมัติ การสร้างเป้าหมายจะพุ่งสูงขึ้นอย่างมาก

วิธีทำงานและข้อมูลของ Lavender

  • Lavender วิเคราะห์ข้อมูลที่รวบรวมจากระบบเฝ้าระวังขนาดใหญ่เกี่ยวกับประชากรส่วนใหญ่ของฉนวนกาซา 2.3 ล้านคน และประเมินความเป็นไปได้ที่แต่ละบุคคลจะทำงานในองค์กรทหาร Hamas หรือ PIJ เป็นคะแนน 1–100
  • ระบบรับข้อมูลของสมาชิก Hamas และ PIJ ที่เป็นที่รู้จักเป็นข้อมูลฝึก สอนให้เรียนรู้คุณลักษณะ หรือ features ของพวกเขา แล้วค้นหาคุณลักษณะที่คล้ายกันในประชากรทั่วไป
  • หนังสือ The Human-Machine Team มีคำแนะนำสั้น ๆ สำหรับสร้าง “target machine” ที่ใช้ AI และมีตัวอย่างคุณลักษณะที่อาจเพิ่มคะแนนของบุคคลหนึ่งได้
    • อยู่ในกลุ่ม Whatsapp เดียวกับนักรบที่เป็นที่รู้จัก
    • เปลี่ยนโทรศัพท์มือถือทุกไม่กี่เดือน
    • เปลี่ยนที่อยู่บ่อย
  • “Col. Yoav” ผู้บัญชาการศูนย์ Data Science and AI ของ Unit 8200 อธิบายเครื่องจักรเป้าหมายที่ตรวจจับ “บุคคลอันตราย” จากความคล้ายคลึงกับรายชื่อนักรบที่มีอยู่ ในการบรรยายแบบไม่เปิดเผยต่อสาธารณะในงาน Tel Aviv University AI week ปี 2023
    • เขากล่าวว่าในปฏิบัติการทางทหารที่กาซาเมื่อเดือนพฤษภาคม 2021 ระบบนี้ช่วยระบุผู้บัญชาการหน่วยขีปนาวุธของ Hamas ได้
    • สไลด์การบรรยายแสดงโครงสร้างที่ป้อนข้อมูลเจ้าหน้าที่ Hamas ที่มีอยู่ เรียนรู้คุณลักษณะ แล้วให้คะแนนชาวปาเลสไตน์คนอื่นตามความคล้ายคลึง
  • “Col. Yoav” เน้นว่าการตัดสินใจขั้นสุดท้ายเป็นของมนุษย์ แต่แหล่งข่าวที่ใช้ Lavender ล่าสุดกล่าวว่าในทางปฏิบัติ การใช้วิจารณญาณอย่างละเอียดของมนุษย์ ถูกแทนที่ด้วยการสร้างเป้าหมายจำนวนมากและความรุนแรงถึงชีวิต

ขั้นตอนอนุมัติและการยอมรับข้อผิดพลาด

  • ตามข้อมูลจากแหล่งข่าว การรับรายชื่อเป้าหมายของ Lavender โดยอัตโนมัติได้รับอนุมัติหลังสงครามผ่านไปราว 2 สัปดาห์
    • เจ้าหน้าที่ข่าวกรองตรวจตัวอย่างหลายร้อยรายการที่ AI เลือกด้วยมือ
    • ประเมินว่าในตัวอย่างดังกล่าว Lavender ระบุความเกี่ยวข้องกับ Hamas ได้แม่นยำถึง 90%
    • หลังจากนั้น เมื่อ Lavender ตัดสินว่าบุคคลใดเป็นนักรบ Hamas เจ้าหน้าที่กล่าวว่าพวกเขาปฏิบัติต่อสิ่งนั้นแทบเสมือนคำสั่ง โดยไม่จำเป็นต้องตรวจสอบข้อมูลดิบหรือเหตุผลของการตัดสินอย่างเป็นอิสระ
  • นายทหารระดับสูงคนหนึ่งกล่าวว่า จากการตรวจสอบภายใน การคำนวณของ Lavender ถูกมองว่าแม่นยำเพียง 90% ซึ่งหมายความว่า 10% ของเป้าหมายลอบสังหารอาจไม่ใช่สมาชิกองค์กรทหาร Hamas
  • แหล่งข่าวอธิบายว่า Lavender อาจระบุบุคคลผิดพลาดหากมีรูปแบบการสื่อสารคล้ายกับสมาชิก Hamas หรือ PIJ ที่เป็นที่รู้จัก
    • ตำรวจและเจ้าหน้าที่ป้องกันภัยพลเรือน
    • ญาติของนักรบ
    • ชาวบ้านที่มีชื่อหรือชื่อเล่นเหมือนกับเจ้าหน้าที่จริง
    • ชาวกาซาที่ใช้อุปกรณ์ซึ่งอดีตเจ้าหน้าที่ Hamas เคยใช้
  • แหล่งข่าวคนหนึ่งกล่าวว่าไม่มี “นโยบายไร้ข้อผิดพลาด” และข้อผิดพลาดถูก扱ายในเชิง สถิติ
  • แหล่งข่าวข่าวกรองอีกคนอธิบายว่า สำหรับเป้าหมายนักรบระดับล่าง ถือว่าไม่คุ้มที่จะใช้เวลาของเจ้าหน้าที่ข่าวกรองไปตรวจสอบ จึงยอมรับช่วงความผิดพลาดจากการใช้ AI และความเสี่ยงที่พลเรือนจะเสียชีวิต

การตรวจสอบโดยมนุษย์จำกัดอยู่ที่การยืนยันว่าเป็นผู้ชาย

  • กองทัพอิสราเอลปฏิเสธข้อกล่าวหาว่าใช้ AI ในการตั้งข้อกล่าวหาเป้าหมาย และตอบว่าเครื่องมือเหล่านี้เป็นเพียง เครื่องมือช่วย ในกระบวนการตั้งข้อกล่าวหา
  • คำตอบของกองทัพระบุว่า ไม่ว่ากรณีใดก็ตามจำเป็นต้องมีการทบทวนอย่างอิสระโดยนักวิเคราะห์ข่าวกรอง และต้องตรวจสอบว่าเป้าหมายที่ระบุเป็นเป้าหมายที่ชอบด้วยกฎหมายตามแนวทางของกองทัพและกฎหมายระหว่างประเทศหรือไม่
  • อย่างไรก็ตาม แหล่งข่าวกล่าวว่า ก่อนทิ้งระเบิดบ้านของนักรบต้องสงสัยระดับล่างที่ Lavender ระบุไว้ ขั้นตอนกำกับดูแลโดยมนุษย์จริง ๆ ใกล้เคียงกับการตรวจสอบเพียงอย่างเดียว
    • ตรวจว่าเป้าหมายที่ AI เลือกเป็น ผู้หญิงหรือผู้ชาย
    • ภายในกองทัพมีสมมติฐานว่าองค์กรทหาร Hamas และ PIJ ไม่มีผู้หญิง ดังนั้นหากเป้าหมายเป็นผู้หญิงก็มีแนวโน้มสูงว่าเป็นความผิดพลาดของเครื่องจักร
  • นายทหารระดับสูงคนหนึ่งกล่าวว่าโดยปกติใช้เวลาประมาณ 20 วินาที ต่อเป้าหมายหนึ่งราย และคุณค่าเพิ่มในฐานะมนุษย์เพียงอย่างเดียวของเขาคือการตรวจว่าเป็นเสียงผู้ชายหรือไม่
  • แหล่งข่าวชี้ว่า ในวิธีนี้ไม่มีกลไกกำกับดูแลที่จะจับข้อผิดพลาดได้เมื่อ Lavender ระบุชายพลเรือนผิดพลาด

Where’s Daddy? และการติดตามที่พักของครอบครัว

  • ขั้นตอนถัดไปคือการตัดสินใจว่าจะโจมตีเป้าหมายที่ Lavender สร้างขึ้นที่ใด
  • กองทัพอิสราเอลอ้างว่า Hamas วางเจ้าหน้าที่และทรัพยากรทางทหารไว้กลางพื้นที่ประชากรพลเรือน และทำการสู้รบภายในโครงสร้างพลเรือน เช่น โรงพยาบาล มัสยิด โรงเรียน และสถานที่ของ UN
  • แหล่งข่าวทั้งหกรายก็ยอมรับในระดับหนึ่งว่าเครือข่ายอุโมงค์ของ Hamas ผ่านใต้โรงพยาบาลและโรงเรียน นักรบใช้รถพยาบาล และทรัพยากรทางทหารถูกวางไว้ใกล้อาคารพลเรือน
  • ขณะเดียวกัน แหล่งข่าวกล่าวว่า หนึ่งในเหตุผลหลักที่ยอดผู้เสียชีวิตจากการทิ้งระเบิดครั้งนี้เพิ่มขึ้นอย่างไม่เคยมีมาก่อน คือกองทัพโจมตีเป้าหมายอย่างเป็นระบบเมื่อพวกเขาอยู่กับครอบครัวใน ที่พักส่วนตัว
  • มีการระบุว่าซอฟต์แวร์ติดตามอัตโนมัติติดตามคนหลายพันคนพร้อมกัน และส่งการแจ้งเตือนอัตโนมัติไปยังเจ้าหน้าที่ผู้รับผิดชอบเป้าหมายเมื่อเป้าหมายกลับเข้าบ้าน
    • หนึ่งในนั้นคือ Where’s Daddy? ซึ่งเพิ่งถูกเปิดเผยต่อสาธารณะเป็นครั้งแรก
    • แหล่งข่าวคนหนึ่งเรียกสิ่งนี้ว่า “broad hunting” โดยอธิบายว่าเป็นวิธีคัดลอกรายชื่อที่ระบบเป้าหมายสร้างขึ้นใส่เข้าไป แล้วรอว่าใครสามารถถูกสังหารได้
  • ตามตัวเลขของ UN ในเดือนแรกของสงคราม ผู้เสียชีวิตมากกว่าครึ่งหนึ่งคือ 6,120 คน อยู่ใน 1,340 ครอบครัว และหลายครอบครัวถูกกวาดล้างหมดทั้งบ้าน
  • มีคำให้การว่า เมื่อใส่ชื่อจากรายชื่อ Lavender เข้าไปใน Where’s Daddy? บุคคลนั้นจะถูกเฝ้าระวังอย่างต่อเนื่อง และทันทีที่กลับเข้าบ้าน บ้านทั้งหลังอาจกลายเป็นเป้าหมายโจมตีจนถล่มลงมา

การเลือกอาวุธและระเบิดไม่นำวิถี

  • เมื่อ Lavender ระบุเป้าหมายลอบสังหาร เจ้าหน้าที่ทหารตรวจว่าเป็นผู้ชายหรือไม่ และซอฟต์แวร์ติดตามจับตำแหน่งภายในที่พักได้ ขั้นตอนถัดไปคือการเลือกระเบิด
  • CNN รายงานเมื่อเดือนธันวาคม 2023 โดยอ้างการประเมินข่าวกรองของสหรัฐฯ ว่าประมาณ 45% ของอาวุธที่กองทัพอากาศอิสราเอลใช้ในกาซาเป็น ระเบิดไม่นำวิถี (dumb bomb) ที่ไม่มีระบบนำทาง
  • แหล่งข่าวข่าวกรองสามรายกล่าวว่า ในการลอบสังหารเจ้าหน้าที่ระดับล่างที่ Lavender ระบุ มีการใช้เฉพาะระเบิดไม่นำวิถีเพื่อประหยัดอาวุธแม่นยำที่มีราคาแพงกว่า
  • แหล่งข่าวคนหนึ่งอธิบายว่า หากเป้าหมายระดับล่างอาศัยอยู่ในอาคารสูง ก็จะไม่โจมตีเพราะไม่อยากใช้ “floor bomb” ที่แม่นยำและแพงกว่า แต่ถ้าอาศัยอยู่ในอาคารไม่กี่ชั้น การโจมตีด้วยระเบิดไม่นำวิถีที่สังหารคนอื่นในอาคารไปด้วยจะได้รับการอนุมัติ
  • แหล่งข่าวอีกรายกล่าวว่าเพราะระบบนี้ เป้าหมายไม่มีวันหมด และหากการโจมตีหนึ่งถูกยกเลิก ก็จะขยับไปยังเป้าหมายถัดไปทันที

ระดับการยอมรับการเสียชีวิตของพลเรือน

  • ตามข้อมูลจากแหล่งข่าว ในช่วงไม่กี่สัปดาห์แรกของสงคราม จำนวนพลเรือนที่ยอมรับได้ว่าจะเสียชีวิตต่อหนึ่งนักรบระดับล่างที่ระบบ AI ระบุ ถูกกำหนดคงที่ไว้ที่ 15 หรือ 20 คน
  • “collateral damage degree” นี้ถูกนำไปใช้ในวงกว้างกับนักรบต้องสงสัยระดับล่างทั้งหมด โดยไม่คำนึงถึงยศ ความสำคัญทางทหาร หรืออายุ และไม่ได้เปรียบเทียบผลประโยชน์ทางทหารกับความเสียหายต่อพลเรือนที่คาดไว้เป็นรายกรณี
  • เจ้าหน้าที่ห้องปฏิบัติการเป้าหมายคนหนึ่งกล่าวว่า ฝ่ายกฎหมายระหว่างประเทศของกองทัพไม่เคย อนุมัติแบบครอบคลุม ความเสียหายข้างเคียงระดับนี้มาก่อน
  • เขากล่าวว่า ผู้ที่เคยสวมเครื่องแบบ Hamas ในช่วง 1–2 ปีที่ผ่านมาอาจถูกทิ้งระเบิดพร้อมความเสียหายข้างเคียงต่อพลเรือน 20 คนได้โดยไม่ต้องขออนุญาตพิเศษ และในทางปฏิบัติ หลักความได้สัดส่วนไม่มีอยู่
  • แหล่งข่าวระดับสูงอีกคนอธิบายว่า ในสัปดาห์แรกของสงครามแทบไม่ได้คำนึงถึงความเสียหายข้างเคียง จากนั้นข้อจำกัดถูกลดลงแล้วกลับเพิ่มขึ้นอีกครั้ง

เป้าหมายผู้บัญชาการระดับสูงและความเสียหายต่อพลเรือนที่มากขึ้น

  • แหล่งข่าวกล่าวว่า ปัจจุบันกองทัพไม่ได้ใช้วิธีสร้าง human target ระดับล่างจำนวนมากในที่พักพลเรือนแล้วทิ้งระเบิดอีกต่อไป
    • บางคนระบุว่าแรงกดดันจากสหรัฐฯ มีผล
    • เมื่อบ้านจำนวนมากในฉนวนกาซาถูกทำลายหรือเสียหายไปแล้ว และประชากรเกือบทั้งหมดอพยพย้ายที่ การพึ่งพาฐานข้อมูลข่าวกรองและโปรแกรมติดตามที่พักอัตโนมัติจึงทำได้ยากขึ้น
  • แหล่งข่าวบางรายระบุว่า การทิ้งระเบิดเจ้าหน้าที่ระดับล่างจำนวนมากเกิดขึ้นเป็นหลักใน 1–2 สัปดาห์แรกของสงคราม และต่อมาหยุดลงเพื่อประหยัดระเบิด
  • อย่างไรก็ตาม การโจมตีทางอากาศที่มุ่งเป้าผู้บัญชาการระดับสูงของ Hamas ยังคงดำเนินต่อไป และในกรณีนี้ แหล่งข่าวกล่าวว่ากองทัพกำลังอนุมัติให้พลเรือนเสียชีวิต หลายร้อยคน ต่อเป้าหมายหนึ่งราย
  • เกี่ยวกับการทิ้งระเบิดที่มุ่งเป้า Wisam Farhat ผู้บัญชาการ Shuja’iya Battalion เมื่อวันที่ 2 ธันวาคม แหล่งข่าวคนหนึ่งเล่าว่ารู้อยู่แล้วว่าจะมีพลเรือนเสียชีวิต มากกว่า 100 คน
  • ยังมีคำให้การว่า ในวันที่ 17 ตุลาคม ที่ค่ายผู้ลี้ภัย Al-Bureij มีการอนุมัติให้พลเรือนเสียชีวิตราว 300 คน เพื่อสังหาร Ayman Nofal ผู้บัญชาการ Hamas Central Gaza Brigade และอาคารหลายหลังถูกทำลาย
  • General Peter Gersten เคยกล่าวกับสื่อด้านกลาโหมของสหรัฐฯ ในปี 2021 ว่า ในปฏิบัติการต่อต้าน ISIS การโจมตีที่มีความเสียหายข้างเคียงต่อพลเรือน 15 คนถือว่าอยู่นอกขั้นตอนปกติ และต้องได้รับอนุญาตพิเศษจาก Lloyd Austin ผู้บัญชาการกองบัญชาการกลางสหรัฐฯ ในขณะนั้น

บรรยากาศภายในกองทัพหลังวันที่ 7 ตุลาคม

  • แหล่งข่าวทั้งหมดกล่าวว่า การสังหารหมู่และการลักพาตัวตัวประกันโดย Hamas เมื่อวันที่ 7 ตุลาคม ส่งผลอย่างมากต่อนโยบายการใช้กำลังยิงและระดับการยอมรับความเสียหายข้างเคียงของกองทัพอิสราเอล
  • แหล่งข่าวคนหนึ่งอธิบายว่าบรรยากาศในช่วงแรกเต็มไปด้วยความเจ็บปวดและการแก้แค้น และกฎต่าง ๆ ผ่อนปรนมาก
  • แหล่งข่าวอีกคนกล่าวว่าเกิด “ฮิสทีเรีย” ภายในองค์กรวิชาชีพ และกองทัพไม่รู้ว่าจะตอบสนองอย่างไร จึงเริ่มทิ้งระเบิดอย่างดุเดือดเพื่อทำลายขีดความสามารถของ Hamas
  • แหล่งข่าวข่าวกรองคนหนึ่งกล่าวว่า แม้ไม่มีคำสั่งอย่างชัดเจนว่า “การแก้แค้น” คือเป้าหมาย แต่เมื่อเป้าหมายทุกอย่างที่เชื่อมโยงกับ Hamas ถูกทำให้ชอบธรรม และความเสียหายข้างเคียงแทบทั้งหมดได้รับอนุมัติ ก็เห็นได้ชัดว่าจะมีผู้เสียชีวิตหลายพันคน
  • กองทัพอิสราเอลตอบว่า เป้าหมายแต่ละรายการได้รับการตรวจสอบเป็นรายกรณี มีการประเมินผลประโยชน์ทางทหารของการโจมตีและความเสียหายข้างเคียงที่คาดไว้ และหากความเสียหายข้างเคียงที่คาดไว้มากเกินไปเมื่อเทียบกับผลประโยชน์ทางทหาร ก็จะไม่โจมตี

การทำให้การคำนวณความเสียหายข้างเคียงเป็นอัตโนมัติ

  • ตามข้อมูลจากแหล่งข่าว การคำนวณจำนวนพลเรือนที่คาดว่าจะเสียชีวิตพร้อมกับเป้าหมายในแต่ละบ้านก็ทำด้วย เครื่องมืออัตโนมัติที่ไม่แม่นยำ
  • ในสงครามก่อน ๆ เจ้าหน้าที่ข่าวกรองใช้เวลามากในการตรวจว่ามีกี่คนอยู่ในบ้านที่จะถูกทิ้งระเบิด และตัวเลขนั้นถูกบันทึกใน “target file”
  • หลังวันที่ 7 ตุลาคม การตรวจสอบอย่างละเอียดเช่นนี้ส่วนใหญ่หยุดลงและถูกแทนที่ด้วยระบบอัตโนมัติ
  • วิธีที่แหล่งข่าวอธิบายคือ โมเดลประเมินจำนวนผู้อยู่อาศัยของแต่ละบ้านก่อนสงครามจากขนาดอาคารและรายชื่อผู้อยู่อาศัย จากนั้นลดตัวเลขลงตามสัดส่วนชาวบ้านในละแวกนั้นที่อพยพออกไป
    • ตัวอย่างเช่น หากประเมินว่าครึ่งหนึ่งของคนในละแวกนั้นออกไปแล้ว บ้านที่ปกติมี 10 คนอยู่จะถูกคำนวณว่ามี 5 คน
    • เพื่อประหยัดเวลา กองทัพไม่ได้ตรวจจำนวนผู้อยู่อาศัยปัจจุบันด้วยการเฝ้าระวังบ้านจริงเหมือนในปฏิบัติการที่ผ่านมา
  • แหล่งข่าวคนหนึ่งกล่าวว่าโมเดลนี้ไม่เชื่อมโยงกับความเป็นจริง และผู้อยู่อาศัยที่ลงทะเบียนไว้ก่อนสงครามไม่ตรงกับคนที่อยู่ในบ้านจริงระหว่างสงคราม
  • แหล่งข่าวคนเดิมอธิบายว่ากองทัพรู้ถึงความเป็นไปได้ของข้อผิดพลาดเหล่านี้ แต่เลือกใช้โมเดลที่ไม่แม่นยำเพราะรวดเร็วกว่า

การขาดการตรวจสอบแบบเรียลไทม์และการลดการยืนยันหลังทิ้งระเบิด

  • แหล่งข่าวกล่าวว่า ระหว่างเวลาที่ระบบติดตามอย่าง Where’s Daddy? แจ้งว่าเป้าหมายกลับบ้าน กับการทิ้งระเบิดจริง อาจมีช่องว่างเวลามาก และด้วยเหตุนี้จึงมีกรณีที่ทั้งครอบครัวเสียชีวิตโดยไม่มีเป้าหมายอยู่ที่นั่น
  • แหล่งข่าวข่าวกรองสามรายกล่าวว่าพวกเขาเห็นกรณีที่กองทัพอิสราเอลทิ้งระเบิดที่พักของครอบครัว แต่ภายหลังพบว่าเป้าหมายลอบสังหารไม่ได้อยู่ในบ้าน
  • แหล่งข่าวคนหนึ่งอธิบายว่า บางครั้งเป้าหมายเคยอยู่ที่บ้านเมื่อหลายชั่วโมงก่อน จึงทิ้งระเบิดต่อไปโดยไม่เปลี่ยนแปลง บางครั้งมีการตรวจยืนยันตำแหน่งอีกครั้ง แต่บางครั้งก็ไม่มี
  • แหล่งข่าวอีกรายกล่าวว่า มีการทราบว่าเป้าหมายอยู่ที่บ้านตอน 20:00 น. แต่กองทัพอากาศทิ้งระเบิดตอน 03:00 น. ระหว่างนั้นเป้าหมายย้ายไปบ้านอีกหลังพร้อมครอบครัว และในอาคารที่ถูกทิ้งระเบิดมีอีกสองครอบครัวที่มีเด็กอยู่
  • ในสงครามกาซาที่ผ่านมา หลังการลอบสังหาร human target จะมีขั้นตอน BDA ซึ่งเป็นการประเมินความเสียหายจากการทิ้งระเบิด แต่แหล่งข่าวกล่าวว่าในสงครามปัจจุบัน ขั้นตอนนี้ถูกยกเลิกสำหรับการโจมตีที่เกี่ยวข้องกับนักรบระดับล่างซึ่ง AI ระบุ เพื่อประหยัดเวลา
  • แหล่งข่าวกล่าวว่า พวกเขาไม่ทราบจำนวนพลเรือนที่เสียชีวิตจริงในการโจมตีเป้าหมายต้องสงสัยระดับล่างของ Hamas และ PIJ และไม่ทราบด้วยว่าเป้าหมายเองเสียชีวิตหรือไม่

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-04-04
ความเห็นจาก Hacker News

  • นักวิชาการอย่าง Didier Bigo แสดงความกังวลมานานแล้วเกี่ยวกับการตั้งเป้าหมายบุคคลเพียงเพราะมี ความเชื่อมโยงทางอ้อม กับ “ผู้ก่อการร้าย” หรือ “อาชญากร”
    เดิมทีแนวคิดนี้ถูกใช้ในบริบทของการสอดแนมที่ปรากฏจากการเปิดโปงของ Snowden และการตั้งเป้าหมายไปถึงคนที่อยู่ห่างจากบุคคลที่ระบุได้ เช่น ภายใน 3 ขั้นความเชื่อมโยง ทำให้ความหมายของกระบวนการทางกฎหมายที่ชอบธรรมและการสอดแนมแบบเจาะจงพังทลายลง
    ตอนนี้ระบบ AI แบบนั้นไม่ได้ถูกใช้แค่เพื่อสอดแนม แต่ถูกใช้เพื่อฆ่าคนจริง ๆ แล้ว
    กฎหมายมนุษยธรรมระหว่างประเทศห้ามการสังหารผู้ที่ไม่ใช่นักรบ หรือ “นักรบ” ของกลุ่มติดอาวุธ มีเพียงผู้ที่มี “หน้าที่ต่อเนื่อง” ที่ “เข้าร่วมโดยตรง” ในการสู้รบเท่านั้นที่สามารถถูกโจมตีได้ทุกเมื่อ
    กล่าวคือ มีเพียงสมาชิกขององค์กรติดอาวุธของ Hamas เท่านั้นที่เป็นเป้าหมายโจมตีได้ ส่วนผู้รับสมัคร คนผลิตอาวุธ ผู้รับผิดชอบโฆษณาชวนเชื่อ หรือผู้รับผิดชอบเงินทุน ต้องถูกจับกุมหรือนำขึ้นศาล มิฉะนั้นแม้ในสงครามแบบปกติ พลเรือนแทบทุกคนก็อาจตกเป็นเป้าได้ เช่น พนักงานธนาคารที่ปล่อยกู้ให้กองทัพ
    เหตุผลที่ Lavender น่ากลัวคือมันเปิดทางให้อิสราเอลตั้งเป้าหมายผู้คนจำนวนมากที่ได้รับความคุ้มครองจากการโจมตีตามกฎหมายระหว่างประเทศ และให้เพียงข้ออ้างทางการเมืองบาง ๆ ว่าเกี่ยวข้องกับผู้ก่อการร้ายเท่านั้น
    https://www.icrc.org/en/doc/assets/files/other/icrc-002-0990...

    • ทุกอย่างเริ่มจากการทำ รายชื่อเป้าหมาย ตามเกณฑ์ที่กำหนดเสมอ เมื่อมีรายชื่อแล้ว การใช้งานก็เปลี่ยนจากการจำแนก ไปสู่การทำให้เป็นปีศาจ การสอดแนม การริบสิทธิ การเนรเทศ และการสังหาร
      ตัวอย่างการใช้คอมพิวเตอร์ยุคแรก ๆ ของเยอรมนีในช่วงสงครามโลกครั้งที่สองก็เกี่ยวข้องกับการทำและประมวลผลรายชื่อคนที่จะถูกส่งไปค่ายกักกัน ความแตกต่างในปัจจุบันมีเพียงว่าเราสามารถรวบรวมและประมวลผลข้อมูลได้มากกว่า เร็วกว่า และในขนาดใหญ่กว่าเท่านั้น
    • มักเกิดมายากลอันน่าทึ่งขึ้นบ่อยครั้ง คือทันทีที่ใครสักคนถูกตั้งเป็นเป้าและถูกฆ่า พลเรือนคนนั้นก็กลายเป็น “ผู้ร่วมมือ”, “ผู้ก่อการร้าย”, “นักรบติดอาวุธ” ฯลฯ ทันที
      แน่นอนว่าทุกอย่างถูกจัดเป็น ความลับ และจำกัดการเข้าถึง เพื่อไม่ให้ใครซักไซ้หรือตั้งคำถามได้
    • สิ่งที่น่าสนใจคือเครื่องมือแบบนี้เปลี่ยนจาก “ข้อมูลนำเข้าที่ใช้ประกอบการตัดสินใจว่าจะตั้งเป้าใคร” ไปเป็น “คอมพิวเตอร์บอกให้ฆ่าคนเหล่านี้ งั้นก็ทำเลย” ได้เร็วและง่ายเพียงใด และนี่ก็เป็นพฤติกรรมที่พบได้บ่อยในหมู่ผู้ใช้ปลายทางของซอฟต์แวร์
      ในบทความของ Guardian โฆษก IDF กล่าวว่าระบบนี้มีอยู่จริง แต่ใช้เพื่อวัตถุประสงค์ทางอิเล็กทรอนิกส์เท่านั้น และเจตนาเดิมหรือการรับรู้ของระดับบนอาจเป็นเช่นนั้นก็ได้ แต่ในทางปฏิบัติ มันน่าจะกลายเป็นอย่างหลังไปแล้ว
    • หากใช้เกณฑ์ตามที่บทความพูดถึง ใครก็ตามที่มีความแค้นต่ออิสราเอลก็สามารถอ้างเหตุผลเพื่อกำหนดเป้าหมายอาคารจำนวนมากของอิสราเอลได้
      เพราะท้ายที่สุดแล้ว ประชากรส่วนใหญ่มี หน้าที่ต้องรับราชการใน IDF
    • ช่องโหว่ที่ทำให้หลุดจากกรอบนี้ได้คือ โรงงานผลิตอาวุธแทบจะแน่นอนว่าเป็น เป้าหมายทางยุทธศาสตร์ทางทหาร
      กฎหมายระหว่างประเทศอนุญาตให้โจมตีโครงสร้างพื้นฐานเช่นนั้น หากผลประโยชน์ทางทหารที่ได้รับมีสัดส่วนเหมาะสมกับการเสียชีวิตของพลเรือน
      ดังนั้น แม้จะตั้งเป้าหมายที่ตัวบุคคลไม่ได้ แต่ในทางกฎหมายระหว่างประเทศ ข้อสรุปคือการโจมตีอาคารนั้นในขณะที่คนเหล่านั้นอยู่ข้างในถือว่าใช้ได้ หากมีคุณค่าทางทหาร

  • ไม่คิดเลยว่าตัวเองจะมาถึงจุดที่คิดแบบนี้ แต่เริ่มสงสัยว่าคนที่สร้างและพัฒนาซอฟต์แวร์นี้ควรถูกพิจารณาคดีในข้อหา ฆาตกรรมหรืออาชญากรรมต่อมนุษยชาติ หรือไม่
    ผมเข้าใจว่า AI ในรูปแบบปัจจุบันเป็นเทคโนโลยีที่ไม่ควรอยู่ใกล้การใช้งานประเภทนี้เลย
    โมเดลอนุมานมีความไม่กำหนดแน่นอนค่อนข้างมากโดยธรรมชาติ ในแง่ที่ว่าเราประเมินมันให้แม่นยำกับผลลัพธ์เฉพาะที่ต้องการได้ยาก และการจะได้ความแม่นยำแม้เพียงต่ำ ๆ ก็ต้องใช้ข้อมูลฝึกจำนวนมหาศาล แต่ข้อมูลฝึกแบบนั้นมีแนวโน้มสูงว่าไม่มีอยู่จริง และทั้งระบบน่าจะตั้งอยู่บนภาพหลอนขนาดมหึมา
    ถ้าโมเดล AI นี้แม่นยำถึง 10% ผมคงประหลาดใจ และแม้จะต่ำกว่า 1% ก็ไม่แปลกใจ จากที่อ่านมา ดูเหมือนว่าความแม่นยำจะไม่ใช่ประเด็นหลักด้วยซ้ำ
    หลังอ่านบทความ Guardian https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai... ก็ทำให้ถึงขั้นคิดว่าเราควรอนุญาตให้มีการพัฒนา AI เลยหรือไม่
    การใช้งานเฉพาะกรณีนี้และเหตุผลรองรับของมันให้ความรู้สึกว่าเป็นหนึ่งในตัวอย่างที่โจ่งแจ้งที่สุดของ การนำเทคโนโลยีที่เปิดเผยต่อสาธารณะไปใช้ในทางที่ผิดโดยเจตนา นี่เป็นความคิดไร้เดียงสาไปไหม

    • ขึ้นอยู่กับว่า “AI” ในที่นี้หมายถึงอะไร มีสเปกตรัมตั้งแต่ “ฐานข้อมูลมีข้อมูลจำนวนมาก และมนุษย์ปรับแต่งคิวรีด้วยมือ” ไปจนถึง “สร้าง โครงข่ายประสาทแบบดีปเลิร์นนิง เพื่อทำนาย XYZ”
      ตรงกลางนั้นก็มีอย่างเช่น decision tree ที่ให้ผลลัพธ์อธิบายได้
    • ไม่ใช่ความคิดไร้เดียงสาเลย หากรู้ข้อจำกัดของระบบแบบนั้นดีพอ และรู้แม้กระทั่งผลลัพธ์ของมัน แต่ยังเข้าร่วมพัฒนาหรือบำรุงรักษา ในมาตรฐานของผมก็ไม่มีช่องให้ถือว่า มือสะอาด อีกต่อไป
    • แค่ดูจากรายงานก็เห็นชัดว่า IDF ไม่มี กฎการปะทะ อย่างเป็นทางการในภาคสนาม ผู้บังคับบัญชาระดับล่างมีอำนาจอิสระเต็มที่ในการฆ่าใครก็ได้ เมื่อไรก็ได้ โดยไม่มีการกำกับดูแล
      “AI” เป็นเครื่องมือสำหรับใช้สร้างความชอบธรรมย้อนหลังให้การกระทำฆ่าล้างเผ่าพันธุ์บางอย่าง ส่วนในความเป็นจริงมันใกล้เคียงกับการสังหารหมู่แบบเหวี่ยงแหที่ล้าสมัย ซึ่งถูกขับเคลื่อนด้วยความโกรธและการเหยียดเชื้อชาติ
    • ไม่ใช่ปืนหรือ AI ที่ฆ่าคน แต่เป็นคนที่ฆ่า หากจะเอาผิด ก็ควรเป็น คนที่ออกคำสั่งโจมตี
    • จะมีบางคนไปไกลกว่านั้น ใส่ AI เข้าไปถึง ขั้นตอนการประหาร ในรูปแบบโดรน รถถัง ที่ควบคุมด้วย AI อะไรทำนองนั้น
      จากนั้นก็คงอ้างว่าไม่มีความรับผิด และโยนความผิดให้ผีในเครื่องจักร

  • ไม่ว่าเรื่องนี้จะทำให้อิสราเอลดูแย่แค่ไหน ก็ยังอ่านแล้วเหมือนเป็นเนื้อหาที่พยายาม ปัดความรับผิดชอบ ว่าอย่างน้อยก็พยายามฆ่านักรบติดอาวุธ
    ตั้งแต่แรกก็ชัดเจนว่าเป้าหมายคือการทำให้ชีวิตใน Gaza เป็นไปไม่ได้ โดยเล็งเป้านักข่าว บุคลากรทางการแพทย์ และผู้ที่เกี่ยวข้องกับการแจกจ่ายความช่วยเหลือ

    • น่าสงสัยมากว่าจะเป็นเช่นนั้นจริง ดูใกล้เคียงกับนโยบาย “ถ้าสงสัยแม้แต่นิดเดียว ให้ยิงก่อนแล้วค่อยถามทีหลัง” มากกว่า
      ถ้ามีนโยบายจงใจฆ่านักข่าว เจ้าหน้าที่บรรเทาทุกข์ และบุคลากรทางการแพทย์จริง จำนวนผู้เสียชีวิตคงมากกว่านี้มาก
      ถ้าไม่ตระหนักว่า Hamas ใช้บทบาทเหล่านั้นเป็นฉากบังหน้าในการปฏิบัติการ ก็ถือว่าไร้เดียงสาอย่างยิ่งหรือเอนเอียงไปข้างหนึ่ง
      ไม่ได้พยายามแก้ต่างให้การกระทำของอิสราเอล การกระทำเหล่านั้นเละเทะ แต่จากหลักฐานจนถึงตอนนี้ ผมคิดว่าข้อกล่าวอ้างเดิมนั้นผิดอย่างชัดเจน
    • เรื่องนี้ดูใกล้เคียงกับ อาวุธโฆษณาชวนเชื่อ ที่มุ่งไปยังชาวอิสราเอลมากกว่า ถ้าพวกเขาอยากปกปิดจริง ๆ เราอาจไม่มีทางรู้เลย
      ข้อเท็จจริงที่ว่าเรากำลังพูดถึงเรื่องนี้เองน่าจะไม่ใช่เรื่องบังเอิญ และดูเหมือนเป็นกลยุทธ์เพื่อโน้มน้าวชาวอิสราเอลว่า กองทัพล้ำหน้าทางเทคโนโลยีและรู้ว่ากำลังทำอะไรอยู่ ดังนั้นไม่ต้องสงสัย
      ไม่ว่าจะมี AI หรือไม่ พวกเขาก็คงก่อการฆ่าล้างเผ่าพันธุ์และละเมิดกฎหมายมนุษยธรรมระหว่างประเทศทั้งหมดอยู่ดี แต่สำหรับคนที่ยังเชื่อว่าการฆ่าล้างเผ่าพันธุ์นั้นชอบธรรม เรื่องนี้อาจช่วยปรับภาพลักษณ์ได้

  • ความคิดที่ว่า AI อาจถูกใช้ในการตัดสินใจฆ่าใครสักคนล่วงหน้านั้นน่าไม่สบายใจ
    เช่น คอมพิวเตอร์อาจกำลังตัดสินใจแบบเชิงรับที่ทำให้คนตายอยู่แล้ว เหมือนระบบนำทางของรถยนต์ไร้คนขับ ในกรณีนี้มีการกล่าวว่ามีขั้นตอนอนุมัติโดยมนุษย์ แต่ก็ห่างเพียงก้าวเดียวจากสถานการณ์ที่หุ่นยนต์ฆ่าคนโดยไม่มีมนุษย์เข้ามาเกี่ยวข้อง และนั่นก็ห่างจากพล็อตของ Terminator เพียงก้าวเดียวเช่นกัน
    ในกรณีแบบนี้ ผมสงสัยว่าทางเลือกอื่นคืออะไร ผมแทบไม่รู้เรื่องยุทธศาสตร์ทหาร แต่ไม่รู้ว่าถ้าไม่มี AI อิสราเอลจะเลือกเป้าหมายน้อยลง หรือจะเลือกแบบสะเปะสะปะมากขึ้น
    ดูเหมือนมีการอ่านผิดไปว่า หากอิสราเอลไม่ได้ใช้ AI พวกเขาคงไม่ทิ้งระเบิดเลย ซึ่งเมื่อพิจารณาว่าอยู่ในภาวะสงครามแล้ว นั่นชัดเจนว่าไม่น่าเป็นไปได้ ในสงคราม ผู้คนตาย รวมถึงผู้บริสุทธิ์ด้วย และนั่นคือเหตุผลที่ทุกคนเกลียดสงครามและหวังให้สงครามตอนนี้จบลงโดยเร็วที่สุด

    • มีตอนหนึ่งที่ว่า “ในสงครามปัจจุบัน เจ้าหน้าที่ไม่จำเป็นต้องตรวจสอบการประเมินของ Lavender อย่างเป็นอิสระ เพื่อประหยัดเวลาและเปิดทางให้มี การผลิตเป้าหมายมนุษย์จำนวนมาก โดยไม่มีอุปสรรค”
      การขาดการกำกับดูแลเช่นนั้นได้รับอนุญาต ทั้งที่ในการตรวจสอบภายในถือว่าความแม่นยำในการคำนวณของ Lavender มีเพียง 90% เท่านั้น กล่าวอีกอย่างคือ พวกเขารู้ล่วงหน้าแล้วว่า 10% ของเป้าหมายมนุษย์ที่ถูกระบุให้ลอบสังหารไม่ใช่สมาชิกกองกำลังทหารของ Hamas
      ดังนั้นจึงไม่มีขั้นตอนอนุมัติโดยมนุษย์ นโยบายเองอาจมีใครบางคนสั่งการ แต่เป้าหมายลอบสังหารที่ถูกสร้างขึ้นอย่างต่อเนื่องนั้น เท่ากับได้รับการอนุมัติจากการคาดการณ์ของระบบ AI เพียงอย่างเดียว
      ประโยค “เพื่อประหยัดเวลาและเปิดทางให้มีการผลิตเป้าหมายมนุษย์จำนวนมากโดยไม่มีอุปสรรค” ฟังดูดิสโทเปียน่ากลัวมาก
    • ทางเลือกดูชัดเจน คือทำให้กระบวนการคัดเลือกเป้าหมายช้าลง ลดจำนวนเป้าหมายทั้งหมด และรับประกันว่า มโนธรรมของมนุษย์ จะมีส่วนร่วมในกระบวนการนั้น
    • อาจฟังดูซ้ำซาก แต่สิ่งที่ควรทำคือไม่เริ่มทำสงครามเชิงรุกแบบอสมมาตรตั้งแต่แรก และไม่ทิ้งระเบิดใส่ พื้นที่เมืองหนาแน่น ที่เต็มไปด้วยผู้บริสุทธิ์โดยแทบไม่มีเหตุผล
      ถ้าเป็นเช่นนั้นก็ไม่จำเป็นต้องมี AI ตัวเล็ก ๆ ด้วยซ้ำ
    • เป็นเรื่องที่น่าไม่สบายใจจริง ๆ ผมเคยกังวลว่าจะเกิดกระแสต่อต้าน AI และเรื่องแบบนี้อาจเป็นจุดเปลี่ยนได้ อีกทั้งยังอาจเป็นเหตุผลที่สมควรให้มีช่วงเวลาทบทวนอย่างจริงจัง
      คำกล่าวที่ว่าทางเลือกอื่นอาจเลวร้ายกว่าก็อาจถูกต้องได้เช่นกัน คนที่สร้าง Lavender อาจพิสูจน์เรื่องนั้นด้วยข้อมูลได้ด้วยซ้ำ
      ถึงอย่างนั้น ไม่ว่าในกรณีใดก็ตาม ควรมีแรงกดดันทางศีลธรรมว่า ต้องให้มนุษย์อยู่ในกระบวนการ ความพยายามให้เหตุผลแบบนั้นคงดึงความสนใจของสาธารณะไม่ได้เท่าฉากหายนะแบบ SkyNet ที่เกิดขึ้นเหนือศีรษะพลเรือนใน Gaza
    • ถ้าสงสัยว่าทางเลือกในกรณีแบบนี้คืออะไร คำตอบคือ อย่าสร้าง Torment Nexus
      ถ้าเริ่มต้นจากมุมมองว่าจะไม่สร้าง Torment Nexus การไม่สร้าง Torment Nexus ก็จะง่ายขึ้นมาก

  • หลายคนคงอ่านแค่หัวข้อแล้วผ่านไป แต่ขอเถอะ อยากให้ลองอ่านเนื้อหาจริง
    ย่อหน้าที่สองเป็นแบบนี้: “แหล่งข่าวกล่าวถึงการใช้ระบบ AI ที่ชื่อ Lavender และยังอ้างว่าเจ้าหน้าที่กองทัพอิสราเอลอนุญาตให้พลเรือนปาเลสไตน์จำนวนมากถูกสังหาร โดยเฉพาะในช่วงสัปดาห์และเดือนแรก ๆ ของความขัดแย้ง”

    • ใช่ AI อาจเป็นส่วนที่มีจริยธรรมที่สุดของปฏิบัติการนี้ด้วยซ้ำ ผู้บังคับบัญชาที่เป็นมนุษย์ ต่างหากที่ตัดสินใจว่าความเสียหายข้างเคียงในระดับใดก็ไม่มากเกินไป
    • พวกเขามี กฎ 10 ต่อ 1 โดยนัย คือเอาชีวิตชาวปาเลสไตน์ 10 คนต่อการสูญเสียชาวอิสราเอล 1 คน
    • พวกเขายอมให้พลเรือนเสียชีวิตมากขึ้นในกระบวนการตามล่าผู้ก่อการร้ายป่าเถื่อนที่ซ่อนตัวอยู่ท่ามกลางพลเรือน ข่มขืนและสังหาร ลากทารกกับแม่ไปยังคุกใต้ดิน และอวดอ้างเรื่องเหล่านั้น

  • แนะนำให้ฟัง Serial podcast ซีซันนี้ทั้งหมด
    “มันประมวลผลข้อมูลจำนวนมากเพื่อระบุตัวเจ้าหน้าที่ ‘ระดับล่าง’ ที่อาจเป็นเป้าหมายได้อย่างรวดเร็ว แหล่งข่าวด้านข่าวกรองสี่รายกล่าวว่า ณ ช่วงหนึ่งในตอนต้นของสงคราม Lavender ได้จัดทำรายชื่อชายชาวปาเลสไตน์ที่ระบบ AI เชื่อมโยงกับ Hamas หรือ PIJ ไว้มากถึง 37,000 คน”
    เรื่องนี้ไม่ได้ต่างจากวิธีการในปี 2001 ที่เลือกคนว่าจะส่งไป Guantanamo หรือเรือนจำลับกว่านั้น แล้วทิ้งระเบิดตำแหน่งของพวกเขามากนัก
    เหนือสิ่งอื่นใด มันให้ความรู้สึกว่าเหมือนในโลกธุรกิจ วิศวกรในกองทัพกำลังขยายความ buzzword เรื่อง AI ทั้งที่จริง ๆ ก็ทำสิ่งเดิมที่เคยทำมาก่อนมี AI
    ถ้าคุณใช้บัญชี PayPal โอนเงินให้บัญชีที่ถูกระบุว่าเป็น ISIS หน่วยงานสามตัวอักษรของสหรัฐฯ จะมาหาคุณอย่างรวดเร็ว จากคำให้การของผู้ใช้ เรื่องนี้ก็ฟังดูเป็นแบบนั้นเป๊ะ ส่วนจะทิ้งระเบิดสถานที่ใดหรือไม่นั้น มนุษย์ เป็นคนตัดสินใจ ไม่ใช่ AI

    • ที่พูดว่า “วิธีที่โลกดำเนินไปในปี 2001” แต่ในที่นี้โลกหมายถึง สหรัฐฯ อย่างไรก็ตามก็พูดถูก
      “NSA targets SIM cards for drone strikes, ‘Death by unreliable metadata’”
      https://www.computerworld.com/article/2475921/whistleblower-...
    • “Gitmo” เพิ่งเปิดในปี 2002

  • “เราไม่ได้สนใจแค่การสังหารเจ้าหน้าที่ [Hamas] เฉพาะตอนที่พวกเขาอยู่ในอาคารทางทหารหรือเกี่ยวข้องกับกิจกรรมทางทหารเท่านั้น” เจ้าหน้าที่ข่าวกรอง A. กล่าวกับ +972 และ Local Call
    “ตรงกันข้าม IDF กลับทิ้งระเบิดใส่พวกเขาที่บ้านโดยไม่ลังเล และนั่นเป็นตัวเลือกแรก การทิ้งระเบิดบ้านของครอบครัวนั้นง่ายกว่ามาก ระบบถูกสร้างมาให้ค้นหาพวกเขาในสถานการณ์แบบนั้น”

    • ดูข่าว i24 แล้วค่อนข้างน่ากังวล มีช่วงที่ผู้สอบสวนบอกว่าการทรมานให้ผลดีแค่ไหน แถมยังพูดเล่นว่าคงจะง่ายกว่านี้มากถ้ามะนาวยอมคายน้ำออกมาเองโดยไม่ต้องบีบ
    • “การทิ้งระเบิดบ้านของครอบครัวนั้นง่ายกว่ามาก” แบบนี้จะไม่ใช่ อาชญากรรมสงคราม ได้อย่างไร
      Gaza มีพลเรือนอยู่ราว 2 ล้านคน และหลายคนในนั้นไม่มีทางเข้าถึงอาหาร น้ำ ยา หรือที่หลบภัยที่ปลอดภัย คนโชคร้ายบางส่วนในนั้นอาศัยอยู่เหนือหรือใต้เจ้าหน้าที่ Hamas และครอบครัวของพวกเขา
      มันเหมือนกับว่า “อ้อ โทษที 555”, “ไม่ได้ตั้งใจนะ 555 จริง ๆ”, “หลักนิยมของเราบอกว่าฆ่าพลเรือนได้ X คนต่อเจ้าหน้าที่ศัตรู 1 คน ไม่ต้องห่วง”
      สงคราม Gaza ต่างจากยูเครน ชาวบ้านในยูเครนและรัสเซียยังสามารถย้ายจากแนวหน้าไปทางฝั่งรัสเซียหรือทางตะวันตกไปยัง Galicia ได้ และก็ไม่ได้ทำให้ศูนย์กลางประชากรหลักราบเป็นหน้ากลองทั้งหมด
      ใน Gaza ดูเหมือนว่าใครก็ตามอาจตายได้ทุกเมื่อ ด้วยเหตุผลใดก็ได้ หรือไม่มีเหตุผลเลย “ยุทธศาสตร์” ของอิสราเอลทำให้แม้แต่ยูเครนกับรัสเซียยังดูเหมือนตัวอย่างของความยับยั้งชั่งใจและอารยธรรม
    • ในยามสงคราม ทหารไม่ใช่เป้าหมายที่ชอบด้วยกฎหมายหรือ? ผมคิดว่าใช่ ประเด็นคือ ความเสียหายข้างเคียง
      อย่างไรก็ตาม สงครามครั้งนี้ก็แสดงให้เห็นว่า Hamas เองก็ไม่ทำตามกติกาและอยู่ใกล้ชิดพลเรือนมากเกินไป

  • สงสัยว่าเทคโนโลยีนี้แม่นยำจริง ๆ แค่ไหน หรือจริง ๆ แล้วแทบไม่สนผลลัพธ์ แต่สนใจ ภาพลักษณ์ที่ดูไฮเทค มากกว่า
    ด้านหนึ่ง แค่คิดว่าเทคโนโลยีแบบนี้มีอยู่จริงก็น่ากลัวแล้ว แต่อีกด้านหนึ่ง ผลลัพธ์อาจลำเอียงมากจนเป็นแค่กองขยะก็ได้
    ที่น่ากลัวกว่านั้นคือมันเป็นหลักฐานว่าผู้มีอำนาจไม่ได้สนใจ “ความแม่นยำ” แต่สนใจข้ออ้างที่จะยืนยันอคติของตัวเอง มันเป็นแบบนี้มาตลอด แต่การขยายสิ่งนี้ด้วย AI ยิ่งร้ายแรงกว่าเดิม
    เมื่อก่อนข้อจำกัดคือจำนวนมนุษย์ที่สามารถโกหกได้ แต่ตอนนี้ข้อจำกัดคือ กล่องดำเวทมนตร์ จะทำงานได้เร็วแค่ไหน

    • ในกรณีเจ้าหน้าที่องค์กรการกุศลด้านอาหารที่เสียชีวิตจากการทิ้งระเบิดของอิสราเอลเมื่อไม่นานมานี้ ยังไม่ยืนยันว่าใครเป็นผู้อนุมัติ แต่ในทีมนั้นมีเจ้าหน้าที่รักษาความปลอดภัยอยู่ด้วย
      คนคนนี้ไม่ได้มีอาวุธ และตามหน้าที่คือแจ้งเจ้าหน้าที่อิสราเอลว่าทีมการกุศลจะไปที่ไหนเพื่อเปิดทางให้ โดยครอบครัวในอังกฤษยืนยันการเสียชีวิตของเขา ดังนั้นจึงเป็นเรื่องธรรมดาที่จะถามว่าในสถานการณ์แบบนี้ ใครอนุมัติ การสังหารแบบเจาะจงเป้าหมาย
      จากภาพหลังเหตุการณ์ เห็นว่าขีปนาวุธเจาะทะลุหลังคารถ และน่าขันตรงที่จุดนั้นอยู่ข้างโลโก้องค์กรการกุศลด้านอาหารที่มองเห็นได้ชัดบนตัวรถพอดี
      ตอนนี้รัฐมนตรีกลาโหมอิสราเอลอ้างว่าเป็นความผิดพลาด แต่ตามการสอบสวน หากเป็นกรณีที่โจมตีเป้าหมายจริง กฎการปะทะอาจอนุญาตให้มีผู้เสียชีวิตข้างเคียงที่ไม่เกี่ยวข้องได้ 15–100 คน
    • ผมไม่คิดว่าภาพลักษณ์ที่ดูไฮเทคคือเป้าหมายหลัก ต่อให้มันห่วยแค่ไหน เป้าหมายก็คือ การสร้างความชอบธรรม บางอย่าง
      โดยเฉพาะถ้าการตรวจสอบว่า “AI” ไปถึงข้อสรุปได้อย่างไรเป็นเรื่องยาก ตอนนี้ใคร ๆ ก็อาจกลายเป็นเป้าหมายได้
      คล้ายกับตำรวจสหรัฐฯ ที่บอกว่า “ได้กลิ่นกัญชา” หรือสุนัขดมกลิ่น “ส่งสัญญาณ” มันให้เครื่องมือในการสร้างความชอบธรรมให้การค้นอะไรก็ได้ หรือในกรณีนี้คือการสังหารอะไรก็ได้ เครื่องจักรก็ถูกบดใช้ต่อไปเรื่อย ๆ

  • ในปี 2018 Sundar Pichai ซีอีโอ Google, Diane Greene รองประธานอาวุโส, Urs Hölzle รองประธานอาวุโส และ Jeff Dean วิศวกรระดับสูง ได้สร้างระบบแบบ Lavender ให้กองทัพสหรัฐฯ นั่นคือ Project Maven
    กองทัพสหรัฐฯ ตั้งใจจะใช้ระบบนี้วิเคราะห์วิดีโอจากโดรนสอดแนมจำนวนมหาศาล เพื่อเลือกผู้ต้องสงสัยที่จะลอบสังหารใน Pakistan ตอนนั้นได้ทิ้งระเบิดใส่บ้านและยานพาหนะไปแล้วหลายร้อยหลัง/คัน คร่าชีวิตผู้ต้องสงสัยและครอบครัวกับเพื่อนของพวกเขาไปหลายพันคน [0]
    ตอนนั้นผมทำงานอยู่ในฝ่าย Google Technical Infrastructure ของ Urs ผมอ่านข่าวเกี่ยวกับโปรเจกต์นั้น และ Urs โกหกพวกเราในการประชุมที่เกี่ยวข้องว่าสัญญามีมูลค่าแค่ 9 ล้านดอลลาร์ ทั้งที่มันขยายเป็น 18 ล้านดอลลาร์ไปแล้ว และกำลังมุ่งไปสู่ 270 ล้านดอลลาร์
    Urs กับ Jeff Dean พยายามลดทอนผลกระทบของสิ่งที่พวกเขาทำ Jeff Dean กะพริบตาไม่หยุดตอนพูดลดทอนผลกระทบ แต่พอเริ่มพูดถึงแง่เทคนิค เขาก็หยุดกะพริบตาทันที วินาทีนั้นผมสูญเสียความเคารพทั้งหมดที่มีต่อเขาและผู้นำบริษัท
    ความสามารถด้านวิศวกรรมและธุรกิจที่ยอดเยี่ยมไม่ได้หมายความว่าจะมีวุฒิภาวะทางศีลธรรมตามมาด้วย น่าเสียดายที่สังคมของเราไม่ได้ถูกออกแบบมาเพื่อรับประกันว่าผู้นำจะได้รับการศึกษาทางศีลธรรมที่จำเป็น หรือเพื่อปลดพวกเขาออกเมื่อพวกเขาล้มเหลวอย่างสิ้นเชิงในการตัดสินทางศีลธรรม
    [0] https://en.wikipedia.org/wiki/Drone_strikes_in_Pakistan

  • Guardian ก็นำเรื่องนี้ขึ้นหน้าแรกเช่นกัน และได้รับรายละเอียดก่อนเผยแพร่
    https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
    โดยส่วนตัว ผมมองว่าเรื่องแบบนี้เป็น ประเด็นเพื่อสาธารณประโยชน์ แม้จะไม่ขอโดยตรง แต่หวังว่าจะปลดแฟลกและให้การถกเถียงดำเนินต่อไป

    • เธรด HN ของเวอร์ชัน Guardian ตอนนี้ถูกแฟลกจำนวนมากจนแทบถูกฝังไปแล้ว [0]
      หวังว่าจะปลดแฟลกและรวมเธรดได้ เรื่องนี้ดูเป็นประเด็นสำคัญเกี่ยวกับวิธีใช้เทคโนโลยีรูปแบบใหม่
      [0] https://news.ycombinator.com/item?id=39917727
    • Guardian อ้างอิง 972 เป็นแหล่งที่มาของรายงาน ดังนั้นเรื่องนี้จึงไม่ควรมองว่าเป็นแค่ “บทความของ Guardian”
    • ค่อนข้างน่าผิดหวังที่บทความของ Guardian เองก็ถูกแฟลกอย่างรวดเร็วหลังถูกโพสต์บน HN