ผลกระทบของเหตุขัดข้อง CrowdStrike ต่ออุตสาหกรรมการบิน
(heavymeta.org)- การอัปเดตการตั้งค่าเซนเซอร์ สำหรับ Windows ของ CrowdStrike ที่เผยแพร่เมื่อวันที่ 19 กรกฎาคม 2024 เวลา 04:09 UTC ทำให้คอมพิวเตอร์ราว 8.5 ล้านเครื่องเกิดจอฟ้า และส่งผลกระทบต่อการดำเนินงานของสายการบินด้วย
- การจราจรทางอากาศทั้งหมดในสหรัฐฯ หากรวมถึงดับเพลิง ตำรวจ ทหาร และการบินทั่วไปด้วย จำนวนเที่ยวบินขึ้นสะสมหลังเวลา 04:00 ของวันที่ 19 กรกฎาคม มากกว่า วันศุกร์สัปดาห์ก่อน 2.6% แต่ช่วง 08:00~09:00 ลดจาก 378 เที่ยวเหลือ 261 เที่ยว หรือ ลดลง 31%
- ผลกระทบต่อสายการบินสหรัฐฯ 4 อันดับแรกแตกต่างกันมาก โดย Delta อยู่ที่ -1,087 เที่ยว (-46%), United -596 เที่ยว (-36%), American -376 เที่ยว (-16%), Southwest +101 เที่ยว (+3%)
- Delta ยกเลิกเที่ยวบินหลายพันเที่ยวเป็นเวลาหลายวันและใช้เวลาฟื้นตัวนาน ขณะที่ ABC News อธิบายว่า Southwest ไม่ได้รับผลกระทบเพราะไม่ได้ใช้ CrowdStrike
- การวิเคราะห์ตรวจจับการขึ้นบินจาก ข้อมูล ADS-B ดิบ ของ ADS-B Exchange และถือว่าใกล้เคียงกับจำนวนเที่ยวบิน โดยตั้งสมมติฐานว่าแม้จำนวนเที่ยวบินแบบสัมบูรณ์อาจถูกนับต่ำกว่าจริง แต่ยังใช้เปรียบเทียบสัดส่วนระหว่างช่วงเวลาได้
จุดเริ่มต้นของเหตุขัดข้อง CrowdStrike วันที่ 19 กรกฎาคม 2024
- วันที่ 19 กรกฎาคม 2024 เวลา 04:09 UTC, CrowdStrike เผยแพร่ การอัปเดตการตั้งค่าเซนเซอร์ ไปยังระบบ Windows
- หลังจากนั้น คอมพิวเตอร์ประมาณ 8.5 ล้านเครื่อง ประสบปัญหาจอฟ้า และหลายภาคส่วน เช่น โรงพยาบาล ธนาคาร และระบบ 911 ได้รับผลกระทบ
- Linux, Mac และโทรศัพท์มือถือไม่ได้ถูกกล่าวถึงว่าเป็นกลุ่มที่ได้รับผลกระทบโดยตรงจากเหตุขัดข้องนี้
- บริการอย่าง Gmail, Facebook และ Twitter ยังทำงานต่อไปได้ แต่เห็นความแตกต่างชัดเจนตรงที่เครื่อง Windows ที่ใช้จัดการงานจริง เช่น การจอง การเปิดบัญชี และการส่งตำรวจออกปฏิบัติการ กลับประสบปัญหา
- ระบบของสายการบินก็รวมอยู่ในส่วนปฏิบัติการที่อิง Windows นี้ด้วย
มุ่งเปรียบเทียบการจราจรทางอากาศจริงมากกว่าจำนวนการยกเลิก
- แทนที่จะดูเพียงจำนวนเที่ยวบินที่สายการบินยกเลิก มีการเลือกวิธีเปรียบเทียบ จำนวนเครื่องบินที่อยู่บนฟ้าจริง กับจำนวนเครื่องบินที่เดิมควรจะอยู่บนฟ้า
- มีการแชร์วิดีโอไทม์แลปส์ 12 ชั่วโมงของ American Airlines, Delta และ United ที่อิงข้อมูลจาก FlightRadar24 แต่เนื่องจากไม่มีเกณฑ์เปรียบเทียบ จึงประเมินขนาดผลกระทบได้ยาก
- ปรากฏการณ์ที่จำนวนเครื่องบินลดลงในเวลากลางคืนเกิดขึ้นทุกวันอยู่แล้ว ดังนั้นจึงต้องเปรียบเทียบกับรูปแบบปกติของวันเดียวกันในสัปดาห์
- กรณีนี้เข้าข่ายปัญหา “ขาดบริบทต่อปรากฏการณ์ที่เกิดขึ้น” ตามที่ Bellingcat กล่าวไว้ใน “OSHIT: Seven Deadly Sins of Bad Open Source Research”
การเปลี่ยนแปลงจำนวนเที่ยวบินขึ้นทั่วสหรัฐฯ ตามช่วงเวลา
- มีการเปรียบเทียบ จำนวนเที่ยวบินขึ้น แยกตามช่วงเวลาในสหรัฐฯ ระหว่างวันที่ 19 กรกฎาคม ซึ่งเป็นวันที่เกิดเหตุขัดข้อง CrowdStrike กับวันที่ 12 กรกฎาคม ซึ่งเป็นวันศุกร์สัปดาห์ก่อน
- กลุ่มที่นำมาเปรียบเทียบไม่ได้มีเพียงการบินเชิงพาณิชย์ แต่รวมถึงอากาศยานดับเพลิง ตำรวจ ทหาร และการบินทั่วไปด้วย
- มีการตรวจสอบวันที่ 18 กรกฎาคมร่วมด้วย แต่พบว่าคล้ายกับวันศุกร์สัปดาห์ก่อนมาก จึงคงให้วันที่ 12 กรกฎาคมเป็นเกณฑ์เปรียบเทียบหลัก
- ช่วงราว 06:00~13:00 จำนวนเที่ยวบินลดลงเล็กน้อย และหลังจากนั้นเพิ่มขึ้นเล็กน้อย
- เมื่อวัดแบบสะสมหลังเวลา 04:00 จำนวนเที่ยวบินวันที่ 19 กรกฎาคม เพิ่มขึ้น 2.6% เมื่อเทียบกับช่วงเวลาเดียวกันของวันศุกร์สัปดาห์ก่อน
- การลดลงมากที่สุดเกิดขึ้นในช่วง 08:00~09:00 โดยลดจาก 378 เที่ยวในวันศุกร์สัปดาห์ก่อนเหลือ 261 เที่ยว หรือ ลดลง 31%
ผลกระทบแตกต่างกันมากตามแต่ละสายการบิน
- การเปลี่ยนแปลงของสายการบินสหรัฐฯ 4 อันดับแรกแตกต่างกันอย่างมาก
- Delta Air Lines: -1,087 เที่ยว, -46%
- United Airlines: -596 เที่ยว, -36%
- American Airlines: -376 เที่ยว, -16%
- Southwest Airlines: +101 เที่ยว, +3%
- Delta ได้รับผลกระทบมากที่สุด ตามด้วย United ส่วน American มีอัตราลดลงน้อยกว่า
- จากการนับ Southwest ดูเหมือนไม่ได้รับผลกระทบ
- คำอธิบายว่า Southwest เลี่ยงผลกระทบได้เพราะยังใช้ Windows 3.1 ปรากฏใน บทความของ TechRadar แต่ OSNews ระบุว่าเป็นข้อมูลเท็จ
- บทความของ ABC News รายงานว่า Southwest ไม่ได้รับผลกระทบเพราะไม่ได้ใช้ CrowdStrike
คำอธิบายและข้อจำกัดเกี่ยวกับการฟื้นตัวล่าช้าของ Delta
- Delta Air Lines ยกเลิกเที่ยวบินหลายพันเที่ยวเป็นเวลาหลายวันหลังการอัปเดตของ CrowdStrike และใช้เวลานานกว่าจะฟื้นตัว
- บทความของ ABC News รายงานว่าการรับมือเหตุขัดข้องจำเป็นต้อง แก้ไขด้วยมือ ในแต่ละระบบคอมพิวเตอร์ แม้ตัวการแก้ไขเองจะทำได้ภายใน 10 นาที แต่ Delta มีเทอร์มินัลดิจิทัลจำนวนมาก จึงต้องใช้กำลังคนมาก
- คำอธิบายนี้เพียงอย่างเดียวยังอธิบายความแตกต่างระหว่าง Delta กับสายการบินอื่นได้ไม่เพียงพอ
- ความคิดเห็นหนึ่งบน Reddit ให้คำอธิบายที่ยังไม่ได้รับการยืนยันว่า Delta ไม่มีแผนกู้คืนจากภัยพิบัติและแผนความต่อเนื่องทางธุรกิจด้าน IT ที่เหมาะสม ขณะที่ United, American และ Frontier ดำเนินแผนได้ทันทีจึงฟื้นตัวได้เร็ว
- ความคิดเห็นนี้อ้างว่า United และ American ก็พึ่งพา Windows มากพอ ๆ กับ Delta
- ยังระบุด้วยว่า American ฟื้นตัวได้ภายในสิ้นวันศุกร์และกลับมาดำเนินงานปกติในวันเสาร์ ส่วน United แก้ปัญหาได้ในเช้าวันเสาร์และกลับมาใช้ตารางบินปกติในบ่ายวันเสาร์
- คำอธิบายดังกล่าวเป็นความคิดเห็นบน Reddit ที่ไม่มีแหล่งอ้างอิง และมีข้อสงวนว่าอาจผิดได้
วิธีวิเคราะห์โดยใช้ข้อมูล ADS-B
- การวิเคราะห์ใช้ ข้อมูล ADS-B ดิบ จาก ADS-B Exchange
- ใช้โค้ดที่เขียนขึ้นเองเพื่อตรวจจับการขึ้นบินของอากาศยาน และถือว่าการขึ้นบินหนึ่งครั้งโดยประมาณสอดคล้องกับหนึ่งเที่ยวบิน
- จำนวนการขึ้นบินกับจำนวนเที่ยวบินไม่เหมือนกันโดยสมบูรณ์ แต่ตั้งสมมติฐานว่าใกล้เคียงพอสำหรับวัตถุประสงค์นี้
- บางกรณีอาจถูกนับต่ำกว่าจริง เช่น อากาศยานที่ขึ้นจากสนามบินนอกพื้นที่ครอบคลุมของ ADS-B Exchange
- เนื่องจากการนับต่ำกว่าจริงเกิดขึ้นอย่างเป็นระบบ จึงยังใช้เปรียบเทียบระหว่างช่วงเวลาได้ และแม้จำนวนเที่ยวบินแบบสัมบูรณ์อาจต่ำกว่าจริง แต่ถือว่า การเปลี่ยนแปลงเป็นเปอร์เซ็นต์ มีความถูกต้อง
- เนื่องจากมีโค้ดตรวจจับการขึ้นบินอยู่แล้ว จึงใช้จำนวนการขึ้นบินแทนที่จะนับจำนวนอากาศยานที่กำลังบินใหม่
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
เคยอ่านมาว่า Delta ใช้เวลาฟื้นตัวนานเพราะ ซอฟต์แวร์ติดตามลูกเรือ ได้รับผลกระทบอย่างหนัก
ที่มา: https://news.delta.com/update-delta-customers-ceo-ed-bastian
มีใจความว่า “โดยเฉพาะเครื่องมือตัวหนึ่งที่เกี่ยวกับการติดตามลูกเรือได้รับผลกระทบ ทำให้ไม่สามารถรับมือกับจำนวนการเปลี่ยนแปลงที่ไม่เคยมีมาก่อนซึ่งเกิดจากระบบหยุดชะงักได้อย่างมีประสิทธิภาพ”
ระบบยังไม่พร้อมก่อนถึงเวลาที่ต้องใช้ในช่วงเช้าที่เร่งที่สุด จึงมีความเป็นไปได้สูงว่าต้องสลับไปใช้การประมวลผลแบบแมนนวลซึ่งเป็นกลยุทธ์ความต่อเนื่องทางธุรกิจ วิธีนี้เสียเปรียบทั้งด้านปริมาณงานที่รองรับได้และเวลาฟื้นตัว และยิ่งอยู่นานก็ยิ่งแย่ลงตามธรรมชาติ
สิ่งที่เห็นทั้งจากกรณีของ Southwest และครั้งนี้ของ Delta ดูจะเป็นการที่สายการบินขนาดใหญ่ไม่มีทั้งกำลังคนหรือช่องว่างในตารางงานมากพอจะรับได้เมื่อเปลี่ยนเข้าสู่ โหมดความต่อเนื่องทางธุรกิจ. เรื่องนี้ควรมีการสอบสวน และหวังว่าบทลงโทษทางการเงินจะช่วยกระตุ้นให้เกิดการเปลี่ยนแปลง แต่คงต้องรอดูต่อไป
พูดให้ง่ายขึ้นคือ ซอฟต์แวร์จัดตารางในเช้าวันศุกร์ล่มไป 4 ชั่วโมง ทำให้ต้อง “ยืม” คนจากที่ต่าง ๆ มาแทนพนักงานที่มาสายหรือลาป่วย จากนั้นกำลังคนที่ควรพร้อมสำหรับเที่ยวบินถัดไปก็พังไปด้วย และถึงจุดนั้นก็ได้แต่หวังว่าระบบจะกลับมา แต่ถ้ายังไม่กลับก็ต้องไปยืมจากเที่ยวบินตอนเย็นอีก
ระหว่างนั้นเที่ยวบินที่ล่าช้าหรือถูกยกเลิกก็ยังกระทบต่อชั่วโมงทำงานที่เหลือของพนักงานซึ่งเดิมทีพร้อมปฏิบัติงานอยู่แล้ว พอปฏิกิริยาลูกโซ่นี้ดำเนินต่อไปจนเข้าสุดสัปดาห์ ก็ต้องมานั่งเคลียร์ก่อนว่าลูกเรือแต่ละคนบันทึกชั่วโมงทำงานจริงไปเท่าไร และก็ไม่แน่ชัดอีกว่าจะพาพวกเขากลับไปยังจุดเดิมได้ทันเวลาอย่างไร
สายการบินอื่นเลือกดีเลย์เที่ยวบิน แต่ Delta ยกเลิกทันที ผลคือมีทั้งคนและเครื่องบินค้างอยู่ผิดที่มากขึ้น ทำให้กู้สถานการณ์ได้ยากกว่าเดิม
สงสัยว่ามีใครบ้างที่ แผนกู้คืนจากภัยพิบัติ ซึ่งแข็งแรง อัปเดตทันสมัย และซ้อมไว้ดี ช่วยชีวิตไว้ได้จริง หรือจริง ๆ แล้วทุกคนแค่รันระบบแบบเสี่ยงดวงกันอยู่ไม่ว่า IT จะใช้เงินกับแบ็กอัปและการกู้คืนหรือไม่
เรายังมีระบบกู้คืนที่ทำงานได้แม้ในสถานการณ์แบบ Thames Barrier ล้มเหลวแล้ว Docklands หายไปด้วย น่าเสียดายที่ผู้ให้บริการเอาต์ซอร์สบางรายไม่ได้มีทัศนคติแบบนั้น
แน่นอนว่ามีการสะดุดชั่วคราว และราว 10 นาทีมีปัญหาอย่าง page timeout หรือการรีสตาร์ตโปรเซส แต่โดยรวมแล้วไซต์ต่าง ๆ fail over ได้ ทำให้เรายังพอเดินต่อแบบกระท่อนกระแท่นได้ระหว่างสืบหาสาเหตุ
ทางดาต้าเซ็นเตอร์ให้ service credit มูลค่า 19 หรือ 21 ดอลลาร์นี่แหละพร้อมคำขอโทษ CEO โมโหมากและขู่จะฟ้อง แต่สุดท้ายก็ไม่ได้เกิดขึ้นจริง และผู้อำนวยการฝ่ายโครงสร้างพื้นฐาน IT ก็ขอบคุณเงียบ ๆ ที่เราเตรียม failover ซึ่งส่วนใหญ่ทำงานได้ไว้แล้ว
ดังนั้นสาเหตุที่ Delta พังหนักขนาดนั้นก็ดูจะเป็นเพราะ การกู้คืนจากภัยพิบัติที่ไม่เพียงพอ จริง
สิ่งที่ไม่เข้าใจจากกราฟเหล่านี้คือ ทำไม จำนวนเที่ยวบินขึ้นบินเพิ่มขึ้นเมื่อเทียบกัน ตั้งแต่เล็กน้อย ก่อน ที่อัปเดต CrowdStrike จะถูกปล่อย
เห็นทั้งในกราฟรวม และในกราฟของ United, American โดยเฉพาะ Delta ก็มองเห็นเหมือนกัน นึกเหตุผลไม่ออก อาจเป็นแค่ noise แบบสุ่ม หรืออาจมีอะไรผิดปกติในช่วงเวลาเดียวกันของสัปดาห์ก่อนก็ได้
ดังนั้นต่อให้บอกว่า เพิ่มขึ้น 25% ก็อาจหมายถึงแค่มีเที่ยวบินขึ้นเพิ่ม 12 เที่ยวต่อชั่วโมงทั่วทั้งสหรัฐเท่านั้น มี noise อยู่มากแน่นอน และการดูทั้งค่าจริงและการเปลี่ยนแปลงแบบเปอร์เซ็นต์ร่วมกันก็ช่วยให้พอจับภาพได้ว่าเกิดอะไรขึ้น
ถ้ามีข้อมูลสองวันก็น่าจะพอสำหรับดูแนวโน้มหลักของผลกระทบจาก CrowdStrike แต่ยังไม่พอจะอธิบายความผันผวนทั้งหมด
สิ่งที่น่าสนใจที่สุดน่าจะเป็นการดูว่า คดีความ ที่ Delta ตั้งใจยื่นฟ้อง Microsoft และ CrowdStrike จะดำเนินไปอย่างไร
https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a
เนื้อหาในลิงก์ที่แนบมา: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
ใจความคือ “เพื่อให้เห็นภาพว่าระบบปฏิบัติการนี้เก่าแค่ไหน Windows 3.1 เปิดตัวครั้งแรกในปี 1992 และ Microsoft ยุติการสนับสนุนในวันที่ 31 ธันวาคม 2001 ยกเว้นเวอร์ชัน embedded ส่วนเวอร์ชัน embedded ก็สิ้นสุดอย่างเป็นทางการในปี 2008”
ได้ยินเรื่อง Windows 3.1 นี้ถูกพูดซ้ำไปซ้ำมามาเรื่อย ๆ เพราะมาจาก TechRadar แถมยังมีคำว่า “Pro” อยู่ในชื่อ ก็คงไม่น่าแต่งขึ้นมาลอย ๆ ใช่ไหม? ถึงอย่างนั้นก็ยังเชื่อไม่ลงทั้งหมด มีใครที่ทำงานอยู่ที่ Southwest ยืนยันได้ไหมว่าระบบจัดตารางงานหลักยังรันบน Windows 3.1 อยู่จริงหรือเปล่า?
คำพูดที่ว่า SkySolver และ Crew Web Access ซึ่ง Southwest พัฒนาขึ้นเอง “ดูเก่าในเชิงประวัติศาสตร์เหมือนถูกออกแบบมาสำหรับ Windows 95” ถูกบิดเบือนกลายเป็น “รันอยู่บน Windows 3.1”
[1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
ไม่ใช่ทวีตของ Southwest และไม่ใช่ทวีตของคนที่บอกว่าเคยทำงานที่ Southwest ด้วย แค่เป็นทวีตหนึ่งเท่านั้น
https://x.com/ArtemR/status/1815408553131426179
https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
ลูกค้าบางรายยังรัน Windows 3.11 อยู่บนระบบ AT เก่า ๆ ในดาต้าเซ็นเตอร์ และเวลาพังพวกเขาก็ไปซื้อคอมพิวเตอร์เก่าจาก craigslist กับ eBay เพื่อให้มีฮาร์ดแวร์สำรองไว้ใช้ ถ้าระบบแบบนั้นยังถูกใช้อยู่จนถึงตอนนี้ก็ไม่น่าแปลกใจเท่าไร
Berlin Brandenburg โดนหนักพอตัว ในฐานะผู้ใช้ BER ที่มีเรื่องให้บ่นเยอะอยู่แล้ว ผมไม่แปลกใจเลยที่ที่นั่นเป็นหนึ่งในสถานที่ที่เจอ ผลกระทบเลวร้ายที่สุด
ถึงอย่างนั้น การแจ้งเตือนทันทีด้วยแบนเนอร์บนสุดของเว็บไซต์ก็ยังถือว่าดีกว่า ระบบจองคิวของสำนักงานตรวจคนเข้าเมืองล่มอยู่นานกว่าหนึ่งเดือน และใช้เวลาตั้ง 3 สัปดาห์กว่าจะยอมรับว่าเกิดเรื่องนี้ขึ้น
น่าจะมีการฟ้องร้องตามมา ดูเหมือน Delta จะเตรียมไว้แล้ว
https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html
ไดรเวอร์ของบุคคลที่สามที่ฝ่าย IT ภายในองค์กรติดตั้งเอง มันเกี่ยวอะไรกับ Microsoft?
มีใครรู้ไหมว่าทำไม Minneapolis-St Paul ถึงเริ่มเจอ การยกเลิกจำนวนมาก เร็วกว่าสนามบินอื่น ๆ ในสหรัฐอย่างชัดเจน?
วิธีไม่ให้ล่ม: Southwest ไม่ได้รับผลกระทบเพราะ ไม่ได้ใช้ CrowdStrike
ฉันไม่เข้าใจจริง ๆ ว่าทำไมโซเชียลมีเดียของฉันถึงมีระบบสำรองและโครงสร้างพื้นฐานที่ดีกว่า แต่ฝั่งระบบปฏิบัติการที่คนทั้งโลกใช้งานกลับไม่มี
ขณะที่ธุรกิจหลักของสายการบินคือทำให้เครื่องบินบินได้ ซึ่งพวกเขาทำได้ดีมาก แต่ IT สำหรับพวกเขาใกล้เคียงกับการเป็นเครื่องมือที่ซื้อจากภายนอกมากกว่า และพวกเขาไม่ได้เข้าใจมันในแบบเดียวกับบริษัทโซเชียลมีเดีย
เลยต้องพึ่งผู้รับจ้างภายนอกให้ทำให้เรียบร้อย ซึ่งผู้รับจ้างเหล่านั้นก็มักได้งานเพราะถูกที่สุด หรือเพราะโน้มน้าวผู้ซื้อได้ว่าบริการของตัวเองเป็น “แนวปฏิบัติที่เป็นเลิศของอุตสาหกรรม”
https://news.ycombinator.com/item?id=28750894
และสำหรับคำว่า “โครงสร้างพื้นฐานเมื่อเทียบกับระบบปฏิบัติการ” ผม/ฉันมองว่าคุณภาพของโครงสร้างพื้นฐานของ Microsoft ไม่เกี่ยวข้องกับประเด็นนี้
ฝั่งแรกค่าตอบแทนดีและมีทั้งสถานะกับทุนทางการเมืองอยู่พอสมควร ส่วนฝั่งหลังค่าจ้างต่ำ และสถานะหรือทุนทางการเมืองก็มักอยู่ระดับใกล้เคียงกับพนักงานทำความสะอาด
กำไรปีที่แล้วก็อยู่ที่ 39,000 ล้านดอลลาร์ เทียบกับ 7,800 ล้านดอลลาร์ของสายการบินสหรัฐทั้งหมด แน่นอนว่าพวกเขามีระบบที่ดีกว่า