แถลงการณ์เกี่ยวกับเหตุขัดข้องที่กำลังดำเนินอยู่ของ SourceHut

สถานะความพร้อมใช้งานของบริการปัจจุบัน

• sr.ht: ออฟไลน์
• meta.sr.ht: ออฟไลน์
• git.sr.ht: ออฟไลน์
• hg.sr.ht: ออฟไลน์
• todo.sr.ht: ออฟไลน์
• lists.sr.ht: ออฟไลน์
• paste.sr.ht: ออฟไลน์
• man.sr.ht: ออฟไลน์
• pages.sr.ht: ออฟไลน์
• builds.sr.ht: ออฟไลน์
• chat.sr.ht: ออฟไลน์
• object storage ยังไม่สามารถใช้งานได้ในขณะนี้ ทำให้รีลีสที่แนบกับแท็กของ git และ hg ก็ยังใช้งานไม่ได้เช่นกัน
• hg.sr.ht ยังมีปัญหาด้านประสิทธิภาพที่ทราบอยู่และปัญหาที่เกี่ยวข้องกับ hg clone และเนื่องจากมีการดูแลโดยชุมชน งานกู้คืนจึงถูกพักไว้จนกว่าผู้ดูแลจากชุมชนจะเข้ามาดำเนินการ

อัปเดต 2024-01-13 14:17 UTC

• จำเป็นต้องหาผู้ให้บริการทรานซิตรายใหม่ และกำลังเจรจากับผู้ให้บริการเพื่อบรรเทาปัญหา
• จะเริ่มงานวิศวกรรมในเร็ว ๆ นี้ และจะแจ้งให้ทราบหากมีอัปเดตเพิ่มเติม

อัปเดต 2024-01-13 13:00 UTC

• ผู้ให้บริการทรานซิตรายใหม่แจ้งว่าการโจมตี DDoS ตามมายังเครือข่ายใหม่แล้ว
• ผู้ให้บริการได้ติดตั้งมาตรการบรรเทาแล้ว และไม่คาดว่าจะเกิดการหยุดให้บริการ

อัปเดต 2024-01-13 12:40 UTC

• บริการอีเมลสำหรับ lists และ todo ได้รับการกู้คืนแล้ว
• อีเมลที่ค้างอยู่ระหว่างช่วงหยุดชะงักจะกลับมาถูกประมวลผลต่อในตอนนี้ และเชื่อว่าไม่มีอีเมลสูญหาย

อัปเดต 2024-01-13 11:42 UTC

• นำ pages.sr.ht กลับเข้าสู่บริการในโหมดอ่านอย่างเดียว
• โดเมนแบบกำหนดเองทั้งหมดควรเริ่มใช้งานได้ในเร็ว ๆ นี้ ยกเว้นโดเมนแบบกำหนดเองที่ใช้ apex record
• ผู้ใช้ที่ได้รับผลกระทบจำเป็นต้องมีการดำเนินการด้วยตนเอง

อัปเดต 2024-01-13 11:00 UTC

• เปิดใช้งานการเข้าถึงแบบอ่าน/เขียนสำหรับบริการส่วนใหญ่แล้ว
• hg ยังเป็นแบบอ่านอย่างเดียว ขณะที่ todo และ lists รับคำขอผ่านเว็บได้แล้ว แต่ระบบเมลยังอยู่ระหว่างดำเนินการ

อัปเดต 2024-01-13 09:26 UTC

• นำ hg.sr.ht ขึ้นสู่โหมดอ่านอย่างเดียว
• กำลังทำงานเพื่อเปิดใช้งานการอ่าน/เขียนสำหรับบริการที่ใช้งานได้ในวันนี้
• เสร็จสิ้นการดึงความต่างจากแบ็กอัปของ git.sr.hg แล้ว และส่วนของ hg ก็กำลังจะเสร็จในเร็ว ๆ นี้

อัปเดต 2024-01-12 20:49 UTC

• กำลังดำเนินงานขั้นสุดท้ายสำหรับเป้าหมายของวันนี้
• ขณะนี้ให้บริการหลัก 7 รายการในโหมดอ่านอย่างเดียว
• ปัญหาก่อนหน้านี้ที่เกี่ยวข้องกับ git clone/fetch ก็ได้รับการแก้ไขแล้วเช่นกัน

อัปเดต 2024-01-12 16:38 UTC

• นำ todo และ lists กลับมาออนไลน์ในโหมดอ่านอย่างเดียว

อัปเดต 2024-01-12 16:13 UTC

• เริ่มนำบางบริการกลับมาออนไลน์แล้ว
• meta และ git จะเริ่มใช้งานได้ตามการกระจายของ DNS

SourceHut คืออะไร?

• SourceHut เป็นบริษัทที่ก่อตั้งโดย Drew และขณะนี้อยู่ในสถานะหยุดให้บริการ
• SourceHut ซึ่งขึ้นชื่อเรื่องความน่าเชื่อถือ กำลังเผชิญกับเหตุขัดข้องที่ร้ายแรงและยาวนานที่สุดเท่าที่เคยมีมา
• ทีม SourceHut กำลังทุ่มเททุกความพยายามเพื่อแก้ไขปัญหาและกู้คืนบริการให้เร็วที่สุดเท่าที่จะทำได้

เกิดอะไรขึ้น?

• เมื่อวันที่ 10 มกราคม เวลา 06:30 UTC ได้เริ่มมีการโจมตีแบบปฏิเสธการให้บริการแบบกระจาย (DDoS) ต่อ SourceHut
• โดยปกติ SourceHut สามารถรับมือการโจมตี DDoS ทั่วไปได้ แต่การโจมตีครั้งนี้มีขนาดใหญ่เกินกว่าที่จะบรรเทาได้ด้วยตัวเอง
• ผู้ให้บริการเครือข่ายต้นทางได้บล็อก SourceHut ทั้งหมด ทำให้ทั้งอินเทอร์เน็ตและทีมงานของ SourceHut ไม่สามารถเข้าถึงเซิร์ฟเวอร์ได้
• ดาต้าเซ็นเตอร์ PHL ได้รับผลกระทบ และ SourceHut เช่าพื้นที่โคโลเคชันจากผู้ให้บริการใน PHL
• ผู้ให้บริการใน PHL ผ่านการเข้าซื้อกิจการสองครั้ง และบัญชีของ SourceHut ตกหล่นระหว่างการย้ายระบบทิกเก็ต ส่งผลให้การติดต่อผู้ให้บริการล่าช้าในช่วงแรก
• ความพร้อมใช้งานของ SourceHut ได้รับการกู้คืนบางส่วนในช่วงเย็นของวันที่ 10 มกราคม แต่เมื่อต้นวันที่ 11 มกราคม การโจมตี DDoS รุนแรงขึ้น ผู้ให้บริการจึงบังคับบล็อกอีกครั้ง

เรากำลังดำเนินการอะไรอยู่?

• SourceHut มีไซต์อยู่สามแห่ง (PHL, FRE, AMS) โดย PHL เป็นไซต์หลักและขณะนี้ออฟไลน์อยู่
• เมื่อไม่สามารถเข้าถึง PHL ได้เลย จึงเริ่มกู้คืนจากแบ็กอัปเพื่อทำการติดตั้ง SourceHut แบบขนานที่ AMS
• แนวโน้มเรื่องการสูญหายของข้อมูลผู้ใช้ถือว่าดี โดยแบ็กอัปทำงานและได้รับการทดสอบเป็นประจำ
• กำลังกู้คืนบริการ SourceHut ที่ AMS โดย meta, todo, lists, paste และ project hub สามารถทำงานได้เต็มรูปแบบบนข้อมูลจากสภาพแวดล้อมการใช้งานจริง
• กำลังให้ความสำคัญกับการกู้คืนบริการอย่าง git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht และ builds.sr.ht
• เป้าหมายคือเปิดให้ชุมชนเข้าถึงแบบอ่านอย่างเดียวโดยเร็วที่สุด จากนั้นจึงกู้คืนการเข้าถึงแบบอ่าน/เขียนเต็มรูปแบบ

จะช่วยได้อย่างไร?

• สิ่งที่จำเป็นที่สุดคือความอดทนและความเข้าใจ
• การบรรเทาการโจมตีลักษณะนี้เป็นเหมือนการวิ่งมาราธอน และต้องระวังไม่ให้ทีมงานทำงานหนักเกินไป
• คุณสามารถแชร์อัปเดตและข้อความให้กำลังใจได้ทาง Mastodon และช่อง IRC #sr.ht บน Libera Chat

ความเห็นของ GN⁺:

1. สถานการณ์ปัจจุบันของ SourceHut เป็นเหตุการณ์สำคัญสำหรับชุมชนโอเพนซอร์สและนักพัฒนา โดยแสดงให้เห็นถึงความเปราะบางของบริการที่น่าเชื่อถือและความสำคัญของแผนรับมือเหตุฉุกเฉิน
2. เหตุการณ์นี้ตอกย้ำความร้ายแรงของการโจมตี DDoS และความจำเป็นที่องค์กรต้องเตรียมพร้อมรับมือการโจมตีไซเบอร์ขนาดใหญ่
3. การสื่อสารอย่างโปร่งใสและความพยายามแก้ปัญหาของทีม SourceHut ช่วยสร้างความเชื่อมั่นให้ผู้ใช้ และแสดงให้เห็นว่าการสนับสนุนและความอดทนจากชุมชนมีบทบาทสำคัญ

[GN⁺]

ความคิดเห็นบน Hacker News

• บริการถูกโจมตีแบบ DDoS ทันทีหลังจากได้รับคำขอข้อมูลของผู้ใช้รายหนึ่งจากตำรวจอินเดีย ตำรวจอินเดียอ้างว่าเกี่ยวข้องกับการก่อการร้าย แต่ฝั่งบริการอธิบายว่าจำเป็นต้องมีขั้นตอนทางกฎหมาย ไม่กี่ชั่วโมงต่อมาบริการก็ล่ม และยาวนานราว 12 ชั่วโมง ไม่มีการเรียกค่าไถ่ และมีการคาดถึงสาเหตุที่เป็นไปได้ 3 อย่าง: ตำรวจ/รัฐบาลอินเดีย, ผู้ใช้รายเดิม, หรือเป็นเรื่องบังเอิญโดยสิ้นเชิง
• ตอนทำงานสัปดาห์แรกที่ [คลังโค้ดสาธารณะขนาดใหญ่ยอดนิยม] ก็เคยถูกโจมตีโดย [ผู้กระทำการระดับรัฐ] เรื่องนี้ถูกมองว่าเป็นสัญญาณเชิงบวกว่าคลังทางเลือกอย่าง SourceHut และ Codeberg เริ่มได้รับความสนใจแล้ว
• ตอนนี้รู้แล้วว่าทำไม Hacker News ถึงล่มในวันที่ 10 มกราคม สาเหตุคือมาตรการที่เกินพอดีของ Cogent เพื่อบรรเทาการโจมตี DDoS ที่มุ่งเป้าไปที่ SourceHut
• แม้จะรู้สึกเสียดายที่ทีมต้องรับมือกับสถานการณ์แบบนี้ แต่ก็ชื่นชมวิธีที่พวกเขาสื่อสารกับลูกค้า
• ขอให้พนักงาน sr.ht รับมือกับการย้าย AMS ได้ดี และเพราะ git เป็นระบบกระจายศูนย์ ช่วงหลายวันที่ผ่านมาจึงยังทำงานทุกอย่างได้ ยกเว้นการปล่อยซอฟต์แวร์ใหม่
• เมื่อติดต่อ CloudFlare ก็ได้รับการเสนอราคาที่ไม่สามารถจ่ายไหวในทางการเงิน แต่กำลังมองหาวิธีแก้ปัญหาอื่นที่เปิดเผยต่อสาธารณะได้โดยไม่เสี่ยงบอกแผนให้นักโจมตีรู้
• ดูเหมือนว่าเว็บไซต์ที่เกี่ยวข้องกับโอเพนซอร์สอย่าง Godot, codeberg และ sourcehut กำลังตกเป็นเป้าการโจมตี
• Drew ผู้ก่อตั้ง SourceHut ขอโทษสำหรับการล่มของบริการ และยอมรับว่านี่เป็นการหยุดชะงักที่ร้ายแรงและยาวนานที่สุดสำหรับ SourceHut ซึ่งขึ้นชื่อเรื่องความเสถียร พนักงานทุกคนกำลังทำเต็มที่เพื่อแก้ปัญหา
• มีการตั้งคำถามถึงแรงจูงใจของการโจมตี DDoS ว่าทำไมถึงยังเกิดขึ้นทั้งที่มีความเสี่ยงต่อการถูกดำเนินคดีทางอาญา โดยเฉพาะในกรณีนี้ การข่มขู่หรือการขัดขวางจากคู่แข่งก็ดูไม่น่าโน้มน้าวนัก
• มีการตั้งคำถามกับตัวเองว่า "ถ้าศูนย์ข้อมูลหลักหายไปในวันพรุ่งนี้จะทำอย่างไร?" และกำลังวางแผนรับมืออย่างจริงจัง พร้อมเสนอให้มีสำเนาและการซิงก์ไว้ที่ศูนย์ข้อมูลอื่นเพื่อเตรียมพร้อมต่อเหตุไม่คาดฝัน