แถลงการณ์เกี่ยวกับเหตุขัดข้องที่กำลังดำเนินอยู่ของ SourceHut

 (outage.sr.ht)
1 คะแนน โดย GN⁺ 2024-01-14 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

สถานะความพร้อมใช้งานของบริการปัจจุบัน

  • sr.ht: ออฟไลน์
  • meta.sr.ht: ออฟไลน์
  • git.sr.ht: ออฟไลน์
  • hg.sr.ht: ออฟไลน์
  • todo.sr.ht: ออฟไลน์
  • lists.sr.ht: ออฟไลน์
  • paste.sr.ht: ออฟไลน์
  • man.sr.ht: ออฟไลน์
  • pages.sr.ht: ออฟไลน์
  • builds.sr.ht: ออฟไลน์
  • chat.sr.ht: ออฟไลน์
  • object storage ยังไม่สามารถใช้งานได้ในขณะนี้ ทำให้รีลีสที่แนบกับแท็กของ git และ hg ก็ยังใช้งานไม่ได้เช่นกัน
  • hg.sr.ht ยังมีปัญหาด้านประสิทธิภาพที่ทราบอยู่และปัญหาที่เกี่ยวข้องกับ hg clone และเนื่องจากมีการดูแลโดยชุมชน งานกู้คืนจึงถูกพักไว้จนกว่าผู้ดูแลจากชุมชนจะเข้ามาดำเนินการ

อัปเดต 2024-01-13 14:17 UTC

  • จำเป็นต้องหาผู้ให้บริการทรานซิตรายใหม่ และกำลังเจรจากับผู้ให้บริการเพื่อบรรเทาปัญหา
  • จะเริ่มงานวิศวกรรมในเร็ว ๆ นี้ และจะแจ้งให้ทราบหากมีอัปเดตเพิ่มเติม

อัปเดต 2024-01-13 13:00 UTC

  • ผู้ให้บริการทรานซิตรายใหม่แจ้งว่าการโจมตี DDoS ตามมายังเครือข่ายใหม่แล้ว
  • ผู้ให้บริการได้ติดตั้งมาตรการบรรเทาแล้ว และไม่คาดว่าจะเกิดการหยุดให้บริการ

อัปเดต 2024-01-13 12:40 UTC

  • บริการอีเมลสำหรับ lists และ todo ได้รับการกู้คืนแล้ว
  • อีเมลที่ค้างอยู่ระหว่างช่วงหยุดชะงักจะกลับมาถูกประมวลผลต่อในตอนนี้ และเชื่อว่าไม่มีอีเมลสูญหาย

อัปเดต 2024-01-13 11:42 UTC

  • นำ pages.sr.ht กลับเข้าสู่บริการในโหมดอ่านอย่างเดียว
  • โดเมนแบบกำหนดเองทั้งหมดควรเริ่มใช้งานได้ในเร็ว ๆ นี้ ยกเว้นโดเมนแบบกำหนดเองที่ใช้ apex record
  • ผู้ใช้ที่ได้รับผลกระทบจำเป็นต้องมีการดำเนินการด้วยตนเอง

อัปเดต 2024-01-13 11:00 UTC

  • เปิดใช้งานการเข้าถึงแบบอ่าน/เขียนสำหรับบริการส่วนใหญ่แล้ว
  • hg ยังเป็นแบบอ่านอย่างเดียว ขณะที่ todo และ lists รับคำขอผ่านเว็บได้แล้ว แต่ระบบเมลยังอยู่ระหว่างดำเนินการ

อัปเดต 2024-01-13 09:26 UTC

  • นำ hg.sr.ht ขึ้นสู่โหมดอ่านอย่างเดียว
  • กำลังทำงานเพื่อเปิดใช้งานการอ่าน/เขียนสำหรับบริการที่ใช้งานได้ในวันนี้
  • เสร็จสิ้นการดึงความต่างจากแบ็กอัปของ git.sr.hg แล้ว และส่วนของ hg ก็กำลังจะเสร็จในเร็ว ๆ นี้

อัปเดต 2024-01-12 20:49 UTC

  • กำลังดำเนินงานขั้นสุดท้ายสำหรับเป้าหมายของวันนี้
  • ขณะนี้ให้บริการหลัก 7 รายการในโหมดอ่านอย่างเดียว
  • ปัญหาก่อนหน้านี้ที่เกี่ยวข้องกับ git clone/fetch ก็ได้รับการแก้ไขแล้วเช่นกัน

อัปเดต 2024-01-12 16:38 UTC

  • นำ todo และ lists กลับมาออนไลน์ในโหมดอ่านอย่างเดียว

อัปเดต 2024-01-12 16:13 UTC

  • เริ่มนำบางบริการกลับมาออนไลน์แล้ว
  • meta และ git จะเริ่มใช้งานได้ตามการกระจายของ DNS

SourceHut คืออะไร?

  • SourceHut เป็นบริษัทที่ก่อตั้งโดย Drew และขณะนี้อยู่ในสถานะหยุดให้บริการ
  • SourceHut ซึ่งขึ้นชื่อเรื่องความน่าเชื่อถือ กำลังเผชิญกับเหตุขัดข้องที่ร้ายแรงและยาวนานที่สุดเท่าที่เคยมีมา
  • ทีม SourceHut กำลังทุ่มเททุกความพยายามเพื่อแก้ไขปัญหาและกู้คืนบริการให้เร็วที่สุดเท่าที่จะทำได้

เกิดอะไรขึ้น?

  • เมื่อวันที่ 10 มกราคม เวลา 06:30 UTC ได้เริ่มมีการโจมตีแบบปฏิเสธการให้บริการแบบกระจาย (DDoS) ต่อ SourceHut
  • โดยปกติ SourceHut สามารถรับมือการโจมตี DDoS ทั่วไปได้ แต่การโจมตีครั้งนี้มีขนาดใหญ่เกินกว่าที่จะบรรเทาได้ด้วยตัวเอง
  • ผู้ให้บริการเครือข่ายต้นทางได้บล็อก SourceHut ทั้งหมด ทำให้ทั้งอินเทอร์เน็ตและทีมงานของ SourceHut ไม่สามารถเข้าถึงเซิร์ฟเวอร์ได้
  • ดาต้าเซ็นเตอร์ PHL ได้รับผลกระทบ และ SourceHut เช่าพื้นที่โคโลเคชันจากผู้ให้บริการใน PHL
  • ผู้ให้บริการใน PHL ผ่านการเข้าซื้อกิจการสองครั้ง และบัญชีของ SourceHut ตกหล่นระหว่างการย้ายระบบทิกเก็ต ส่งผลให้การติดต่อผู้ให้บริการล่าช้าในช่วงแรก
  • ความพร้อมใช้งานของ SourceHut ได้รับการกู้คืนบางส่วนในช่วงเย็นของวันที่ 10 มกราคม แต่เมื่อต้นวันที่ 11 มกราคม การโจมตี DDoS รุนแรงขึ้น ผู้ให้บริการจึงบังคับบล็อกอีกครั้ง

เรากำลังดำเนินการอะไรอยู่?

  • SourceHut มีไซต์อยู่สามแห่ง (PHL, FRE, AMS) โดย PHL เป็นไซต์หลักและขณะนี้ออฟไลน์อยู่
  • เมื่อไม่สามารถเข้าถึง PHL ได้เลย จึงเริ่มกู้คืนจากแบ็กอัปเพื่อทำการติดตั้ง SourceHut แบบขนานที่ AMS
  • แนวโน้มเรื่องการสูญหายของข้อมูลผู้ใช้ถือว่าดี โดยแบ็กอัปทำงานและได้รับการทดสอบเป็นประจำ
  • กำลังกู้คืนบริการ SourceHut ที่ AMS โดย meta, todo, lists, paste และ project hub สามารถทำงานได้เต็มรูปแบบบนข้อมูลจากสภาพแวดล้อมการใช้งานจริง
  • กำลังให้ความสำคัญกับการกู้คืนบริการอย่าง git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht และ builds.sr.ht
  • เป้าหมายคือเปิดให้ชุมชนเข้าถึงแบบอ่านอย่างเดียวโดยเร็วที่สุด จากนั้นจึงกู้คืนการเข้าถึงแบบอ่าน/เขียนเต็มรูปแบบ

จะช่วยได้อย่างไร?

  • สิ่งที่จำเป็นที่สุดคือความอดทนและความเข้าใจ
  • การบรรเทาการโจมตีลักษณะนี้เป็นเหมือนการวิ่งมาราธอน และต้องระวังไม่ให้ทีมงานทำงานหนักเกินไป
  • คุณสามารถแชร์อัปเดตและข้อความให้กำลังใจได้ทาง Mastodon และช่อง IRC #sr.ht บน Libera Chat

ความเห็นของ GN⁺:

  1. สถานการณ์ปัจจุบันของ SourceHut เป็นเหตุการณ์สำคัญสำหรับชุมชนโอเพนซอร์สและนักพัฒนา โดยแสดงให้เห็นถึงความเปราะบางของบริการที่น่าเชื่อถือและความสำคัญของแผนรับมือเหตุฉุกเฉิน
  2. เหตุการณ์นี้ตอกย้ำความร้ายแรงของการโจมตี DDoS และความจำเป็นที่องค์กรต้องเตรียมพร้อมรับมือการโจมตีไซเบอร์ขนาดใหญ่
  3. การสื่อสารอย่างโปร่งใสและความพยายามแก้ปัญหาของทีม SourceHut ช่วยสร้างความเชื่อมั่นให้ผู้ใช้ และแสดงให้เห็นว่าการสนับสนุนและความอดทนจากชุมชนมีบทบาทสำคัญ

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-01-14
ความคิดเห็นใน Hacker News

  • ไม่นานมานี้บริการที่กำลังให้บริการอยู่ถูก โจมตีแบบ DDoS โดยก่อนหน้านั้นไม่นานหน่วยงานตำรวจอินเดียได้ขอข้อมูลผู้ใช้บางราย
    พวกเขาอ้างว่าเกี่ยวข้องกับการก่อการร้าย และเมื่อเราอธิบายนโยบายว่าภายใต้เขตอำนาจของเราจำเป็นต้องมีกระบวนการทางกฎหมายที่ยาวนาน บริการก็ล่มลงภายในไม่กี่ชั่วโมงและยาวนานราว 12 ชั่วโมง
    ไม่มีการเรียกค่าไถ่ และสาเหตุที่เป็นไปได้มีเพียงสามอย่างคือ ตำรวจ/รัฐบาลอินเดีย, ผู้ใช้เดิม, หรือความบังเอิญล้วนๆ
    เมื่อเจอเรื่องแบบนี้ก็อดคิดไม่ได้ว่า “สิ่งนี้ไม่ควรเป็นไปได้” และมันเผยให้เห็นว่านี่คือ เกมที่เข้าข้างฝ่ายที่แข็งแกร่งเกินไป ไม่ว่าจะปล่อยปัญหาไว้หรือใช้งานมันโดยตรงก็ตาม

    • สงสัยว่ามั่นใจได้แค่ไหนว่าคำขอนั้นมาจาก ตำรวจอินเดีย จริง
      อาจเป็นคนอื่นที่ไม่ได้ข้อมูลตามต้องการแล้วโกรธแบบไร้เหตุผลก็ได้ไม่ใช่หรือ
    • เราเองก็เพิ่งโดน DDoS เมื่อไม่นานมานี้ และทุกครั้งก็อดสงสัยไม่ได้ว่าใครได้ประโยชน์ หรือจริงๆ แล้วมีใครสนใจเราด้วยหรือเปล่า
      ไม่รู้ว่าเป็นคู่แข่ง คนที่ว่างจัด หรือลูกค้าที่ไม่พอใจ และมีโอกาสสูงว่าอาจไม่มีวันรู้เลย
    • สิ่งสำคัญคือเป็นหน่วยงานไหนของตำรวจ
      มีกลุ่ม กึ่งทหาร·ความมั่นคงภายใน อย่าง CRPF หรือ ITBP ที่มีคำว่า “Police” อยู่ในชื่อด้วย และถ้าขึ้นกับ MHA ก็ไม่แปลกหากจะถูกจัดอยู่ในหมวด “ความมั่นคงของชาติ”
    • สิ่งที่น่าแปลกคือบริการนั้นยังไม่มี การป้องกัน DDoS ไม่ว่ารูปแบบใดก็ตาม
      สำหรับบริการสาธารณะ นี่แทบเป็นมาตรฐานที่ติดกันมาตั้งแต่ 10~20 ปีก่อนแล้ว และถ้าเป็นบริการขนาดเล็ก Cloudflare ก็ฟรีหรือราคาถูก แถมยังมีตัวเลือกอื่นอีกมาก
      ควรตั้งสมมติฐานไว้เลยว่าหลังเปิดตัวไม่นานก็อาจโดน DDoS แบบสุ่มได้ และแม้จะรู้ว่าใครเป็นคนโจมตีก็แทบไม่มีโอกาสติดตามเอาผิดได้
      ข้อสรุปที่ควรได้จากเรื่องนี้ไม่ใช่ “สิ่งนี้ไม่ควรเป็นไปได้” แต่ใกล้เคียงกับ “นี่เป็นเรื่องปกติมาหลายสิบปีและจะยังเกิดขึ้นต่อไป ดังนั้นต้องเตรียมสำหรับสิ่งถัดไป” มากกว่า
      ไม่ว่าจะเป็นหน่วยงานท้องถิ่นที่คอร์รัปชันหรือ script kiddie ตราบใดที่ครึ่งหนึ่งของโลกยังเชื่อมต่อผ่านอุปกรณ์ห่วยๆ DDoS ก็จะยังเกิดขึ้นต่อไป
    • ไม่คิดว่าตำรวจอินเดียจะมีความสามารถมากพอถึงขั้น DDoS บริการนั้นได้

  • ตอนเข้าทำงานสัปดาห์แรกที่ [ผู้ให้บริการโฮสต์โค้ดสาธารณะรายใหญ่] ก็โดน [ผู้กระทำระดับรัฐ] โจมตี น่าจะเพราะมีการโฮสต์บางอย่างที่ [ประเทศ] ไม่ชอบ
    การที่ SourceHut กับ Codeberg ได้รับความสนใจแบบนี้ ก็เป็นสัญญาณที่น่าชื่นใจเช่นกันว่าแพลตฟอร์มโฮสต์โค้ดทางเลือกกำลังเริ่มมี แรงดึงดูดจริง

    • สงสัยว่ารู้ได้อย่างไรว่าเป็น [ประเทศ]
      ไม่แน่ใจว่ามีการข่มขู่ชัดเจนหรือ ข้อความเรียกร้อง ทำนอง “ถ้าไม่ทำสิ่งนี้...” หรือไม่

  • น่าสนใจที่ได้รู้ว่าทำไม HN ถึงล่ม
    เนื้อหาคือ “คุณคงเห็นว่า Hacker News ล่มเมื่อวันที่ 10 มกราคม ซึ่งดูเหมือนจะเป็นผลจากการที่ Cogent ตอบสนองรุนแรงเกินไปในระหว่างบรรเทา DDoS ที่เล็งไปยัง SourceHut”
    เรื่องนี้มีอยู่ใน https://news.ycombinator.com/item?id=38939532 ด้วย แต่ก่อนหน้านี้ฉันไม่เห็น

    • งงว่าการที่ Cogent blackhole IP address ของ SourceHut หมายความว่าอย่างไร และมันไปกระทบ IP address ของ HN ได้อย่างไร
      ทั้งสองมีการจัดสรร IP และ ASN แยกจากกันโดยสิ้นเชิง
    • มีจุดหนึ่งที่ตัวเลือกสุดท้ายในการป้องกัน DDoS เหลือแค่ remote-triggered blackholing ที่ border router
      ผลคือทั้งเครือข่าย /24 จะไม่ถูก route กลับเข้าสู่เครือข่ายของตน และถูกทิ้งไปฝั่ง peer แทน
    • เมื่อคิดว่า Drew ไม่ค่อยชอบ Hacker News ก็ยังแปลกใจที่ใส่คำกล่าวถึงแบบนั้นไว้

  • น่าเสียดายที่ทีมต้องมารับมือกับเรื่องแบบนี้ แต่ก็อยากปรบมือให้ว่าเป็นตัวอย่างที่ยอดเยี่ยมในแง่ วิธีสื่อสาร กับลูกค้า

  • ขอให้พนักงาน sr.ht ผ่าน การย้าย AMS ไปได้ด้วยดี
    โชคดีที่ git กระจายศูนย์ได้มากพอ ทำให้ในช่วงไม่กี่วันที่ผ่านมาแทบทำงานทุกอย่างได้ และสิ่งเดียวที่ทำไม่ได้คือ push รีลีสใหม่ไปยัง upstream repository อย่างเป็นทางการ

    • การที่ SourceHut ไม่ซ่อน git send-email จากผู้ใช้แบบประคบประหงมเกินไป ทำให้การพัฒนาแบบร่วมมือกันบนแพลตฟอร์มนั้นมีโครงสร้างที่เอื้อต่อการทำต่อเนื่องเป็นพิเศษ
    • หมายถึงการย้ายไป AWS หรือเปล่า?
      ถ้าโดน DDoS บน AWS ต่อให้ Amazon ดูดซับทราฟฟิกไว้ได้ Drew และ SourceHut ก็น่าจะล้มละลายอยู่ดี
      ตั้งแต่แรกพวกเขาก็มีปัญหาเชิงหลักการกับ AWS อยู่แล้วด้วย

  • ตรงที่บอกว่า “เราได้คุยกับ CloudFlare แล้ว แต่ถูกเสนอราคาที่แบกรับไม่ไหวทางการเงิน” ทำให้นึกว่าอาจมีใครระดับบนใน Cloudflare ช่วยดันเรื่องนี้และช่วยให้ได้ ใบเสนอราคาที่เหมาะสม ก็ได้

    • ดูเหมือนหลายคนจะไม่รู้ว่าบริการฟรี/ราคาถูกของ Cloudflare จำนวนมากนั้น เน้น HTTP
      ความสามารถที่รองรับหลายโปรโตคอลคือส่วนของแพ็กเกจองค์กรที่ทำเงินให้พวกเขา
    • การที่ใบเสนอราคาแพง ไม่ได้แปลว่าเป็นใบเสนอราคาที่ไม่เหมาะสม
      CloudFlare จะทำให้ฟรีเพื่อการประชาสัมพันธ์ หรือไม่ก็ต้องเก็บเงินตามใบเสนอราคาที่เหมาะสมจริงๆ
    • ไม่เข้าใจว่าทำไมถึงควรคาดหวังให้ Cloudflare ออกค่าใช้จ่ายแทน SourceHut
    • อาจเป็นเพราะราคา Cloudflare Spectrum สำหรับปกป้อง บริการที่ไม่ใช่ HTTP อย่าง SSH แพงจนน่าตกใจ
    • สงสัยว่าทำไมถึงไม่เปิดเผยใบเสนอราคา
      บริษัทอื่นอาจเสนอเงื่อนไขที่ดีกว่าก็ได้

  • ถ้า Godot, Codeberg และ SourceHut โดนกันหมด แล้วมีเว็บอื่นอีกไหม?
    ดูเหมือนมีใครบางคนกำลังเล็งเป้าไปที่ เว็บไซต์เกี่ยวกับโอเพนซอร์ส

    • อาจมีใครกำลังสาธิต ความสามารถด้าน DDoS ของตัวเองเพื่อขาย capacity ให้ผู้ซื้อที่มีเจตนาร้าย

  • สงสัยว่าแรงจูงใจของการโจมตี DDoS ปกติคืออะไร
    มันน่าจะมีความเสี่ยงต่อการถูกดำเนินคดีอาญาอยู่บ้าง จึงดูเหมือนต้องมีอะไรให้ได้ตอบแทน และในกรณีนี้ทั้งการรีดไถหรือการขัดขวางคู่แข่งก็ดูไม่ค่อยสมเหตุสมผลนัก

    • หลายครั้งก็ง่ายแค่ว่ามี บุคคลที่ไม่มั่นคง รู้สึกว่าตัวเองถูกผู้เสียหายปฏิบัติอย่างไม่เป็นธรรม แล้วไปเช่าการโจมตีมา
      หนึ่งในเหตุผลใหญ่ที่ Discord ได้รับความนิยมก็เพราะ Skype และ Teamspeak เปิดเผย IP address และนี่ก็เป็นเหตุผลที่เกมออนไลน์ส่วนใหญ่เลิกใช้เครือข่าย P2P โดยตรง
    • สาเหตุมีได้หลากหลาย ทั้ง script kiddie, ผู้กระทำระดับรัฐ, หรือ botnet ที่ตั้งค่าผิด
      แรงจูงใจมักคล้ายกับเหตุผลที่หลายอย่างถูกเขียนใหม่ คือ “เพราะทำได้” หรือ “เพราะมันอยู่ตรงนั้น”
      แม้ฉันจะไม่ได้อยู่ในกลุ่มพวกนั้น แต่ถ้ามองจากประวัติศาสตร์และข่าว เหตุการณ์แบบนี้มักเกิดจากคนที่อายุต่ำกว่าเกณฑ์ฟ้องแบบผู้ใหญ่ หรืออยู่ในประเทศที่ไม่มีความตั้งใจจะบังคับใช้กฎหมาย ทำให้ความเสี่ยงต่ำ และถึงจะมีความเสี่ยงก็มีหลายคนที่ไม่คิดว่าตัวเองจะถูกจับ
    • แรงจูงใจอาจเป็น ค่าไถ่, การกำจัดคู่แข่ง, หรือการเซ็นเซอร์
      เช่น โจมตีเว็บพนัน หรือกรณีที่รัฐบาลจีนเล็ง GitHub เป็นประจำเพราะมีการโฮสต์ซอฟต์แวร์ VPN
    • สงสัยว่าเคยมีกรณีที่มีการดำเนินคดีกับ DDoS จริงๆ หรือไม่
    • เหตุผลที่ชัดที่สุดอาจเป็นเพราะมีใครบางคนไม่ชอบโค้ดบางส่วนที่โพสต์อยู่บนเว็บไซต์นั้น และเว็บไซต์นั้นก็เป็นเป้าที่ทำให้ล่มได้ง่าย
      อาจมีการเตือนเบาๆ มาก่อนแล้วซึ่งเราไม่รู้ก็ได้

  • Codeberg ก็ ล่มเพราะ DDoS เมื่อประมาณ 12 ชั่วโมงก่อนเช่นกัน
    https://status.codeberg.eu/status/codeberg

    • สงสัยว่าทำไมถึงพิจารณาจะย้ายไป EU
      ดูเหมือนบริการเพื่อนบ้านในภูมิภาคเดียวกันก็เจอปัญหาเดียวกัน และการย้ายไปยุโรปก็คงไม่ทำให้ปัญหานี้หายไป แต่มีเนื้อหาแบบนั้นอยู่ในประกาศสาธารณะ