1 คะแนน โดย GN⁺ 2024-12-10 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Kiwix ระบุว่าในวันอาทิตย์ที่ 1 ธันวาคม 2024 เวลา 00:00 บริการโฮสติ้งถูก ระงับโดยไม่มีการแจ้งเตือนล่วงหน้า ทำให้ไม่สามารถเข้าถึงไลบรารีและดาวน์โหลดไฟล์ได้
  • สาเหตุคือ Hetzner ยกเลิกบัญชีของ Kiwix และ ปิดเซิร์ฟเวอร์ทั้งหมด โดย Kiwix ตรวจสอบถึงโฟลเดอร์สแปมแล้วแต่ไม่พบการแจ้งเตือนล่วงหน้า
  • เช้าวันจันทร์สามารถติดต่อ Hetzner ได้ แต่ไม่สามารถยืนยันเหตุผลการยกเลิกได้ และได้รับคำตอบว่าอีเมลที่ Hetzner อ้างว่าส่งไปนั้น ไม่สามารถส่งซ้ำได้
  • หลังจากข้อมูลบนเซิร์ฟเวอร์ถูกลบไปแล้ว Kiwix กู้คืนข้อมูลประมาณ 8TB จาก mirror ที่ไม่ได้รับผลกระทบและเครื่องใหม่ของ Scaleway โดยใช้เวลาประมาณ 48 ชั่วโมงในการนำกลับมาออนไลน์
  • อีเมลยกเลิกที่ถูกแชร์ภายหลังก็ไม่มีเหตุผลระบุไว้ และ Kiwix จะใช้เหตุการณ์นี้เป็นโอกาสพิจารณา มาตรการป้องกัน ใหม่ภายใต้ข้อจำกัดด้านทรัพยากร

บริการ Kiwix ถูกตัดตอนเที่ยงคืนวันอาทิตย์

  • วันอาทิตย์ที่ 1 ธันวาคม 2024 เวลา 00:00 โฮสติ้งเซิร์ฟเวอร์ของ Kiwix ถูก ระงับโดยไม่มีการแจ้งล่วงหน้า
  • Kiwix ระบุว่าจากเหตุการณ์นี้จึงไม่แนะนำให้ใช้บริการ Hetzner Online
  • เวลาที่เซิร์ฟเวอร์ถูกตัดการเชื่อมต่อคือเที่ยงคืนวันอาทิตย์ และ Kiwix มองว่าน่าจะเป็นการยกเลิกบริการตามกำหนดของฝั่ง Hetzner
  • แบ็กเอนด์พื้นที่เก็บข้อมูลหลักไม่สามารถเข้าถึงได้โดยสิ้นเชิง
    • ผู้ใช้ทั่วไปไม่สามารถเข้าถึงไลบรารีหรือดาวน์โหลดไฟล์ได้
    • Kiwix เองก็ไม่สามารถเชื่อมต่อไปยังพื้นที่เก็บข้อมูลเพื่อตรวจสอบสาเหตุได้

การยกเลิกบัญชีและข้อมูลเซิร์ฟเวอร์ที่ถูกลบทันที

  • เมื่อตรวจสอบพบว่า Hetzner ได้ยกเลิกบัญชีของ Kiwix และ ปิดเซิร์ฟเวอร์ทั้งหมด แล้ว
  • Kiwix ไม่ได้รับการแจ้งเตือนล่วงหน้า และไม่พบการแจ้งเตือนที่เกี่ยวข้องแม้ในโฟลเดอร์สแปม
  • ในวันอาทิตย์ไม่มีผู้ที่ติดต่อได้ และกว่าจะติดต่อ Hetzner ได้ก็เป็นเช้าวันจันทร์
  • สุดท้ายไม่ได้รับคำอธิบายเหตุผลของการยกเลิก
    • Hetzner ตอบว่าได้ส่งอีเมลไปแล้ว
    • Kiwix ขอให้ส่งซ้ำ แต่ Hetzner ตอบว่าไม่สามารถส่งอีเมลดังกล่าวซ้ำได้
  • ระหว่างนั้นเซิร์ฟเวอร์ทั้งหมดถูกลบไปแล้ว ทำให้ Kiwix ระบุว่าไม่มี วิธีกู้ข้อมูลกลับมา

การกู้คืนด้วย mirror และ Scaleway

  • Kiwix ยังมี mirror ที่ไม่ได้รับผลกระทบเหลืออยู่
  • เครื่องใหม่จัดหาจากผู้ให้บริการรายอื่นคือ Scaleway
  • จากนั้นเริ่มนำข้อมูลกลับเข้าสู่เซิร์ฟเวอร์ Master ใหม่ทันที
  • โดยรวมใช้เวลาประมาณ 48 ชั่วโมงในการนำข้อมูลขนาดราว 8TB กลับมาออนไลน์

จุดอ่อนด้านปฏิบัติการที่ถูกเปิดเผยและการตอบสนองต่อเนื่อง

  • เหตุการณ์นี้ทำให้ Kiwix พบ จุดอ่อน หลายประการ
  • ขณะเดียวกันก็ยืนยันได้ว่าทีมดูแลโครงสร้างพื้นฐานสามารถพลิกสถานการณ์ได้ค่อนข้างรวดเร็ว
  • Kiwix ระบุว่าจะพิจารณาว่าจะนำ มาตรการป้องกัน ใหม่มาใช้ภายใต้ข้อจำกัดด้านทรัพยากรอย่างไรในช่วงไม่กี่สัปดาห์หรือไม่กี่เดือนข้างหน้า

อีเมลยกเลิกที่ถูกแชร์ในภายหลัง

  • ภายหลัง Hetzner ได้แชร์อีเมลยกเลิก
  • อีเมลเป็นเพียงการแจ้งสั้น ๆ ว่าจะปิดบัญชี Kiwix ในสิ้นเดือนถัดไป
  • ไม่มีเหตุผลของการยกเลิก และจากถ้อยคำก็ไม่ได้ให้ความรู้สึกว่า Kiwix ละเมิด ข้อกำหนดการให้บริการ ของ Hetzner
  • Kiwix ระบุว่าอีเมลนี้ทำให้สามารถปิดเหตุการณ์นี้และเดินหน้าต่อไปได้
  • Kiwix เสริมว่าการเปิดเผยปัญหาต่อสาธารณะบนอินเทอร์เน็ตได้ผล

1 ความคิดเห็น

 
GN⁺ 2024-12-10
ความคิดเห็นบน Hacker News
  • เวลาถาม CTO ว่ามีแบ็กอัปหรือแผน B ไหม มักจะได้คำตอบว่า “อยู่บน AWS และก็แบ็กอัปไว้ที่นั่นด้วย บริษัทอย่าง AWS ไม่มีทางล่มสลายหรอก”
    ดังนั้นจึงถามต่อว่า ถ้าบัญชีถูกปิดจะทำอย่างไร เช่น กรณีบัญชีถูกโยงเข้าด้วยกันเพียงเพราะใช้เบอร์โทรศัพท์เดียวกับบริษัทที่ขายสินค้าที่มีปัญหาบน Amazon หรือกรณีเมื่อหลายปีก่อนที่ GCP จำแนกรูปภาพใน Drive ผิดแล้วปิดบัญชี
    แบ็กอัปต้องอยู่คนละที่ และ Terraform ก็ควรถูกตรวจสอบให้ใช้ได้กับผู้ให้บริการคลาวด์รายอื่นด้วย ไม่อย่างนั้นก็เท่ากับเอาทั้งบริษัทไปเสี่ยง
    ขอเสริมว่าไม่ได้ตั้งใจจะตำหนิ Hetzner เอง ใช้มานานกว่า 20 ปีแล้ว และที่ผ่านมาเคยมีเซิร์ฟเวอร์รายเครื่องถูกระงับบ้าง แต่ไม่เคยถูกยกเลิกทั้งบัญชี

    • บริษัทของเราเลือกใช้ หลายบัญชี AWS เพื่อหลีกเลี่ยงปัญหาที่เกิดจากการวางแผนที่แย่
      ตอนแรกบอกให้ย้ายออกจาก on-premises โดยไม่ต้องสนใจค่าใช้จ่าย จากนั้นบอกว่าต้องเป็นกลางต่อคลาวด์ แต่พอเดดไลน์ใกล้เข้ามาก็เปลี่ยนเป็น “ไม่ต้องสนใจหนี้ทางเทคนิค ทำให้รันบน AWS ให้เร็วที่สุด”
      ตอนนี้ค่าใช้จ่าย AWS กลายเป็นเรื่องใหญ่ เราเลยต้องแบกรับทั้ง “ความเป็นกลางต่อคลาวด์” และ “ลดต้นทุนบริการบนทุกคลาวด์” พร้อม ๆ กับการพัฒนาฟีเจอร์และการบำรุงรักษา เนื่องจากมีหนี้ทางเทคนิคและบั๊กจำนวนมาก ทั้งสองอย่างจึงช้าลงอย่างน้อย 10 เท่า
      คงต้องรีบหางานใหม่แล้ว ผู้บริหารและผู้จัดการระดับบนบริหารบริษัทได้เละเทะมาก ทุกวันมีแต่การตอบสนองแบบฉุกละหุกจากคนที่ไม่อยู่กับความเป็นจริงหรือแทบไม่รู้ว่าระบบทำงานอย่างไร และมีแต่ปัญหาด้านกระบวนการเพิ่มขึ้น ซึ่งแทบไม่ได้ช่วยแก้ปัญหาจริงเลย
    • อีกคำถามที่ดีคือ “ครั้งสุดท้ายที่ลอง กู้คืนจากแบ็กอัป คือเมื่อไหร่?”
      โดยปกติมักได้คำตอบทำนองว่า “มันเป็นเครื่องมือในตัว ทำไมต้องสมมติว่ามันจะเสียด้วย?” แล้วพอหลายเดือนหรือหลายปีต่อมาลองกู้คืนจริง ก็พบว่าข้อมูลสำคัญกลับไม่เคยถูกแบ็กอัปไว้เลย
    • https://cloud.google.com/blog/products/infrastructure/detail...
      เมื่อต้นปีนี้ Google Cloud เคยลบการ deploy บนคลาวด์ทั้งหมดของ กองทุนบำเหน็จบำนาญ แห่งหนึ่งในออสเตรเลียโดยไม่ได้ตั้งใจ ถ้าต้องการแบ็กอัปที่ทนทานจริง ๆ สุดท้ายผมคิดว่าควรย่อให้เหลือเป็น object storage ได้ และควรนำไปไว้บนคลาวด์ของบริษัทอื่น
    • เห็นด้วยเรื่องการแบ็กอัปข้อมูล แต่การทำสำเนาคอนฟิกไปยังผู้ให้บริการคลาวด์รายอื่นนั้น แพง ไม่ได้ง่าย และยังไม่แน่ว่าจะมีคอนฟิกที่เทียบแบบ 1:1 กับระบบปัจจุบันบนคลาวด์อื่นหรือไม่
      ยิ่งไปกว่านั้น มันอาจถูกปล่อยทิ้งไว้โดยไม่ได้ทดสอบ และกลายเป็นใช้ไม่ได้ในเวลาที่ต้องการที่สุด
    • CEO ของเราค้างชำระบิล AWS และดูเหมือนจะไม่เข้าใจว่า ถ้า S3 bucket ถูกลบ ธุรกิจทั้งหมดของบริษัทและทรัพย์สินทางปัญญาทั้งหมดก็จะหายไปเฉย ๆ ไม่มีแบ็กอัปในรูปแบบใดเลย
      ผมแบ็กอัปทุกอย่างไว้เองแบบแมนนวลแล้วก็จริง แต่มันแย่มาก
  • ขอฝากไว้เพราะมีข่าวที่ไม่เป็นความจริงเกี่ยวกับเรื่องนี้กำลังแพร่กระจายอยู่ เมื่อวันที่ 30 ตุลาคม 2024 เราได้ส่ง หนังสือแจ้งยกเลิก ทางอีเมล โดยระบุกรอบเวลาตามข้อกำหนด
    ทีมของเราได้ติดต่อกับลูกค้ารายนี้หลายครั้งแล้ว และเรายังมีบันทึกการสื่อสารด้วย โปรดวางใจได้ว่าเราไม่ได้ปิดบัญชีแบบสุ่ม ๆ ย่อมมีเหตุผลที่เฉพาะเจาะจงและชอบธรรมเสมอ เช่น การใช้งานบริการในทางที่ผิด หรือการละเมิดข้อกำหนด
    ดังนั้นขอให้ปฏิบัติตามข้อกำหนด: https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online

    • ขอ ข้อมูลเพิ่มเติม เกี่ยวกับกรณีนี้ได้ไหม?
      ในช่วงหลายปีที่ผ่านมา มีคนจำนวนมากบนออนไลน์ที่อ้างว่า Hetzner ปิดบัญชีโดยไม่บอกเหตุผล ผมคิดว่าส่วนใหญ่คงจงใจละเว้นรายละเอียดบางส่วนเพื่อให้ดูเหมือนไม่ใช่การละเมิดข้อกำหนด
      ถึงอย่างนั้น ในฐานะลูกค้า Hetzner แม้จะเป็นลูกค้ารายเล็ก ผมก็อยากรู้ว่าข้อร้องเรียนเหล่านั้นไม่มีมูล และยังไว้วางใจบริษัทนี้ได้อยู่
    • ดีใจที่ Katie ปรากฏตัว ในที่สุดก็ดีที่สามารถจัดทำเอกสารการสื่อสารได้ ไม่ใช่เฉพาะตอนที่ผู้คนเริ่มพูดกันบนอินเทอร์เน็ตเท่านั้น
      คุณน่าจะมีที่อยู่ของเราอยู่แล้ว แต่เผื่อว่าอาจ “สูญหาย” ไป ช่วยส่งต่ออีเมลลงวันที่ 30 ตุลาคมไปที่ contact @ kiwix.org ด้วย
      ด้านล่างคือจุดที่เราเริ่มต้น และน่าจะหาได้ง่ายจากหมายเลขอ้างอิง:

      Procedure: L0020649F
      Person: [redacted] / Kiwix
      Cause: Hello,

      Starting this morning (December 1st at 00:00 UTC), our servers went down.
      We received zero email nor notification of any kind from you.
      Looking for a way to contact you, I looked into this Unlock tab that list an incident
      that matches the time the problem started.

      It's been close to (12) hours already, without a single message from you. Our services
      are down.

      In the Robot dashboard, there is no server listed. In the Traffic statistics page, it
      says we have no IP.
      In the Cloud dashboard, we cant even enter, it says Access Denied.

      What's going on? The billing page is reachable and it indicates we paid all our
      invoices and the next one is to come in 5 days. So it's not a payment issue.

      I checked
      https://docs.hetzner.com/robot/dedicated-server/troubleshoot...

      I am not sure if we're locked because the traceroute does not lead to
      blocked.hetzner.com
      Because the server is not listed, we cant use the whitelist or any other tool.

      Please restore the service immediately.
      Please let us know what kind of issue there is if there is one.

      Only restoring SX65 #2453510 (135.181.224.247) is urgent. The two cloud ones can be
      sorted out later.
      วันถัดมา คือวันจันทร์ที่ 2 เราได้รับอีเมลอีกสองฉบับจาก Hetzner แต่ไม่มีฉบับใดพูดถึงปัญหาต้นตอ ตอนนั้นการเข้าถึงบัญชีของเราถูกล็อกไปแล้ว เราจึงต้องโทรไปที่เยอรมนี และบันทึกนั้นก็น่าจะตรวจสอบได้เช่นกัน
      ผมไม่แน่ใจว่า HN เป็นสถานที่ที่ดีที่สุดสำหรับเทียบบันทึกกันหรือไม่ แต่ถ้าที่นี่สะดวกสำหรับการตอบ ก็ตอบที่นี่ได้

    • การไล่ลูกค้าออกเพราะละเมิดข้อกำหนดที่คลุมเครือ กับการ ลบ ข้อมูลโดยไม่ให้โอกาสดึงข้อมูลออกมาก่อน เป็นคนละเรื่องกันโดยสิ้นเชิง
      โดยเฉพาะอย่างยิ่งถ้าแจ้งผ่านอีเมลเท่านั้น โดยไม่มีการยืนยันการรับหรือพยายามติดต่อผ่านช่องทางอื่น ขั้นตอนมาตรฐานของบริษัทคุณคือการลบข้อมูลถาวรทันทีที่บริการถูกระงับหรือ?
  • การสำรองข้อมูลไม่ใช่ประเด็นหลักตรงนี้ แน่นอนว่า การสำรองข้อมูลสำคัญ แต่ถ้า Hetzner ลบข้อมูลใช้งานจริงโดยไม่มีการเตือนหรือไม่มีช่วงผ่อนผันให้ย้ายออกจริง ๆ ก็ไม่ใช่ฐานรากที่มั่นคงพอจะสร้างระบบบนมัน
    ด้วยเหตุผลแบบนี้ ผมจึงไม่เคยเป็นลูกค้า Google Cloud และจนกว่า Hetzner จะชี้แจงอย่างชัดเจนว่าอะไรผิดพลาด และจะทำอะไรเพื่อไม่ให้เกิดความผิดพลาดแบบนี้อีก ผมจะไม่ deploy เซิร์ฟเวอร์ใหม่บน Hetzner
    Hetzner ตอนนี้ลูกบอลอยู่ในสนามของพวกคุณแล้ว

    • ผมมองว่า Hetzner เป็น โฮสติ้งราคาถูก จึงต้องระวังเสมอ และไม่ควรพึ่งพาสำหรับ environment ที่ใช้งานจริง มันคล้ายกับการเอาเซิร์ฟเวอร์สำหรับผู้ใช้ไปวางบนเซิร์ฟเวอร์มือสองจาก eBay ผมเองก็เรียนรู้มาด้วยวิธีที่เจ็บปวด
      ส่วนคำว่า “ลูกบอลอยู่ฝั่ง Hetzner” ก็ไม่จำเป็นต้องเป็นแบบนั้นเสมอไป ถ้าอ่านข้อกำหนด จะมีเนื้อหาว่าพวกเขาทำอะไรกับเซิร์ฟเวอร์ก็ได้
      ข้อกำหนด 2.7 ระบุว่า “นอกจากนี้ เรายังสงวนสิทธิ์ในการยุติความสัมพันธ์ตามสัญญาโดยไม่ต้องแจ้งให้ทราบ หากมีเหตุอันสมควร”
      เซิร์ฟเวอร์ของบริษัทใด ๆ ก็ทำแบบเดียวกันได้ มีเรื่องเล่ามากมายว่า Amazon ก็เคยทำคล้ายกัน และ Google ก็เช่นกัน
      ถ้าไม่ใช่โคโลเคชันหรือไม่ได้เป็นเจ้าของฮาร์ดแวร์เอง ก็อาจถูกเล่นงานได้หลายรูปแบบ ผมจะไม่มีวันไว้วางใจโฮสต์ dedicated server เด็ดขาด
    • ทุกเจ้าก็เป็นแบบนี้แหละ
    • ประเด็นสำคัญในคำว่า “ถ้า Hetzner ลบข้อมูลใช้งานจริงโดยไม่มีการเตือนจริง ๆ” คือ ถ้าจริง ๆ ทำไมถึงมั่นใจขนาดนั้นว่า Hetzner เป็นฝ่ายทำพลาด?
  • ข้อร้องเรียนที่ว่า Hetzner ระงับเซิร์ฟเวอร์ของใครบางคน มักเป็นเพราะโฮสต์เนื้อหาที่ขัดกับข้อกำหนดการใช้งาน หรือเหตุผลทำนองนั้น
    แต่กรณีนี้ดูเหมือนจะเป็นเรื่องของ Kiwix ซึ่งเป็น “Wikipedia แบบออฟไลน์” ในหลายรูปแบบ และดูไม่เกี่ยวข้องกับเนื้อหาที่น่าจะเป็นปัญหา
    สุดท้ายก็น่าจะได้เห็นมุมมองจากฝั่ง Hetzner ด้วย โดยปกติถ้าอีกฝ่ายเริ่มเขียนเรื่องนี้แบบสาธารณะ Hetzner ก็มักจะเริ่มเขียนถึงปัญหาแบบสาธารณะเช่นกัน
    โดยส่วนตัว ผมใช้ Hetzner มาอย่างพอใจหลายปี และไม่เคยมีปัญหาที่ไม่ได้เกิดจากความผิดของผมเอง แต่เรื่องที่ว่าเซิร์ฟเวอร์ถูกลบกลางดึกวันอาทิตย์ตามเวลาเบอร์ลิน ข้อมูลถูกลบทันที และไม่มีทางเยียวยา ฟังดูค่อนข้างรุนแรงทีเดียว โชคดีที่ดูเหมือนทั้งผมและ Kiwix ต่างก็มี mirror สำหรับข้อมูลสำคัญ

    • อาจเป็น “การโฮสต์เนื้อหาที่ขัดกับข้อกำหนดการใช้งาน” ก็ได้ แต่ก็อาจเป็นเนื้อหาที่ Hetzner จัดประเภทผิดว่าเป็นการละเมิดข้อกำหนด
      อาจตัดสินแบบนั้นเพราะสตริงในชื่อไฟล์สุ่ม ๆ หรือเหมือนกรณี Mastodon instance บางแห่งเมื่อไม่นานมานี้ ที่ Hetzner มองว่าเสี่ยงเพียงเพราะผู้ใช้สามารถอัปโหลดรูปภาพได้ ฟีเจอร์แบบนี้พบได้ทั่วไป และแม้จะมี moderation กับกลยุทธ์รองรับหากมีเนื้อหาผิดกฎหมายถูกอัปโหลดขึ้นมา แต่พนักงานที่ตรวจสอบในวันนั้นอาจอ่อนไหวเกินไป และไม่มีช่องทางอุทธรณ์
    • นอกจาก Wikipedia แล้ว ยังระบุด้วยว่าเนื้อหาของ Wikimedia Foundation เช่น Wikisource, Wikiquote, Wikivoyage, Wikibooks, Wikiversity สามารถอ่านแบบออฟไลน์ได้ในหลายภาษา [0]
      ผู้ใช้จะดาวน์โหลด Kiwix หรือส่วนขยายเบราว์เซอร์ก่อน จากนั้นจึงใช้ Kiwix ดาวน์โหลดเนื้อหาสำหรับอ่านแบบออฟไลน์ [1]
      “แบ็กเอนด์ที่เก็บข้อมูลหลักของเราเข้าถึงไม่ได้โดยสิ้นเชิง สำหรับผู้ใช้ทั่วไป หมายความว่าเข้าถึงไลบรารีและดาวน์โหลดไฟล์ไม่ได้ ส่วนสำหรับเรา หมายความว่าเราเชื่อมต่อเข้าไปดูไม่ได้ด้วยซ้ำว่าเกิดอะไรผิดพลาด” [2]
      บางทีอาจมีรูปภาพแปลก ๆ สักสองสามรูปถูกอัปโหลดไปยัง Wikimedia แล้วถูกซิงก์อัตโนมัติไปยังเซิร์ฟเวอร์ Hetzner จนไปกระตุ้นสัญญาณเตือนก็ได้
      ส่วนที่ Hetzner ลบข้อมูลนั้นตัดสินได้ยาก แต่การที่พวกเขาไม่พยายามติดต่อทีม Kiwix ให้เหมาะสมนี่เป็นการตอบสนองที่แย่มากจริง ๆ ทั้งที่น่าจะรู้ว่าทีมนี้กำลังพยายามทำสิ่งดี ๆ ให้โลก เหมือนพวกเดียวกับ Google ที่บล็อกการเข้าถึงบัญชีของผู้ใช้แบบไม่พูดไม่จา หรือบริษัทเยอรมันที่ฟ้องนักวิจัยซึ่งแจ้งช่องโหว่ด้านความปลอดภัยให้ทราบ
      Hetzner ควรรู้จักละอายบ้าง
      [0] https://en.wikipedia.org/wiki/Kiwix#Available_content
      [1] https://en.wikipedia.org/wiki/Kiwix#Description
      [2] https://mastodon.social/@kiwix/113622081750449356
    • ประสบการณ์ของผมตรงกันข้ามเลย Hetzner ปิดหูปิดตาอย่างสิ้นเชิงต่อ รายงานการละเมิดข้อกำหนดการใช้งาน ถ้าจะให้เอาเนื้อหาผิดกฎหมายลง ต้องใช้ทนาย
    • ใต้เธรดนี้มีหลายคอมเมนต์ที่รายงานว่าเจอเรื่องแบบนั้นจริง ๆ
  • เดี๋ยวนะ หมายความว่า Hetzner ลบ ข้อมูลทั้งหมด โดยไม่มีการเตือนจริง ๆ เหรอ?
    นี่มันบ้าจริง ๆ และอาจฆ่าธุรกิจได้เลย อาจเป็นผลร้ายแรงทั้งต่อชื่อเสียงของ Hetzner และต่อลูกค้า

    • เรื่องแบบนี้เกิดขึ้นที่ Hetzner บ่อยจริง ๆ ผมจำไม่ได้แล้วว่าเคยได้ยินเรื่องทำนองนี้มากี่ครั้ง หรือเห็นใน HN ที่นี่มากแค่ไหน
      แต่เพราะมันถูก และคนส่วนใหญ่ต่อให้พยายามหาข้อมูลบริษัท ก็คงไม่เจอคนที่บ่นอยู่บนออนไลน์ น่าเสียดายที่ดูเหมือนจึงไม่ได้กระทบอะไรมากนัก
    • ในโพสต์เขียนไว้อย่างนั้น แต่แน่นอนว่าเราไม่รู้ว่าจริงหรือไม่จริง ไม่มีการแสดงหลักฐาน และเรากำลังได้ฟังแค่ เรื่องจากฝั่งเดียว
    • ช่วงวันหยุดนี้ผมคิดว่าจะกลับไปทบทวน กลยุทธ์การสำรองข้อมูล อีกครั้ง และคำนวณดูว่าถ้า Hetzner ระงับผม บริการของผมจะมี downtime นานแค่ไหน
      ความจริงที่ว่า Hetzner มีอำนาจแบบนั้น และสามารถลบข้อมูลจนกู้คืนไม่ได้ มันน่ากลัว
      ปีที่แล้วผมตั้งค่าพอร์ตของบริการ Docker ผิด จนมีคนฉวยโอกาสใช้มันรัน port scanner ตอนนั้นผมไม่อยู่บ้าน ถ้าไม่ได้เห็นอีเมลแจ้งการใช้งานบริการในทางที่ผิดทันเวลา ผมอาจกลับมาอีกไม่กี่วันให้หลังแล้วพบว่าข้อมูลทั้งหมดถูกลบ หรือระบบ monitoring uptime ส่งเสียงโวยวายไปหมดก็ได้
    • พูดตรง ๆ ผมมักวิจารณ์ว่าบริษัทใน EU มีไม่พอ แต่หนึ่งในจุดที่ปรับปรุงได้คือ การสนับสนุนลูกค้า
      บริษัทเยอรมันมีฝ่ายสนับสนุนลูกค้าแย่มาก แม้แต่ใน EU เองก็ด้วย
    • ชื่อเสียงเดียวของ Hetzner คือ “ถูก”
  • ผมไม่มีบัญชี Mastodon ไว้ตอบโดยตรง เลยขอทิ้งข้อความนี้ไว้ให้คนที่ควรได้ยิน
    ผมเองก็เคยเจอปัญหาที่ผู้ให้บริการ VPS ทำให้คอนเทนต์ถูกถอดลงเหมือนกัน
    วิธีที่ได้ผลดีคือใช้ผู้ให้บริการ VPS ที่คนทั่วไปไม่ค่อยรู้จักอยู่ช่วงหนึ่ง ผมใช้ OVH เพราะมีแบนด์วิดท์ไม่จำกัด และเพราะ Wikipedia กับ Julian Assange ใช้ OVH ตอนนี้ยังเป็นแบบนั้นอยู่ไหมไม่รู้ และหลังจากนั้นผมก็ย้ายคอนเทนต์ไปไว้บน ENS กับ IPFS
    อย่างไรก็ดี ไม่ว่าคอนเทนต์จริงจะโฮสต์อยู่ที่ไหน ผมทำให้เซิร์ฟเวอร์ “ตัวจริง” ของผมเป็น ต้นฉบับคอนเทนต์ แล้วซ่อนไม่ให้มองเห็นจากภายนอก ผมล็อกด้วยไฟร์วอลล์ให้เข้าถึงได้เฉพาะจากเซิร์ฟเวอร์พร็อกซี Squid แบบทิ้งได้ที่มีไฟล์คอนฟิกแค่ 10 บรรทัด
    จากนั้นก็ชี้ DNS กับ Cloudflare ฯลฯ ไปที่โหนด Squid และผมไม่สนใจถ้าโหนดเหล่านั้นล่ม เพราะสามารถดีพลอยใหม่ที่อื่นได้ในไม่กี่นาที
    ไม่ใช่ว่ามี “คอนเทนต์เลวร้าย” อะไรหรอก แค่มีคู่แข่งทางธุรกิจที่โหดเหี้ยมคอยพุ่งเข้าใส่ไม่หยุดเหมือน Tonya Harding เท่านั้น คอนเทนต์ของคุณก็ดูไม่ได้ก้าวร้าวขนาดนั้น เลยเอามาแชร์
    ที่โหนด VPS ด้านหน้า แค่ใส่ที่อยู่คอนเทนต์จริงเป็น origin ระยะไกลก็พอ แบบนั้นนอกจากคุณแล้วก็ไม่มีใครรู้ตำแหน่งนั้น
    โดยทั่วไปบริษัทโฮสติ้งก็คงไม่รู้ว่ามันคืออะไร เว้นแต่จะไปคุ้ยไฟล์ดู และถ้าคุ้ยจริง พวกเขาก็จบเหมือนกัน
    จะเอาเรื่องนี้ไปบอกต่อเป็นวิธีเลี่ยงการเซ็นเซอร์ก็ได้ หรือจะเก็บไว้คนเดียวเหมือนข้อมูลลับทางการค้าก็ได้ ถ้าต้องการตัวอย่างคอนฟิก Squid ก็บอกได้ จริง ๆ มากสุดก็ 10 บรรทัด และใน Google ก็มีตัวอย่างเยอะ

    • แบบนั้นต้องใช้แบนด์วิดท์เป็นสองเท่า มีทราฟฟิกขาออกจากเซิร์ฟเวอร์ “ตัวจริง” หนึ่งรอบ และจากเซิร์ฟเวอร์ “ด้านหน้า” อีกหนึ่งรอบ
      latency ก็เพิ่มขึ้นมาก จุดล้มเหลวก็เพิ่มขึ้น และต้องซิงก์ IP ของ “ด้านหน้า” ไปยังเซิร์ฟเวอร์ “ตัวจริง” เพื่ออนุญาตการเข้าถึง อีกทั้งยังต้องหาผู้ให้บริการที่เชื่อถือได้สองรายสำหรับโฮสติ้ง “ตัวจริง” และโฮสติ้ง “ด้านหน้า” แยกกัน ถ้าใช้ผู้ให้บริการเดียวกันก็จะเจอปัญหาแบบโพสต์ต้นเรื่อง
      ถ้ามันได้ผลดีสำหรับคุณก็ดีและน่ายินดี แต่ดูยากที่จะบอกว่ามันแก้ปัญหาให้คนจำนวนมากได้ จริง ๆ ยังสงสัยด้วยซ้ำว่าแก้ปัญหาของคุณเองได้จริงไหม โดยพื้นฐานแล้วมันคล้ายกับการใช้ Cloudflare/Akamai เพียงแต่ตั้งพร็อกซีบน VPS เองแบบแมนนวล
    • น่าสนใจ แต่ latency จะไม่เพิ่มขึ้นมากหรือ?
    • นี่เป็นคำแนะนำที่ดีมากจริง ๆ ไม่ใช่แค่สำหรับสถานการณ์นี้ แต่โดยทั่วไปด้วย สำหรับพร็อกซีหรือด้านหน้า ผมแนะนำ Cloudflare Workers
  • นี่ไม่ใช่ครั้งแรก:

    • Ask HN: Hetzner banned me with no explanation. What can I do? (https://news.ycombinator.com/item?id=32318524)
    • Hetzner didn't even provide a detailed info on why they deactivated my account (https://news.ycombinator.com/item?id=40781617)
    • ผมก็เจอแบบเดียวกัน โชคดีที่เกิดขึ้นตั้งแต่ช่วงต้น ๆ ก่อนจะเสียระบบโปรดักชันไป

      Dear Mr David Allison

      After reviewing your updated customer information, we have decided to deactivate your account because of some concerns we have regarding this information. Therefore, we have cancelled all your existing products and orders with us.

      Best regards

      Your Hetzner Online Team

  • ผมก็มีประสบการณ์แย่ ๆ ที่นี่เหมือนกัน ถ้ามีใครส่ง คำขอเรื่องการละเมิดลิขสิทธิ์ มาถึง Hetzner พวกเขาจะไม่ติดต่อหาลูกค้าก่อน แค่ปิดเซิร์ฟเวอร์ทันทีแล้วสั่งให้ตอบกลับ
    แน่นอนว่านี่ไม่ใช่กระบวนการที่สมเหตุสมผล และผมไม่สามารถแนะนำ Hetzner สำหรับระบบโปรดักชันใด ๆ ได้
    ทุกครั้งที่เห็นโพสต์เกี่ยวกับ Hetzner บน HN ผมจะโมโห บริษัทแบบนี้ควรถูกขึ้นบัญชีดำ ไม่ใช่ได้รับการโปรโมต

    • ประสบการณ์ของผมต่างออกไป เราได้รับอีเมลแบบนี้ประมาณทุก 6 เดือน และหลังจากดำเนินการแล้วตอบกลับ ก็ไม่มีอะไรถูกปิดลง
    • คนอื่นอาจมีประสบการณ์ที่ต่างออกไป และประสบการณ์นั้นก็อาจมีน้ำหนักพอ ๆ กับของคุณไม่ใช่หรือ?
      อีกอย่างก็สงสัยว่าเว็บไซต์นั้นเกี่ยวกับอะไร ผมเองก็เคยได้รับแจ้งว่าต้องตอบภายใน 24 ชั่วโมง ไม่อย่างนั้นจะลบเซิร์ฟเวอร์ แต่เพราะผมตอบและปฏิบัติตามเสมอ เซิร์ฟเวอร์จึงไม่เคยถูกลบ
    • ประสบการณ์ของผมก็ไม่ใช่แบบนั้น เมื่อก่อนพวกเขาให้เวลา 24 ชั่วโมง ในการตอบ ไม่อย่างนั้นจะลบเซิร์ฟเวอร์
    • ข้อกำหนดคุ้มครองความรับผิดของ DMCA ช่วยให้คุณไม่ถูกฟ้องเพราะมีคนอัปโหลดคอนเทนต์มีลิขสิทธิ์ แต่ข้อแลกเปลี่ยนคือเมื่อได้รับแจ้งให้ถอดลง คุณต้องถอดลง
      ถ้าไม่ถอด เรื่องก็จะไหลลงไปถึงฝั่งอินฟรา คุณสามารถลบโพสต์ได้ แต่ผู้ให้บริการโฮสติ้งลบเฉพาะโพสต์ไม่ได้ เขาทำได้คือปิดเซิร์ฟเวอร์ และเขาต้องทำแบบนั้น เพราะถ้าไม่ทำก็เสี่ยงถูกปรับหรือจำคุก
      ทีนี้ต้องรู้เรื่องทั้งหมดก่อน มีลิงก์สำหรับส่งคำขอลบตาม DMCA แบบสาธารณะ และคุณดำเนินการคำขอจริงแล้ว แต่ผู้ร้องเรียนเมินมันแล้วตรงไปหา Hetzner เลยหรือเปล่า? หรือคุณรันเซิร์ฟเวอร์คอนเทนต์ที่ผู้ใช้สร้างขึ้นแล้วทำแบบลวก ๆ คิดว่า “คงไม่เป็นไร” กันแน่?
      ผมไม่ได้บอกว่าคุณผิด แต่คุณเล่าแค่ส่วนเล็กมากของเรื่อง
    • พูดตรง ๆ นี่มันเยอรมันมากจริง ๆ เยอรมนีมีกฎหมาย ลิขสิทธิ์ ที่แทบจะวิตกจริต ดังนั้นคงทำเพื่อเลี่ยงความรับผิดทางกฎหมาย ถึงอย่างนั้น การไม่แจ้งเตือนเลยก็เป็นเรื่องบ้ามาก
  • Hetzner ระงับบัญชีผมเพราะผมติดหนี้อยู่ 0.02 ยูโร
    ผมจ่ายด้วยบัตรเครดิต VISA บัตรเดบิต VISA หรือ Amex ไม่ได้ และพวกเขาเรียกให้โอนเงิน แต่ธนาคารของผมไม่อนุญาตให้โอน 0.02 ยูโรเพราะยอดต่ำเกินไป
    ด้วยความดื้อแบบล้วน ๆ ผมเลยสร้างดาต้าเซ็นเตอร์ของตัวเอง

    • ไม่ได้ลองส่งไป 20 ยูโรแล้วขอคืนเงินส่วนเกินหรือ?
    • อยากรู้ว่าคุณสร้างดาต้าเซ็นเตอร์ยังไง ทำในบ้านหรือเช่าพื้นที่ที่ไหน? ค่าใช้จ่ายเท่าไร?
      ถ้ามีรายละเอียดที่แชร์ได้ ผมอยากฟัง
  • หลายคนไม่อยากได้ยิน แต่ ฝ่ายสนับสนุนของ Hetzner แย่มาก
    เราใช้บัญชีอยู่ 2 ปี ใช้เซิร์ฟเวอร์ประมูลหลายเครื่อง และต้องติดต่อฝ่ายสนับสนุนอยู่สองสามครั้ง แต่ทุกครั้งพวกเขาเริ่มบทสนทนาด้วยทำนองว่า “นี่ไม่ใช่เรื่องที่เราจะช่วยได้”
    supposedly พวกเขาบอกว่าจะช่วยเฉพาะกรณีที่เสียจริง ๆ แต่แม้แต่ปัญหาทางเทคนิคจริง ๆ อย่าง NVMe ช้าลงจนแทบค้าง หรือปัญหาเครือข่ายชั่วคราว ก็ยังทำตัวเหมือน “เราไม่สน” ให้มากที่สุด
    เพราะอย่างนั้นเมื่อเดือนที่แล้วเราจึงปิดบัญชีไป
    นึกไม่ออกเลยว่าความเจ็บปวดจะถาโถมขนาดไหน ถ้าพวกเขาลบข้อมูลทั้งหมดของเราแบบที่ทำกับ OP