71 TiB ZFS NAS ที่ไม่มีไดรฟ์เสียตลอด 10 ปี

 (louwrentius.com)
1 คะแนน โดย GN⁺ 2024-09-14 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

71 TiB ZFS NAS ที่ไม่มีไดรฟ์เสียตลอด 10 ปี

  • ฮาร์ดแวร์

    • ZFS NAS ขนาด 71 TiB ที่ประกอบด้วยไดรฟ์ 4 TB จำนวน 24 ตัว
    • ตลอด 10 ปีไม่เคยมีไดรฟ์เสียแม้แต่ครั้งเดียว
    • ปัจจุบันใช้เมนบอร์ดและพาวเวอร์ซัพพลายตัวที่สอง

  • การจัดการไดรฟ์

    • ไดรฟ์ HGST ขนาด 4 TB ใช้งานรวมราว 6000 ชั่วโมงตลอด 10 ปี
    • การปิดเซิร์ฟเวอร์เมื่อไม่ได้ใช้งานช่วยยืดอายุการใช้งานของไดรฟ์
    • ใช้สคริปต์สำหรับเปิดและปิดเซิร์ฟเวอร์จากระยะไกล
    • ปิดเซิร์ฟเวอร์ไว้เป็นค่าเริ่มต้นเพื่อประหยัดพลังงานและยืดอายุไดรฟ์

  • การเปลี่ยนเมนบอร์ด

    • เปลี่ยนเมนบอร์ดเมื่อหลายปีก่อนเนื่องจากเมนบอร์ดเสีย
    • พบปัญหาเช่นเข้า BIOS ไม่ได้และบูตไม่ขึ้น
    • แก้ปัญหาโดยซื้อเมนบอร์ดรุ่นเดียวกันจาก Ebay

  • ZFS

    • ZFS ทำงานได้ไม่มีปัญหาบนหลายระบบปฏิบัติการ
    • รัน zpool scrub ไปหลายครั้งและไม่พบ checksum error
    • ZFS มีประสิทธิภาพสูงมากในการป้องกันข้อมูลสูญหาย

  • การจัดการเสียงรบกวน

    • ความเร็วพัดลมเริ่มต้นสูงมากจนมีเสียงดัง
    • เขียนสคริปต์เพื่อปรับความเร็วพัดลมตามอุณหภูมิ
    • ใช้ตัวควบคุม PID เพื่อปรับความเร็วพัดลมและลดเสียงรบกวน

  • เครือข่าย

    • ช่วงแรกใช้คอนโทรลเลอร์เครือข่ายกิกะบิต
    • หลังเปลี่ยนเป็นการ์ด Infiniband ก็ได้ความเร็วรับส่ง 700 MB/s
    • ปัจจุบันใช้การ์ดอีเธอร์เน็ต 10Gbit

  • พาวเวอร์ซัพพลาย

    • ตอนบูต ไดรฟ์ทั้งหมดสปินอัปพร้อมกันทำให้ใช้พลังงาน 600W
    • พาวเวอร์ซัพพลายบางครั้งตัดไฟระหว่างบูต

  • หยุดใช้ UPS

    • เลิกใช้ UPS เพราะกินไฟเพิ่ม
    • ยอมรับความเสี่ยงที่ระบบอาจเสียหายจากปัญหาไฟฟ้า

  • แบ็กอัป

    • ข้อมูลสำคัญแบ็กอัปไว้สามชุด
    • ข้อมูลที่ไม่สำคัญไม่ได้แบ็กอัป
    • ป้องกันข้อมูลสูญหายด้วยการเปลี่ยนฮาร์ดแวร์และใช้ ZFS

  • แผนในอนาคต

    • ตอนนี้ยังไม่มีแผนเพิ่มพื้นที่เก็บข้อมูล
    • มีเมนบอร์ดสำรอง, CPU, หน่วยความจำ และการ์ด HBA เก็บไว้
    • ขนาดไดรฟ์ที่ใหญ่ขึ้นอาจทำให้เปลี่ยนไปใช้ฟอร์มแฟกเตอร์ที่เล็กลงได้
    • หากระบบพัง อาจเลิกทำงานอดิเรกด้านสตอเรจไปเลยก็ได้

สรุปโดย GN⁺

  • บทความนี้แชร์ประสบการณ์การใช้งาน 71 TiB ZFS NAS ที่ทำงานมา 10 ปีโดยไม่มีไดรฟ์เสียเลย
  • การปิดเซิร์ฟเวอร์เมื่อไม่ได้ใช้งานช่วยยืดอายุไดรฟ์ได้มาก
  • ZFS มีประสิทธิภาพมากในการป้องกันข้อมูลสูญหาย และการปรับความเร็วพัดลมช่วยลดเสียงรบกวนได้
  • มีการใช้การ์ดเครือข่ายหลายแบบเพื่อเพิ่มความเร็วในการรับส่งข้อมูล
  • ยังแชร์ประสบการณ์เกี่ยวกับกลยุทธ์การแบ็กอัปและการจัดการพาวเวอร์ซัพพลายด้วย

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-09-14
ความเห็นจาก Hacker News

  • มีการพูดคุยเกี่ยวกับ ZFS และ BTRFS เป็นหลัก แต่อยากรู้ว่ามีใครเคยใช้ bcachefs บ้างไหม

    • bcachefs รวมอยู่ในลินุกซ์เคอร์เนลและมีความสามารถด้าน checksumming ครบถ้วน
    • มีผู้เขียนที่ให้ความสำคัญกับความรับผิดชอบของไฟล์ซิสเต็มอย่างจริงจัง

  • มีคำถามว่ามีการหมุนเวียนเปลี่ยนไดรฟ์ตามรอบเวลาหรือไม่

    • ใช้ไดรฟ์รุ่นเดียวกัน 24 ลูก และดูเหมือนมาจากล็อตเดียวกัน
    • จึงมีโอกาสสูงที่จะเสียพร้อมกันเพราะมีระดับการสึกหรอใกล้เคียงกัน
    • การสร้างระบบจัดเก็บข้อมูลที่เชื่อถือได้เป็นเรื่องละเอียดอ่อน

  • เคยได้ยินความเห็นแย้งว่าการเปิดไดรฟ์ทิ้งไว้ตลอดอาจลดการสึกหรอได้มากกว่าการปิดเปิดไฟเป็นระยะ

    • จึงชอบเปิด ZFS NAS ไว้ตลอดเพื่อให้ตรวจสอบข้อมูลเป็นประจำ
    • ตลอด 10 ปีที่ใช้งานระบบ 4 ไดรฟ์ มีไดรฟ์เสีย 2 ลูก แต่ก็ไม่ใช่ไดรฟ์ระดับ enterprise (WD Green)

  • พัดลมขนาดใหญ่สามารถขยับอากาศได้มากแม้ใช้ RPM ต่ำ และมีประสิทธิภาพด้านพลังงานสูง

    • Oxide Computer เน้นว่าการใช้พัดลม 80mm ทำให้เงียบและกินไฟน้อย
    • ในเซิร์ฟเวอร์อื่น ๆ การใช้ไฟของพัดลมอาจคิดเป็น 25% ของพลังงานทั้งหมด แต่ของพวกเขาใช้เพียงราว 1%

  • อยากฟังเพิ่มเติมเกี่ยวกับคอลเลกชันภาพยนตร์

    • สนใจว่าช่วงแรกเลือกเก็บรายการอย่างไร และมีอะไรบ้างที่ยังอยู่ในคอลเลกชันมานานกว่า 10 ปี

  • เป็นการยอมรับความเสี่ยงที่จะสูญเสียระบบจากปัญหาไฟฟ้า

    • UPS ช่วยป้องกันความเสียหายที่เกิดขึ้นไม่บ่อยจากความไม่สมดุลของไฟฟ้า
    • งานก่อสร้างหรือฟ้าผ่าสามารถทำให้เกิดไฟกระชากได้
    • UPS จะพังก่อนเพื่อปกป้องเซิร์ฟเวอร์ไม่ให้เสียหาย

  • ไดรฟ์ 24 ลูกอาจให้ข้อได้เปรียบด้านประสิทธิภาพ แต่การใช้ NAS 6 เบย์กับดิสก์ 18TB ให้ข้อดีหลายด้านกว่า ทั้งการใช้พลังงาน เสียง พื้นที่ ต้นทุน และความน่าเชื่อถือ

  • สภาพแวดล้อมที่ไดรฟ์ทำงานส่งผลอย่างมากต่ออายุการใช้งาน

    • สภาพแวดล้อมในบ้านมีความแปรปรวนมากกว่าดาต้าเซ็นเตอร์หรือสำนักงาน
    • อุณหภูมิและความชื้นที่ผันผวน รวมถึงฝุ่น มีผลมาก
    • ในสภาพแวดล้อมที่สะอาดและเสถียร อัตราไดรฟ์เสียจะลดลงอย่างชัดเจน

  • ความลับไม่ได้อยู่ที่การปิดไดรฟ์ แต่เป็นแค่โชคดี

    • ใช้ไดรฟ์ HGST 4TB แบบ 24/7 มานานกว่า 10 ปีและยังไม่เสีย
    • แต่บางคนเจอ RMA หลายครั้งกับไดรฟ์รุ่นเดียวกัน

  • มีไดรฟ์บางรุ่นที่การเปลี่ยนรอบการจ่ายไฟเป็นเรื่องเสี่ยง

    • ไม่ได้ดีเสมอไปสำหรับทุกคน
    • SSD บางรุ่นต้องการไฟเลี้ยงเป็นระยะ
    • duty cycle ของ NAS น่าจะตอบโจทย์ข้อกำหนดนี้ได้
    • ค่าไฟฟ้าถูกลง
    • อยากรู้ว่า Backblaze มีการทำโมเดลสถิติอายุการใช้งานจากจำนวนครั้งที่เปิด/ปิดเครื่องของไดรฟ์หรือไม่