- แนวโน้มการพูดคุยเรื่อง Cloud repatriation หรือการย้ายงานกลับจากคลาวด์ไปใช้ฮาร์ดแวร์ของตนเองของบริษัทต่างๆ กำลังเพิ่มสูงขึ้น
- Fastmail ใช้เซิร์ฟเวอร์ Bare Metal ของตัวเองมาเกิน 20 ปีเพื่อเพิ่มประสิทธิภาพการดำเนินงาน
- การใช้ฮาร์ดแวร์ของตนเองช่วยควบคุมต้นทุนได้อย่างมีประสิทธิภาพมากกว่าคลาวด์:
- เข้าใจรูปแบบการใช้งานได้อย่างแม่นยำและวางแผนการซื้อฮาร์ดแวร์ในระยะยาวได้
- มีประสบการณ์สะสมด้านการติดตั้งและการดูแลฮาร์ดแวร์และเครือข่ายมาเป็นเวลา 25 ปี
- ใช้ฮาร์ดแวร์ได้นาน 5–10 ปีเพื่อลดการสูญค่า (depreciate) ของต้นทุน
การพัฒนาเรื่องฮาร์ดแวร์
- เซิร์ฟเวอร์ IMAP รุ่นแรกใช้ RAID ที่ประกอบด้วย ไดรฟ์ SAS 15k RPM และ ไดรฟ์ SATA 7.2k RPM
- เก็บข้อมูลอีเมลไว้ในไดรฟ์ SAS ความเร็วสูงก่อน แล้วจึงย้ายไปยังไดรฟ์ SATA ในช่วงเวลาที่โหลดของเซิร์ฟเวอร์ต่ำ
- ระบบดังกล่าวได้รับการสนับสนุนโดย Cyrus IMAP และเครื่องมือจัดการพาร์ทิชันแยกต่างหาก
การย้ายมาใช้ NVMe SSD
- เมื่อหลายปีก่อนได้ทำการอัปเกรดขนาดใหญ่ด้วยแพลตฟอร์ม AMD 2U และ NVMe SSD
- ส่งผลให้ประสิทธิภาพและความหนาแน่นการจัดเก็บข้อมูลดีขึ้นอย่างมาก
- เนื่องจากขาด RAID Controller จึงนำระบบไฟล์ ZFS มาใช้แทน
- ZFS ให้ประสิทธิภาพ I/O ที่ยอดเยี่ยมด้วยโมเดล Copy-on-write
การอัดอั้นและปรับแต่ง ZFS
- การใช้ Zstandard compression ลดพื้นที่ข้อมูลอีเมลได้ประมาณ 40%
- การปรับขนาดบล็อกเรคคอร์ดของ ZFS เพิ่มประสิทธิภาพการอัดอั้นอีกขั้น:
- ที่ขนาด 128k โดยค่าเริ่มต้นลดได้ประมาณ 40%
- เมื่อตั้งที่ 512k ลดได้ 42%
การเข้ารหัสและการรวมระบบด้วย ZFS
- การแทนที่การเข้ารหัส LUKS ด้วยการเข้ารหัสมาตรฐานในตัวของ ZFS ทำให้ลดความซับซ้อนของระบบได้
- ภายใน 3 ปี Fastmail นำ ZFS ไปใช้ครบถ้วนแล้วในเซิร์ฟเวอร์อีเมลทั้งหมด ฐานข้อมูล เซิร์ฟเวอร์บันทึก และเซิร์ฟเวอร์สำรองข้อมูล
อายุการใช้งานและความเชื่อถือได้ของ SSD
- การยืนยันอายุการใช้งานและความน่าเชื่อถือของ SSD:
- SSD สำหรับศูนย์ข้อมูลมีอัตราความล้มเหลวที่ต่ำมากตลอด 3 ปี
- มีความน่าเชื่อถือสูงกว่า HDD มากกว่า 10 เท่า
เปรียบเทียบต้นทุนการเก็บข้อมูล
Cloud Storage
- Amazon S3: $252,000 ต่อปี
- Backblaze B2: $72,000 ต่อปี
- ข้อดี: ความจุไม่จำกัด, เลือกผู้ให้บริการได้หลายราย
- ข้อเสีย: การนำไปใช้มีความซับซ้อน, มีแนวโน้มต้นทุนต่อเนื่องสูงขึ้นได้
HDD Upgrade
- ค่าปรับปรุงรุ่น 24TB HDD: ราว $6,000 ต่อเซิร์ฟเวอร์
- ข้อดี: ใช้ฮาร์ดแวร์เดิมซ้ำได้, ต้นทุนต่ำ
- ข้อเสีย: เวลาในการกู้คืนข้อมูลยาวนานขึ้น, พลัง I/O ไม่เพียงพอ
SSD NVMe Server
- เซิร์ฟเวอร์ SSD 2U: $190,000 (ความจุจัดเก็บข้อมูล 1220TB)
- ข้อดี: I/O เร็ว, เชื่อถือได้, ประหยัดพื้นที่และพลังงาน
- ข้อเสีย: ต้นทุนเริ่มต้นสูง
ตัวเลือกสุดท้ายและผลลัพธ์
- การเปลี่ยนมาใช้เซิร์ฟเวอร์ ZFS บน NVMe SSD:
- ได้รับประสิทธิภาพและความน่าเชื่อถือสูง
- เข้ากันได้กับระบบเดิม และไม่ต้องพัฒนาใหม่
- ความเร็วการส่งข้อมูล: มากกว่า 5GB/s
บทสรุป
- การดำเนินงานด้วยฮาร์ดแวร์ของตัวเองอาจไม่เหมาะกับทุกคน แต่ช่วยประหยัดต้นทุนระยะยาวและเพิ่มความสามารถในการควบคุมได้มากขึ้น
- Fastmail ควบคุมความเสถียรและความคุ้มค่าทางต้นทุนได้พร้อมกันด้วยการใช้ฮาร์ดแวร์ของตัวเอง
3 ความคิดเห็น
ฉันก็สงสัยเหมือนกันว่าความพร้อมใช้งานในระดับ AZ จะมีการรับรองได้จริงหรือไม่
พูดตรง ๆ เลย ถ้าบริษัทหนึ่งไม่ใช้คลาวด์แล้วยังเดินระบบได้สวย ๆ แบบนี้ได้ จะมีได้แค่สองแบบ คือแบบแรกคือเพราะระดับบุคลากรของบริษัทดีพอจริง ๆ จึงทำงานได้สมูทจริง ๆ และอีกแบบคือระดับบุคลากรไม่ดี ระบบมีความพร้อมใช้งานต่ำและความปลอดภัยก็อ่อนแอ แต่ถูกมองว่าทำงานได้อยู่เหมือนกัน ในความเห็นผม แบบหลังนี้ในเกาหลีมีเป็นสัดส่วนมากอย่างเห็นได้ชัด
ก่นก่อนไล่ยกเว้นอาชีพที่เป็นมืออาชีพโดยเฉพาะแล้ว โดยทั่วไประบบคิดคนน้อยในเกาหลีจึงมองว่าในประเทศแบบนี้เหมาะจะให้ CSP ต่างชาติที่มีบุคลากรเก่งมาดูแลแทนมากกว่า หรือไม่ก็ทุ่มเทพัฒนา "คน" อย่างจริงจัง...
พูดตรง ๆ ว่าถ้าปริมาณผู้เข้าถึงคงที่ การไม่ใช้คลาวด์อาจจะแพงถูกกว่า แต่ถ้าต้องการให้ระบบมีทั้งความพร้อมใช้งานสูงและความปลอดภัย ทำงานได้ถูกต้อง ต้องมีคนที่สามารถบริหารเซิร์ฟเวอร์แบบฟิสิกัลได้ หากไม่มีคนแบบนั้น ใช้คลาวด์จึงเป็นตัวเลือกที่ถูกต้อง และสตาร์ทอัปที่ไม่มีศักยภาพในการหาบุคลากรคุณภาพแบบนั้น ไม่ควรใช้คลาวด์แบบไร้เหตุผล
แม้ว่า 37signals ซึ่งไม่ใช้คลาวด์จะกำหนดค่าเงินเดือนไม่ต่ำกว่าระดับหนึ่งและให้ความสำคัญกับคนมาก แต่ฐานเงินเดือนนั้นอยู่ที่ 70,000 ดอลลาร์ และเมื่อดอลลาร์สูงขึ้นก็เทียบเป็นวอนได้เกิน 1 ร้อยล้านแล้ว คนทำงานไอทีในเกาหลีทั่วไปมักได้รับเงินเดือนต่ำกว่าระดับฐานของ 37signals อยู่เสมอ ที่นั่นจึงน่าจะมีการลงทุนค่าแรงให้กับคนเก่งจำนวนมาก และถึงแม้จะมีคนเก่งที่สามารถดูแล on-premise ได้ อย่างไรก็ตาม เงินที่ไหลไปคลาวด์มากเกินไปก็ทำให้พวกเขากลับไปใช้ bare-metal โดยสร้างผลงานอย่าง kamal ขึ้นมาอีกด้วย แล้วบริษัทเกาหลีมีศักยภาพพอจะทำของแบบ kamal ได้หรือเปล่า? ถ้าไม่อยากลงทุนกับคนเลย ก็ควรใช้ CSP อย่าง AWS มากกว่า และอย่าลืมว่าการใช้ on-premise ไม่ได้หมายความว่าปลอดภัย เสมอไป เหตุการณ์แฮก Kadokawa ก็พิสูจน์ให้เห็นแล้ว
ความคิดเห็นบน Hacker News
FastMail เลือกใช้ฮาร์ดแวร์ของตัวเองเพราะตั้งแต่ก่อตั้งบริษัทในปี 1999 ตัวเลือกค่อนข้างจำกัด พวกเขาใช้เซิร์ฟเวอร์ตัวเดียวของ Rackspace และตอนนั้นมีค่าใช้จ่ายเดือนละ 70 ดอลลาร์ แต่ทางเลือกอย่าง VPS หรือ SaaS จริงๆ แล้วแทบไม่มี
การย้ายไปยังคลาวด์เป็นเรื่องน่าสนใจ เพราะผู้ใช้ส่วนใหญ่ไม่ค่อยสนใจการจัดการฮาร์ดแวร์ แต่เมื่อมองด้านต้นทุน ระบบของตัวเองกลับมีประสิทธิภาพมากกว่า
คลาวด์เกี่ยวข้องกับแนวคิด “shift-left” ใน DevOps ซึ่งไม่ใช่เพื่อลดต้นทุน
ไม่ไว้ใจ FastMail เพราะหลังรับช่วง Pobox ไป บริการส่งต่ออีเมลล้มเหลว และยังถูกปฏิเสธการขอคืนเงิน
มีการแนะนำ BareMetalSavings.com ซึ่งช่วยประเมินต้นทุนจากการหลุดออกจากคลาวด์
เห็นว่าแนวทางของ FastMail น่าสนใจ โดยพูดถึงจุดที่น่าสนใจเกี่ยวกับ SSD 2 อย่าง
ชอบความโปร่งใสและการตัดสินใจที่มีเหตุผลของ FastMail คุ้มค่ากับการจ่ายเงินเพื่อบริการอีเมล
มีผู้คนจำนวนมากที่คิดว่า self-hosting ดีกว่า cloud แต่คำอธิบายเรื่องการดำเนินการแอปพลิเคชันธุรกิจอย่างมีประสิทธิภาพยังไม่ครบถ้วน
ข้อดีอย่างหนึ่งของการใช้คลาวด์คือความเชื่อถือได้ในขนาดเล็ก
FastMail เคยเป็นหนึ่งในผู้ให้บริการอีเมลที่ดีที่สุด อินเทอร์เฟซใช้งานง่ายและตอบสนองได้ไว