ย้ายจาก AWS ไปยังคลาวด์ของสหภาพยุโรป - ลดต้นทุนได้ 62%

• Hopsworks ย้ายไปยัง OVHCloud ได้สำเร็จในไตรมาส 4 ปี 2024 เพื่อลดค่า egress ที่สูงของ AWS และลดต้นทุนได้ 62%
• โดยเฉพาะค่าใช้จ่ายด้านการส่งข้อมูลผ่านเครือข่าย บน AWS มีค่าใช้จ่าย $90 ต่อ 1TB ขณะที่ OVH อยู่ที่ $11 ต่อ 1TB เท่านั้น หรือราว 1/8 จึงเป็นปัจจัยหลักที่ทำให้ต้นทุนรวมลดลง
• AWS มอบ ecosystem ที่เติบโตเต็มที่และความน่าเชื่อถือสูง แต่ OVHCloud มีโครงสร้างราคาที่เรียบง่ายและให้ประสิทธิภาพที่แข่งขันได้ในต้นทุนที่ต่ำกว่า
  • Managed Kubernetes: AWS → $0.10/ชั่วโมง/คลัสเตอร์ ($72/เดือน) / OVHCloud → ฟรี
  • ค่าใช้จ่ายการส่งข้อมูลผ่านเครือข่าย: AWS → $90 ต่อ 1TB / OVHCloud → $11 ต่อ 1TB (ฟรีใน local zone)
  • S3 storage: AWS → $2300/เดือน ต่อ 1TB / OVHCloud → $800/เดือน ต่อ 1TB
  • ค่าใช้จ่ายคำขอ Put/Get: AWS → $566 ต่อ 100 ล้านครั้ง / OVHCloud → ฟรี
  • Container registry: AWS → $212/เดือน สำหรับ 5TB / OVHCloud → $212/เดือน สำหรับ 5TB (600GB ราคา $44/เดือน)
  • การรับส่งข้อมูลข้าม availability zone: AWS → $2000 ต่อ 100TB / OVHCloud → ฟรี
  • EBS instance: AWS → $81.92/เดือน ต่อ 1TB → OVHCloud / $97.28/เดือน ต่อ 1TB

แนะนำ Hopsworks

• Hopsworks คือแพลตฟอร์มแบบเปิดสำหรับพัฒนาและปฏิบัติการระบบ AI ขนาดใหญ่
  • สามารถ deploy ได้บนทุก Kubernetes cluster (รวมถึง public cloud และ data center แบบสแตนด์อโลน)
  • ใช้เป็นทางเลือกแทนแพลตฟอร์ม MLOps อย่าง AWS Sagemaker, GCP Vertex และ Databricks ได้
  • งานวิจัย SIGMOD24 เน้นย้ำว่าให้ประสิทธิภาพด้าน real-time AI ที่ดีกว่า และผสานรวมกับ Python และ Lakehouse ได้ยอดเยี่ยม
  • ได้รับการยอมรับว่าเป็น Feature Store สำหรับ ML แห่งแรก
• การรองรับข้อมูลและคอมพิวต์
  • ชั้น Lakehouse: ใช้ Delta Lake, Apache Hudi, Iceberg (รองรับเร็ว ๆ นี้) → รองรับการจัดเก็บ historical data ขนาดใหญ่และ batch inference
  • ฐานข้อมูลหน่วงต่ำ RonDB: รองรับ real-time AI workload และโมเดลข้อมูลแบบ snowflake schema
  • การรองรับคอมพิวต์: รองรับ Python, Spark, Ray และการแชร์/ปรับแต่ง GPU บน Kubernetes
    • สามารถใช้คอมพิวต์ของตนเองได้ → ใช้ Hopsworks เป็น data layer เพื่อรวม AI pipeline
  • รองรับ model registry และการ deploy: สามารถ deploy โมเดลบน KServe/vLLM ได้
• Hopsworks Serverless (เวอร์ชันพรีเมียม)
  • ให้พื้นที่จัดเก็บฟรี (ข้อมูล Lakehouse 50GB, feature data ของ RonDB 100MB)
  • รองรับ model registry ได้สูงสุด 100 รายการ และรองรับการ deploy โมเดล 2 รายการ
  • ส่วนใหญ่ให้พื้นที่จัดเก็บฟรี แต่ไม่มีทรัพยากรคอมพิวต์ฟรี → ค่าการโฮสต์บน AWS จึงยังคงอยู่ที่ราว $8K ต่อเดือน

เบื้องหลังการตัดสินใจย้ายจาก AWS ไป OVH

• กังวลว่าค่า egress จะเพิ่มขึ้นจากการเปิดตัว Hopsworks Query Service
  • ใช้ Arrow และ DuckDB ใน Python client → อ่านข้อมูลระดับหลายร้อย MB ถึง GB เป็น Pandas DataFrame ได้
  • ตระหนักถึงความเสี่ยงที่ค่า egress ของ AWS อาจพุ่งสูงขึ้น → เสี่ยงให้ต้นทุนเพิ่ม
• ตัดสินใจย้ายไป OVHCloud
  • OVH เป็นผู้ให้บริการคลาวด์จากยุโรป และมี managed service ที่ต้องใช้ครบถ้วน
    • มี managed Kubernetes, managed container registry และ object storage ที่เข้ากันได้กับ S3
  • ติดตั้ง Hopsworks บน OVH ด้วย Helm Charts → ยืนยันว่าใช้งานได้ราบรื่น
  • เนื่องจากผู้ใช้ส่วนใหญ่อยู่ในอเมริกาเหนือ จึงตัดสินใจคงโครงสร้างพื้นฐาน OVH ไว้ในอเมริกาเหนือ

ผลของการลดต้นทุน

• หลังย้ายไป OVH ต้นทุนลดลง 62%
• หมดภาระจากค่า egress ที่สูงของ AWS
• ปรับปรุงความคุ้มค่าด้านต้นทุน โดยยังคงประสิทธิภาพด้าน storage และ compute ในสภาพแวดล้อม serverless

การย้ายจากบริการ AWS ไปยังบริการ OVHCloud

• พึ่งพาเพียง Kubernetes และ S3 เท่านั้น → ออกแบบมาเพื่อไม่ให้ผูกกับบริการเฉพาะของคลาวด์รายใด
  • observability stack: อิงกับ OpenSearch และ OpenSearch Dashboards
  • metrics stack: อิงกับ Prometheus และ Grafana

เปรียบเทียบบริการ Managed Kubernetes

• ทั้ง AWS และ OVHCloud ต่างก็มีบริการ Managed Kubernetes
  • AWS มี ecosystem ที่เติบโตเต็มที่และความน่าเชื่อถือสูง
  • OVHCloud ให้บริการฟรีและได้เปรียบด้านต้นทุน
• AWS ให้บริการ Amazon Elastic Kubernetes Service (EKS) ซึ่งเป็นบริการที่เติบโตเต็มที่ ใช้งานแพร่หลาย ให้ high availability และ ecosystem ที่แข็งแกร่ง อย่างไรก็ตาม มีค่าใช้จ่าย control plane ต่อคลัสเตอร์ $0.10 ต่อชั่วโมง หรือราว $72 ต่อเดือน
• OVHCloud ให้บริการ OVHCloud Kubernetes (Managed Kubernetes แบบเต็มรูปแบบ) ซึ่งมีเสถียรภาพที่ดี แต่ข้อจำกัดความจุ 400MB ของ etcd อาจสร้างปัญหาให้ Kubernetes cluster บางชุดได้ อย่างไรก็ตาม ค่าใช้จ่าย control plane ของ Managed Kubernetes นั้นฟรี

เปรียบเทียบค่าใช้จ่ายการส่งข้อมูลผ่านเครือข่าย

• OVHCloud มีค่าใช้จ่ายการส่งข้อมูลผ่านเครือข่ายที่ถูกมาก
  • OVHCloud คิดค่าใช้จ่ายการส่งข้อมูลเฉพาะในบาง region ใหม่เท่านั้น (ราว 1/8 ของ AWS)
  • ในหลาย cloud region ไม่มีค่า egress เลย (ข้อมูล ณ มีนาคม 2025)
  • AWS มีค่า egress สูงมากจนเป็นภาระต้นทุน
• AWS ให้บริการทั่วโลก โดยมีค่าใช้จ่ายการส่งข้อมูลที่ $0.09 ต่อ GB หรือ $90 ต่อเดือนเมื่อส่งข้อมูล 1TB
• OVHCloud ให้บริการในยุโรปและอเมริกาเหนือ
  • ใน local zone ไม่มีค่าใช้จ่ายการส่งข้อมูล
  • ใน region อื่น ๆ คิดที่ $0.011 ต่อ GB หรือ $11 เมื่อส่งข้อมูล 1TB

เปรียบเทียบบริการ S3 storage

• AWS S3 มีความน่าเชื่อถือและความพร้อมใช้งานสูง แต่มีต้นทุนสูง
  • AWS ให้ประสิทธิภาพระดับสูงสุดในบริการ object storage บนคลาวด์
  • S3 ของ OVHCloud ยังคงความน่าเชื่อถือไว้ได้ แต่ต้นทุนอยู่ที่ ประมาณ 1 ใน 3 ของ AWS
• AWS S3 ได้รับการประเมินว่าเป็นบริการที่น่าเชื่อถือที่สุด โดยมีค่าจัดเก็บ $0.023 ต่อ GB หรือ $2300 ต่อเดือนเมื่อเก็บ 100TB
  • Put, Copy, List, Post คิด $0.005 ต่อ 1000 ครั้ง และ GET, SELECT คิด $0.0004 ต่อ 1000 ครั้ง ทำให้เมื่อมีงาน 100 ล้านครั้ง จะมีค่าใช้จ่ายราว $566 ต่อเดือน
• OVHCloud S3 มีความน่าเชื่อถือดีและมีค่าจัดเก็บต่ำกว่า
  • ค่าจัดเก็บอยู่ที่ $0.008 ต่อ GB หรือ $800 ต่อเดือนเมื่อเก็บ 100TB
  • การทำงาน Put/Get ไม่มีค่าใช้จ่าย

เปรียบเทียบบริการ container registry

• AWS ECR เป็น managed service ที่เติบโตเต็มที่และขยายขนาดได้
  • ขยายขนาดได้สูงและตั้งค่าได้ยืดหยุ่น
  • OVHCloud Harbor ใช้ค่าบริการแบบคงที่ จึงอาจมีข้อจำกัดด้าน scalability
• AWS ECR ให้บริการที่ mature และขยายขนาดได้
  • ค่าจัดเก็บอยู่ที่ $0.10 ต่อ GB หรือ $212 ต่อเดือนเมื่อเก็บ 5TB
  • โดยรวมให้ประสิทธิภาพดีกว่า OVHCloud
• OVHCloud Harbor มีข้อจำกัดด้านจำนวนการเชื่อมต่อพร้อมกัน (45 หรือ 90)
  • ค่าจัดเก็บอยู่ที่ $44/เดือน สำหรับ 600GB และ $212/เดือน สำหรับ 5TB
  • ไม่สามารถขยายได้อย่างยืดหยุ่นสำหรับพื้นที่เก็บเกิน 5TB

เปรียบเทียบค่าใช้จ่ายการรับส่งข้อมูลข้าม availability zone

• Hopsworks ทำ replication ของบริการระหว่าง instance เพื่อให้ทนต่อความขัดข้องของ availability zone (AZ)
  • จึงเกิดทราฟฟิกเครือข่ายระหว่าง instance ที่อยู่คนละ availability zone
• AWS มีค่าใช้จ่ายการส่งข้อมูล $0.02 ต่อ GB (ขาออก $0.01 + ขาเข้า $0.01)
  • เมื่อส่งข้อมูล 100TB จะมีค่าใช้จ่าย $2000 ต่อเดือน
• OVHCloud ไม่มีค่าใช้จ่ายการรับส่งข้อมูลข้าม availability zone

เปรียบเทียบ EBS instance

• Hopsworks ใช้ EBS (Block Storage) กับบริการที่ต้องใช้ persistent volume
  • AWS ใช้ Elastic Block Storage
  • OVH ใช้ Block Storage ที่อิงกับ Ceph
  • บาง instance ใช้ local NVMe disk → OVH ให้ throughput สูงกว่าสำหรับ storage ขนาดเล็ก (1~4TB)
• AWS มี instance ให้เลือกหลากหลายกว่า แต่ local NVMe storage ใช้ได้เฉพาะกับดิสก์ขนาดใหญ่
  • ค่าใช้จ่ายอยู่ที่ $0.08 ต่อ GB หรือ $81.92 ต่อเดือนต่อ 1TB
• OVHCloud มีประเภท instance น้อยกว่า แต่ให้ประสิทธิภาพ NVMe ที่ดีใน storage ขนาดเล็ก
  • ค่าใช้จ่ายอยู่ที่ $0.095 ต่อ GB หรือ $97.28 ต่อเดือนต่อ 1TB

กระบวนการย้ายระบบจริง

• ประกาศกำหนดการบำรุงรักษา
  • วันที่ 26 พฤศจิกายน 2024 มีการแจ้ง maintenance window เป็นเวลา 24 ชั่วโมง
• ดำเนินการสำรองข้อมูลและย้ายระบบ
  • สำรอง Hopsworks cluster ไปยัง AWS S3 bucket แล้วจึงย้ายไปยัง S3 bucket ของ OVHCloud
  • มี downtime บางส่วน แต่ย้ายเสร็จสิ้นโดยไม่มีปัญหา
• ทดสอบและกลับมาเปิดใช้งาน
  • deploy Hopsworks cluster บน OVH ด้วย Helm charts
  • ผ่านกระบวนการทดสอบและยืนยันว่าไม่มีปัญหา ก่อนกลับมาเปิดให้ล็อกอินอีกครั้ง
  • หลังการย้ายระบบ ไม่พบปัญหาเกี่ยวกับบัญชีผู้ใช้

สรุป

• ในไตรมาส 4 ปี 2024 ย้ายผู้ใช้หลายพันรายจาก AWS ไปยัง OVHCloud ได้สำเร็จ
• แม้ OVH และ Hopsworks จะเป็นเทคโนโลยีที่พัฒนาในยุโรปทั้งคู่ แต่บริการ Hopsworks serverless ยังคงให้บริการในอเมริกาเหนือซึ่งเป็นที่อยู่ของผู้ใช้ส่วนใหญ่
• โครงสร้างราคาที่เรียบง่ายและต่ำของ OVH เป็นจุดดึงดูดสำคัญ
  • ไม่ใช่แค่ค่า egress เท่านั้น แต่ค่าบริการส่วนใหญ่ก็ถูกกว่า
  • คุณภาพบริการโดยรวมก็ดีมากด้วย

[kaydash]

ข้อดีอย่างหนึ่งของ AWS คือมีกรณีอ้างอิงให้ดูจำนวนมาก
แต่พอต้องนำมาใช้รันแอปพลิเคชันระดับองค์กรแล้ว
ก็ดูเหมือนว่าค่าใช้จ่ายจะโหดเอาเรื่องเหมือนกัน
ถ้า CSP อื่นก็มีกรณีอ้างอิงเยอะและรับประกันความเสถียรได้ แถมต้นทุนถูกกว่า ก็น่าจะพิจารณาย้ายครับ

[GN⁺]

ความคิดเห็นจาก Hacker News

• OVH เป็นผู้ให้บริการโฮสติ้งที่ขึ้นชื่อว่าถูกกว่า AWS อยากรู้ว่าพวกเขาชดเชยเรื่องนี้ในด้านวิศวกรรมและความพร้อมใช้งานสูงได้หรือไม่

  • ทำงานที่บริษัทที่ปรึกษาซึ่งตั้งค่าโครงสร้างพื้นฐานคลาวด์และเสริมความปลอดภัย
  • มีลูกค้าจำนวนมากที่ใช้หลายแพลตฟอร์ม ตั้งแต่ AWS, Azure, GCP ไปจนถึงผู้ให้บริการคลาวด์ท้องถิ่นรายเล็ก
  • การใช้ผู้ให้บริการคลาวด์รายเล็กสามารถลดต้นทุนได้ราวครึ่งหนึ่ง แต่ก็อาจต้องใช้วิศวกรที่มีประสบการณ์
  • บริษัทเล็กจำนวนมากมุ่งไปที่ AWS แต่ถ้าใช้บริการเฉพาะของ AWS ก็จะย้ายไปที่อื่นได้ไม่ง่าย

• ในแคนาดา เรากำลังพิจารณาจะย้ายออกจาก AWS อยู่ OVH มีชื่อเสียงไม่ค่อยดีในแคนาดา

  • สิ่งที่กังวลที่สุดคือทางเลือกที่เชื่อถือได้ของ RDS-postgres
  • ค่าใช้จ่ายไม่ใช่ประเด็นหลัก แต่ถ้าลดต้นทุนได้ก็เป็นผลพลอยได้ที่ดี
  • ข้อกำหนด: รองรับ OpenTofu (หรือ Terraform) ได้ดี, เชื่อถือได้, มี managed database ที่ดี, และมีดาต้าเซ็นเตอร์ในแคนาดา

• ในฐานะสมาชิกของทีม ถ้ามีคำถามเกี่ยวกับการย้ายก็ยินดีพร้อมพูดคุย

• บริษัทเราก็ใช้ OVH อยู่เหมือนกัน ค่อนข้างโอเคและราคาถูก

  • ข้อเสียคือเมื่อ 6 ปีก่อนเคยเจอปัญหาไฟฟ้าในดาต้าเซ็นเตอร์จนล่มไปทั้งวัน
  • ตอนนี้เปลี่ยนมาเป็นสถาปัตยกรรมที่ใช้ผู้ให้บริการคลาวด์หลายราย และรันได้ถูกกว่า AWS

• จากการทำงานกับ AWS มา 3 ปี AWS เป็นพาร์ตเนอร์ทางธุรกิจที่โอเค

  • ราคาแพงและส่วนใหญ่ก็ทำงานได้ดี แต่จะรู้สึกถึงความต่างในรายละเอียดด้านความน่าเชื่อถือ
  • จากความสัมพันธ์ที่แย่ลงระหว่างยุโรปกับสหรัฐฯ บริการคลาวด์อาจกลายเป็นอาวุธได้

• ถ้าตัวเลขลงตัวและย้ายได้ก็ดี

  • ต้องแน่ใจว่ามีแผนสำรองที่ชัดเจน OVH เคยสูญเสียข้อมูลจากเหตุเพลิงไหม้มาแล้ว

• เคยใช้ OVH กับโปรเจกต์ส่วนตัว แต่เลิกใช้ไปแล้ว พวกเขาบล็อก IP ของเครือข่าย iCloud Private Relay แบบสุ่ม

  • SPF record ของบริการอีเมลตั้งค่าไว้ผิด
  • ผ่านไปเกิน 1 ปีก็ยังไม่แก้ เลยย้ายอีเมลไปที่อื่น

• เวลาย้ายข้อมูลไป OVH ควรสำรองข้อมูลทั้งหมดไว้กับผู้ให้บริการรายอื่นด้วย

  • เคยมีกรณีไฟไหม้ดาต้าเซ็นเตอร์ของ OVH แล้วข้อมูลสำรองก็หายไปพร้อมกันด้วย

• อยากรู้เหตุผลที่เลือก Scaleway.com แทน OVH

  • Scaleway ก็เป็นผู้ให้บริการยุโรป และมีบริการในระดับใกล้เคียงกับ managed services หลายอย่างของ AWS

• ไม่มีเหตุผลที่จะต้องอยู่กับ AWS หรือ Azure ต่อไป แต่เพราะทางเลือกอื่นถูกทำการตลาดน้อยกว่า จึงยากที่จะโน้มน้าวผู้บริหาร