ความเร็ว การขยายขนาด และความเสถียร: วิวัฒนาการ 25 ปีของเครือข่ายดาต้าเซ็นเตอร์ Google

• เครือข่ายของ Google ไม่ได้ถูกสร้างขึ้นในชั่วข้ามคืน แต่พัฒนามาจนเป็นสถาปัตยกรรมเครือข่ายดาต้าเซ็นเตอร์ Jupiter รุ่นที่ 5 ในปัจจุบัน ผ่านนวัตกรรมทางวิศวกรรมและหมุดหมายสำคัญตลอด 25 ปี
• ปัจจุบันเครือข่าย Jupiter สามารถขยายได้ถึงแบนด์วิดท์แบบสองทิศทาง 13 เพตะบิตต่อวินาที ซึ่งอยู่ในระดับที่ผู้คนทั้ง 8 พันล้านคนบนโลกสามารถวิดีโอคอลพร้อมกันได้ (@1.5Mb/s)

หลักการสำคัญ

• อะไรก็ได้ ที่ไหนก็ได้: เครือข่ายดาต้าเซ็นเตอร์ของ Google รองรับการวางงานขนาดใหญ่ไว้บนเซิร์ฟเวอร์ใดก็ได้ในบรรดาเซิร์ฟเวอร์มากกว่า 100,000 เครื่องภายใน network fabric เดียวกัน สเกลระดับนี้ช่วยเพิ่มประสิทธิภาพของแอปพลิเคชันสำหรับทั้งเวิร์กโหลดภายในและภายนอก และขจัดการแตกย่อยภายในระบบ
• ค่าหน่วงต่ำและคาดการณ์ได้: ให้ความสำคัญกับประสิทธิภาพที่สม่ำเสมอและการลด tail latency ให้ต่ำที่สุด ด้วยการเตรียม bandwidth headroom รักษาความพร้อมใช้งานของเครือข่ายที่ 99.999% และจัดการความหนาแน่นของทราฟฟิกล่วงหน้าผ่านความร่วมมือระหว่าง end host และ fabric
• กำหนดด้วยซอฟต์แวร์และยึดระบบเป็นศูนย์กลาง: ใช้ซอฟต์แวร์กำหนดเครือข่าย (SDN) เพื่อความยืดหยุ่นและความคล่องตัว โดยตรวจสอบฟีเจอร์ใหม่หลายสิบรายการทุก 2 สัปดาห์บนเครือข่ายระดับโลก และปล่อยใช้งานทั่วโลก
• วิวัฒนาการแบบค่อยเป็นค่อยไปและโทโพโลยีแบบไดนามิก: การพัฒนาแบบค่อยเป็นค่อยไปช่วยให้รีเฟรชเครือข่ายเป็นส่วนย่อยได้โดยไม่ต้องหยุดทั้งระบบ ส่วนโทโพโลยีแบบไดนามิกช่วยให้ปรับตัวต่อความต้องการของเวิร์กโหลดที่เปลี่ยนแปลงอยู่เสมอ การผสาน optical circuit switching กับ SDN รองรับเครือข่าย heterogeneous ที่พัฒนาอย่างต่อเนื่อง ทั้งในการอัปเกรดทางกายภาพและการรองรับฮาร์ดแวร์หลายเจเนอเรชันภายใน fabric เดียว
• วิศวกรรมทราฟฟิกและ QoS ที่ยึดแอปพลิเคชันเป็นศูนย์กลาง: การเพิ่มประสิทธิภาพของการไหลของทราฟฟิกและการรับประกันคุณภาพการให้บริการ ช่วยให้เครือข่ายถูกปรับให้เหมาะกับความต้องการของแต่ละแอปพลิเคชัน
• เครือข่าย Jupiter แบบ SDN ที่ Google พัฒนาขึ้นเอง มอบความเสถียรมากกว่ารุ่นก่อนหน้ากว่า 50 เท่า

ประวัติการพัฒนา

ปี 2015 - Jupiter เครือข่ายระดับเพตะบิตตัวแรก

• Google แสดงให้เห็นว่าเครือข่ายดาต้าเซ็นเตอร์ Jupiter สามารถขยายได้ถึงแบนด์วิดท์รวม 1.3 Pb/s โดยใช้ commercial switch silicon, โทโพโลยี Clos และซอฟต์แวร์กำหนดเครือข่าย (SDN)
• ในเวลานั้น อัตราการรับส่งข้อมูลของดาต้าเซ็นเตอร์ Google เพียงแห่งเดียว สูงกว่าประมาณการอัตราทราฟฟิกข้อมูล IP รวมของอินเทอร์เน็ตทั่วโลกเสียอีก

ปี 2022 - รองรับ 6 เพตะบิตต่อวินาที

• Google ประกาศว่าเครือข่าย Jupiter สามารถขยายได้เกิน 6Pb/s ผ่านการผสานอย่างลึกซึ้งของ optical circuit switching (OCS), wavelength division multiplexing (WDM) และ Orion SDN controller ที่ขยายขนาดได้สูงมาก
• เทคโนโลยีเหล่านี้ทำให้เกิดความก้าวหน้าหลากหลาย ทั้งการสร้างเครือข่ายแบบค่อยเป็นค่อยไป ประสิทธิภาพที่ดีขึ้น การลดต้นทุน การใช้พลังงานที่ลดลง การจัดการทราฟฟิกแบบไดนามิก และการอัปเกรดที่ราบรื่น

ปี 2023 - เครือข่าย 13 เพตะบิตต่อวินาที

• Google ปรับปรุง Jupiter เพิ่มเติมให้รองรับความเร็วลิงก์พื้นฐาน 400Gb/s ในแกนกลางเครือข่าย
• องค์ประกอบพื้นฐานของเครือข่าย Jupiter (เรียกว่า aggregation block) ตอนนี้ประกอบด้วย 512 พอร์ต ที่รองรับแบนด์วิดท์แบบสองทิศทางชนิด non-blocking ที่ 400Gb/s สำหรับ end host และส่วนที่เหลือของดาต้าเซ็นเตอร์
• รองรับบล็อกลักษณะนี้จำนวน 64 บล็อก เพื่อให้ได้แบนด์วิดท์รวมแบบสองทิศทาง 64*204.8 Tb/s = 13.1 Pb/s
• เทคโนโลยีนี้ขับเคลื่อนดาต้าเซ็นเตอร์ production ของ Google มาแล้วกว่าหนึ่งปี และกำลังผลักดันความก้าวหน้าอย่างรวดเร็วของปัญญาประดิษฐ์ การเรียนรู้ของเครื่อง เว็บเสิร์ช และแอปพลิเคชันที่ใช้ข้อมูลเข้มข้นอื่น ๆ

ตั้งแต่ปี 2024 เป็นต้นไป - เครือข่ายขั้นสุดสำหรับยุค AI

• Google ได้กำหนดทิศทางสำหรับโครงสร้างพื้นฐานเครือข่ายยุคถัดไปเพื่อรองรับ AI ในอนาคตไว้แล้ว
• กำลังดำเนินงานตามข้อกำหนดโครงสร้างพื้นฐานเครือข่ายสำหรับ A3 Ultra VM แบบ GPU-based รุ่นถัดไป ซึ่งมาพร้อมเครือข่าย NVIDIA ConnectX-7
• ระบบนี้รองรับ 3.2 Tbps ต่อเซิร์ฟเวอร์แบบ non-blocking สำหรับทราฟฟิกระหว่าง GPU ผ่าน RoCE(RDMA over converged ethernet)
• และยังอยู่ระหว่างพัฒนาสำหรับผลิตภัณฑ์ในอนาคตที่อิงบน NVIDIA GB200 NVL72

ในอีกหลายปีข้างหน้า Google มีแผนรองรับแอปพลิเคชันและบริการเชิงพลิกโฉม ผ่านความก้าวหน้าที่มีนัยสำคัญด้านแบนด์วิดท์ต่อพอร์ต/ทั้งเครือข่ายและด้านสเกล การเสริมการผสานรวมกับ end host วิศวกรรมโทโพโลยีแบบเรียลไทม์ การบูรณาการเชิงลึกกับสแตกคอมพิวต์/สตอเรจ และการปรับปรุง load balancing แบบ host-based