สร้างเครือข่ายฟูลเมชความเร็วสูง 10Gbps ด้วย USB4 ในราคา $47.98

• เพื่อลดค่าใช้จ่าย AWS จึงสร้างคลัสเตอร์ Kubernetes แบบ bare metal และตั้งค่าเครือข่าย 10Gbps
• ใช้เครือข่ายที่อิงกับ USB4 Ethernet Bridge แทนสวิตช์อีเธอร์เน็ตและสายแบบดั้งเดิม
• ความเร็วเครือข่ายแตะ 11Gbps ขณะที่ต้นทุนในการทำมีเพียง 47.98 ดอลลาร์

มินิพีซีเทียบกับเซิร์ฟเวอร์ 1U มาตรฐาน

• พิจารณาว่าจะใช้เครื่องประเภทใดในการสร้าง bare metal cluster
• เซิร์ฟเวอร์ 1U มือสองราคาถูก แต่เมื่อคิดค่าใช้จ่ายในการใช้งานแล้วไม่มีประสิทธิภาพนัก
• มินิพีซีราคาถูกกว่า เงียบกว่า และกินไฟน้อยกว่า
• เลือกมินิพีซี Venus UM790 Pro ซึ่งใช้พลังงานต่ำ (ขณะ idle 6W, โหลดสูงสุด 80W)
  • CPU AMD Ryzen 9 7940HS + หน่วยความจำ 64GB + สตอเรจ 1TB ในราคา $779 ซึ่งถือว่าถูก

ระบบเครือข่าย

• ตัดสินใจเพิ่มมินิพีซี UM790 Pro อีก 2 เครื่อง เพื่อขยายเป็นคลัสเตอร์ 3 โหนด
• หลังติดตั้งระบบจัดเก็บข้อมูล Ceph แล้ว จึงต้องการการเชื่อมต่อเครือข่ายระหว่างโหนดที่ดียิ่งขึ้น
  • แม้อุปกรณ์จะมีพอร์ตเครือข่าย 2.5G อยู่แล้ว แต่ก็ยังต้องซื้ออีเธอร์เน็ตสวิตช์เพิ่ม
• พิจารณาใช้พอร์ต USB4 ที่มีอยู่ถึง 2 พอร์ตต่อเครื่อง ซึ่งอาจรองรับความเร็วได้ถึง 40Gbps
• สร้างเครือข่ายแบบ full mesh ด้วยสาย USB4 ช่วยประหยัดค่าใช้จ่ายเมื่อเทียบกับการซื้อสวิตช์อีเธอร์เน็ต 2.5G

การตั้งค่าเครือข่ายแบบ mesh ด้วย NixOS และ Systemd

• ใช้ NixOS เพื่อทำให้การตั้งค่าสภาพแวดล้อม Linux OS สามารถทำซ้ำได้อย่างสม่ำเสมอ
• ใช้ systemd-udevd ในการตั้งค่าอุปกรณ์เครือข่าย Thunderbolt Bridge และกำหนด IP

ผลการทดสอบ benchmark

• ผล benchmark ด้วย iperf3 ยืนยันความเร็วเครือข่าย 11Gbps

ข้อคิดหลังการทำ

• พึงพอใจกับการสร้างเครือข่าย 11Gbps ได้ด้วยต้นทุนต่ำ
• สงสัยถึงสาเหตุที่ทำให้เครือข่ายบน USB4 ถูกจำกัดความเร็ว
• สำรวจความเป็นไปได้ในอนาคตของการสร้างเครือข่ายความเร็วสูงบนพื้นฐาน USB/Thunderbolt

ความเห็นจาก GN⁺:

• บทความนี้เน้นย้ำความสำคัญของการที่วิศวกรซอฟต์แวร์ควรขยายความรู้ด้านฮาร์ดแวร์ โดยเฉพาะการนำเสนอแนวทางที่สร้างสรรค์ในการสร้างเครือข่ายความเร็วสูงด้วยต้นทุนต่ำ ซึ่งเป็นทางเลือกใหม่จากแนวทางเครือข่ายแบบเดิม
• การทำเครือข่ายด้วยเทคโนโลยี USB4 แสดงให้เห็นว่าสามารถให้ทั้งความคุ้มค่าและความเร็วสูงเมื่อเทียบกับโซลูชันแบบ Ethernet เดิม ๆ ซึ่งอาจเป็นตัวเลือกที่น่าสนใจสำหรับดาต้าเซ็นเตอร์ขนาดเล็กหรือผู้ใช้ทั่วไปในอนาคต
• วิธีทำให้การตั้งค่าเครือข่ายเป็นแบบอัตโนมัติและทำซ้ำได้ด้วยเครื่องมืออย่าง NixOS เป็นข้อมูลที่มีประโยชน์สำหรับทั้งผู้ดูแลระบบและนักพัฒนา

[aster]

นึกว่าเขียนว่าให้ทุ่มซื้อทั้งหมดซะอีก..

[pmc7777]

จัดได้แน่นมากเลย... อิจฉาจัง

[bus710]

ผมใช้งานการโอนไฟล์ผ่าน IP over TB4/USB4 อยู่บ่อย ๆ และมันเร็วมากจริง ๆ 555

[bus710]

หากติดตั้ง thinderbolt-tools, แพ็กเกจ bolt และไดรเวอร์ได้ถูกต้อง ก็สามารถตั้งค่าอินเทอร์เฟซด้วย nmcli และใช้งานผ่าน ssh หรือ scp ได้อย่างง่ายดายเหมือนการเชื่อมต่อ Ethernet ทั่วไป

อุปกรณ์ Intel และ Mac แทบไม่มีปัญหาใหญ่ แต่ฝั่ง AMD อาจมีบางอุปกรณ์ที่ใช้งานไม่ได้บ้าง

[kuroneko]

ถ้ารู้เรื่องนี้ก่อน ก็คงเลือก CPU ของ Intel ไปแล้วสิ... ฮือ ๆ

[kuroneko]

เอ๊ะ... ถ้าเชื่อมต่อ PC 2 เครื่องเข้าหากันโดยตรงผ่าน USB4/Thunderbolt มันจะถูกมองเป็น Ethernet เหรอ?

ตอนนี้กำลังวางแผนสารพัดเพื่อจะเชื่อมต่อ NAS กับ PC แบบ 10Gbps อยู่พอดี
(เดิมกะว่าจะซื้อการ์ดแลนที่รองรับ 10G มา 2 ใบแล้วต่อเข้าหากันตรงๆ)

จู่ๆ ก็รู้สึกหมดแรงขึ้นมาเลย

หรือว่าควรเปลี่ยนเมนบอร์ดให้เป็นรุ่นที่รองรับ USB4/Thunderbolt กันแน่นะ...

[kuroneko]

ตอนเห็นผ่าน ๆ บน HN ก็ไม่ได้คิดอะไรเลยแล้วก็เลื่อนผ่านไป
แต่พอมาเห็นที่นี่ เนื้อหากลับสะดุดตาขึ้นมาทันที;

อย่างไรก็ตาม ต้องขอบคุณที่ทำให้มองเห็นทางแก้ปัญหา...

ถ้าจะมีข้อเสียก็คงเป็นแค่ว่า NAS กับ PC ต้องอยู่ใกล้กันพอสมควร
เพราะสาย USB4 ยาวได้อย่างมากก็ราว ๆ 3 เมตร... (ถ้าเทียบกับสาย LAN ที่ยาวได้สูงสุด 100 ม.)

[molla]

ข้อจำกัดเรื่องระยะค่อนข้างหนักกว่าที่คิดไว้
มาตรฐานสาย USB-C รองรับ 10Gbps เฉพาะกรณีที่สายยาวไม่เกิน 1 เมตรเท่านั้น (นี่จึงเป็นเหตุผลที่สายข้อมูล USB-C สั้น)
ถ้ายาวไม่เกิน 2 เมตร จะรองรับ 5Gbps และถ้ายาวกว่านั้นจะรองรับเพียง USB 2
ถ้าขยับไปทาง Thunderbolt เลย ก็สามารถใช้สายแอ็กทีฟเพื่อเพิ่มระยะได้ แต่สายแอ็กทีฟมีราคาสูงมาก และก็ไม่แน่ใจเหมือนกันว่าจะเข้ากันได้กับ USB4 หรือไม่

[kuroneko]

อ้อ... งั้นสาย USB4 ยาว 3 เมตรที่มีขายตามท้องตลาดก็น่าจะมีโอกาสสูงที่จะทำความเร็วได้ไม่เต็มที่สินะ
คงต้องหาข้อมูลให้แน่ชัดก่อนค่อยทำครับ เพราะใช้ CPU ของ AMD เลยใช้ Thunderbolt ได้ยากเหมือนกัน T_T

[GN⁺]

ความคิดเห็นจาก Hacker News

• การอภิปรายเกี่ยวกับโปรโตคอล USB4/Thunderbolt:

  • USB4/Thunderbolt เป็นโปรโตคอลที่แทบจะเหมือนเวทมนตร์ โดยวิธีที่เร็วที่สุดในการย้ายข้อมูลระหว่างพีซีสมัยใหม่คือเชื่อมต่อพอร์ต Thunderbolt ด้วยสาย USB-C
  • การเชื่อมต่อนี้จะถูกมองเห็นเป็นพอร์ตอีเธอร์เน็ตใน Windows และทำความเร็วรับส่งข้อมูลได้เกิน 1GB/s ได้ไม่ยาก ซึ่งมากพอจะใช้งาน SSD ได้เต็มประสิทธิภาพ
  • Intel ได้สาธิตความสามารถในการถ่ายโอนไฟล์ระหว่างอุปกรณ์ด้วย Thunderbolt 4/5 ในงาน CES โดยในทางทฤษฎี Thunderbolt 4 และ 5 ให้ความเร็ว 20Gbps และ 40Gbps ตามลำดับ
  • หากใช้คอนโทรลเลอร์ Thunderbolt/USB4 เพียงตัวเดียว ก็อาจทำได้แค่ 11Gbps เพราะพอร์ต USB4 สองพอร์ตต้องแชร์ PCIe lane 40Gbps ร่วมกัน

• คำอธิบายเกี่ยวกับโครงสร้างเครือข่าย:

  • ถ้ามีเพียง 3 โหนด จะไม่เรียกว่า mesh network และ ring network ที่แท้จริงจะเกิดขึ้นเมื่อมี 3 โหนดขึ้นไปและบางปลายทางต้องผ่านหลาย hop
  • mesh network หมายถึงเครือข่ายที่เกิดจากการเชื่อมต่อแบบ point-to-point ตามอำเภอใจ ซึ่งมีหลายเส้นทางเป็นไปได้

• เบนช์มาร์กการใช้พลังงานของเซิร์ฟเวอร์ Dell:

  • มีการวัดการใช้พลังงานของเซิร์ฟเวอร์ Dell r430 พบว่าใช้ประมาณ 100 วัตต์หลังบูต และสูงสุดราว 220 วัตต์เมื่อมีโหลด
  • คิดเป็น 72kWh ต่อวัน และมีค่าใช้จ่าย $11.05 ต่อเดือน ส่วนตอนมีโหลดจะมีค่าใช้จ่าย $24.3 ต่อเดือน
  • การโฮสต์เซิร์ฟเวอร์ควรนำไปวางแบบ co-location เพื่อแก้ปัญหาอินเทอร์เน็ตไม่เสถียรและเรื่องเสียงรบกวน

• ความสามารถในการจัดการข้อผิดพลาดของ USB 4:

  • มีคำถามเกี่ยวกับความสามารถของ USB 4 ในการจัดการข้อผิดพลาดจากข้อมูลเสียหายที่อาจเกิดขึ้นได้ไม่บ่อยระหว่างการโอนข้อมูลจำนวนมากผ่าน USB

• วิธีถ่ายโอนไฟล์ในอดีต:

  • มีการรำลึกถึงวิธีถ่ายโอนไฟล์ระหว่างคอมพิวเตอร์ MS-DOS ด้วยสายขนาน

• การปรับแต่งการเชื่อมต่อ Thunderbolt:

  • เมื่อต่อผ่าน Thunderbolt การตั้งค่า MTU (หน่วยส่งข้อมูลสูงสุด) เป็น 9000 ให้ประสิทธิภาพดีกว่าตั้งไว้ที่ 1500

• การรำลึกถึงโครงสร้างเครือข่ายยุคโบราณ:

  • มีเรื่องเล่าถึงประสบการณ์การเชื่อมต่อพีซี 8 เครื่องเข้ากับ SCSI chain เดียวด้วย IP-over-SCSI ที่ความเร็วระดับ U320 ในยุค 1990s

• ปัญหาทางเทคนิคที่เกี่ยวข้องกับความเร็ว Thunderbolt:

  • ปัจจัยที่ส่งผลต่อความเร็ว Thunderbolt ได้แก่ สายเคเบิล การจัดสรร PCIe lane ของเมนบอร์ด และการอัปเดตไดรเวอร์/เฟิร์มแวร์

• การอภิปรายเกี่ยวกับค่าไฟฟ้า:

  • มีการให้ข้อมูลว่าค่าไฟฟ้าที่อยู่อาศัยเฉลี่ยอยู่ที่ 15.34 เซนต์/kWh แต่ก็มีการแชร์ประสบการณ์ส่วนตัวว่าในซานฟรานซิสโกต้องจ่ายแพงกว่านี้มากกว่าเท่าตัว

[cosine20]

อ้อ ดังนั้นเมื่อก่อนคอมพิวเตอร์ก็สามารถเชื่อมต่อกันด้วยสายพารัลเลลเพื่อรับส่งข้อมูลกันได้สินะ???