กรณีซื้อเซิร์ฟเวอร์ Nvidia GH200 ในราคา 7,500 ยูโรแล้วดัดแปลงเป็นเดสก์ท็อป

 (dnhkng.github.io)
1 คะแนน โดย GN⁺ 2025-12-12 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • การทดลองดัดแปลง Nvidia Grace-Hopper GH200 server ให้เป็น AI เดสก์ท็อป สำหรับใช้งานส่วนตัว โดยได้ประสิทธิภาพระดับที่สามารถรันโมเดลขนาด 235B พารามิเตอร์แบบโลคัลได้
  • ซื้อระบบ GH200 มือสองจาก Reddit ในราคา 7,500 ยูโร แล้วประกอบใหม่จาก เซิร์ฟเวอร์ระบายความร้อนด้วยน้ำสำหรับดาต้าเซ็นเตอร์ ให้กลายเป็น เดสก์ท็อประบายความร้อนด้วยอากาศ
  • มีการแก้ปัญหาฮาร์ดแวร์จำนวนมาก เช่น การระบายความร้อน, ระบบไฟ, ความผิดพลาดของเซ็นเซอร์ที่ทำให้ อุณหภูมิ GPU แสดง 16.77 ล้าน°C, วงจรพัดลมเสียหาย, และการซ่อมด้วยการบัดกรีมือ
  • สุดท้ายประกอบระบบที่เสถียรได้ด้วยการผสม ชุดระบายความร้อนด้วยน้ำ 4 ชุด, อะแดปเตอร์ที่ผ่านการกลึง CNC, และ ชิ้นส่วนที่พิมพ์ 3D
  • ต้นทุนรวมประมาณ 9,000 ยูโร ทำให้สร้าง AI เวิร์กสเตชันสมรรถนะสูงมาก ได้ในราคาถูกกว่า GPU H100 เดี่ยว

การซื้อเซิร์ฟเวอร์ Grace-Hopper และสเปก

  • พบประกาศขาย เซิร์ฟเวอร์ GH200 ราคา 10,000 ยูโร ในบอร์ด r/LocalLLaMA ของ Reddit และต่อรองจนซื้อได้ที่ 7,500 ยูโร
    • สเปก: 2× Grace-Hopper Superchip, 2× Grace CPU 72 คอร์, 2× H100 GPU, 480GB LPDDR5X, 96GB HBM3, หน่วยความจำความเร็วสูงรวม 1,152GB
    • แบนด์วิดท์ NVLink-C2C 900GB/s, ใช้พลังงาน 1,000~2,000W, มาพร้อม PSU 3,000W
  • ผู้ขายคือ GPTshop.ai ซึ่งเป็นบริษัทที่ดัดแปลงและขายเซิร์ฟเวอร์ Nvidia ในรูปแบบเดสก์ท็อป
    • เดิมระบบนี้เป็นลักษณะ “Franken-system” ที่แปลง เซิร์ฟเวอร์ระบายความร้อนด้วยน้ำ ให้เป็น ระบบระบายความร้อนด้วยอากาศ
    • ภายนอกดูหยาบ ๆ ไม่สามารถติดตั้งเข้าตู้แร็กได้ และมีแหล่งจ่ายไฟ 48V ติดอยู่

การถอดแยกและทำความสะอาดเซิร์ฟเวอร์

  • เซิร์ฟเวอร์อยู่ในสภาพ มีฝุ่นสะสมหนักมาก และพัดลมกำลังสูง 8 ตัวส่งเสียงดังระดับ เครื่องดูดฝุ่น
    • ดังเกินกว่าจะใช้งานในบ้านได้ จึงถอดแยก ทำความสะอาด และประกอบใหม่
  • ใช้ isopropanol หลายลิตรล้างเมนบอร์ดทั้งแผง แล้ว ตากบนแผ่นทำความร้อน เป็นเวลาหนึ่งสัปดาห์
  • ถอดแยกเพื่อตรวจสอบภายในของโมดูล Grace-Hopper และสำรวจโครงสร้างด้านใน

การปรับโครงสร้างระบบระบายความร้อนด้วยน้ำ

  • เนื่องจากกังวลเรื่องการรั่ว จึงใช้ชุด AIO Arctic Liquid Freezer III 420 จำนวน 4 ชุด แทนการใช้บล็อกแบบสั่งทำ
    • วัดขนาดไดของ GPU และ CPU แล้วออกแบบบล็อกอะแดปเตอร์ด้วย Fusion 360
    • สร้างต้นแบบด้วย Bambu X1 3D printer และทำชิ้นส่วนจริงขั้นสุดท้ายด้วย CNC
  • หลังการกลึง มีการกำจัดน้ำมันตกค้างและติดตั้งเสร็จเรียบร้อย พร้อมประสิทธิภาพการระบายความร้อนที่เพียงพอ

การประกอบเป็นเดสก์ท็อป

  • สร้างเฟรมด้วย ProfilAlu aluminum profile โดยออกแบบด้วย Fusion 360
    • ผลิต ชิ้นส่วนยึด PCB และฟิลเตอร์ หลายสิบชิ้นด้วยการพิมพ์ 3D
    • ใช้ฟิลาเมนต์ไปหลายกิโลกรัมเพื่อเพิ่มความแข็งแรงของโครงสร้าง

ปัญหาสำคัญที่เกิดขึ้น

  • ระหว่างต่อไฟให้พัดลม มีเสียง “ป๊อบ” และเกิดควันขึ้น ทำให้ วงจร fan header บางส่วนเสียหาย
    • คาดว่า MOSFET เสียหายจากการคำนวณกระแสผิด
    • ไฟเลี้ยงพัดลมจึงเปลี่ยนไปใช้ อะแดปเตอร์ 12V-5A แยกต่างหาก
  • ข้อผิดพลาดของพัดลมทำให้ BMC(Baseboard Management Controller) บล็อกการบูต
    • ข้ามการตรวจสอบพัดลมด้วยการปิด phosphor-sensor-monitor.service

ข้อผิดพลาดอุณหภูมิ GPU และการซ่อมวงจร

  • ระหว่างบูต อุณหภูมิ GPU แสดง 16,777,214°C และระบบปิดตัวเองอัตโนมัติ
    • ค่านี้คือ ค่าสูงสุดของจำนวนเต็ม 24 บิต (2²⁴-2) ซึ่งหมายถึง สัญญาณจากเซ็นเซอร์ผิดพลาด
  • เมื่อตรวจด้วยกล้องจุลทรรศน์ พบว่า คาปาซิเตอร์ 100nF และตัวต้านทาน 4.7kΩ เสียหาย
    • ซ่อมวงจรด้วยการบัดกรีละเอียดและยึดด้วย UV mask
    • หลังประกอบกลับ สามารถบูตได้ตามปกติ

ชุดประกอบสุดท้ายและประสิทธิภาพ

  • ชิ้นส่วนที่ทำเพิ่ม:
    • เมาท์ SSD แบบ E1.S ขนาด 8TB, แผงด้านหลังสำหรับ PSU 3kW, และตะแกรงป้องกันหม้อน้ำ
  • ปัญหาการ initialze GPU ถูกแก้ด้วย การปิดใช้งาน NVLink
    • เพิ่ม NVreg_NvLinkDisable=1 ใน /etc/modprobe.d/nvidia-disable-nvlink.conf

ผลการทดสอบเบนช์มาร์ก

  • คอมไพล์ Llama.cpp ด้วย 144 คอร์ใช้เวลา 90 วินาที และผลทดสอบโมเดลขนาดใหญ่มีดังนี้:
    • gpt-oss-120b-Q4_K_M: พรอมป์ต์ 2974.79, โทเคน 195.84
    • GLM-4.5-Air-Q4_K_M: พรอมป์ต์ 1936.65, โทเคน 100.71
    • Qwen3-235B-A22B-Instruct: พรอมป์ต์ 1022.79, โทเคน 65.90
  • ใช้พลังงานราว 300W ต่อ GPU ซึ่งยังต่ำกว่าค่าสูงสุด (900W) มาก

รายการค่าใช้จ่าย

  • เซิร์ฟเวอร์ Grace-Hopper €7,500, SSD €250, อะแดปเตอร์ CNC €700, ชุดระบายความร้อนด้วยน้ำ €180
  • เฟรม €200, แผงกระจก €40, วัสดุพิมพ์ 3D €40, อุปกรณ์อื่น ๆ €50
  • isopropanol สำหรับทำความสะอาด €20, แหล่งจ่ายไฟ 12V €10, ไฟ LED €10
  • รวมทั้งหมดราว €9,000 ซึ่งถูกกว่า GPU H100 เดี่ยว

บทสรุป

  • สร้าง เดสก์ท็อปที่สามารถรันโมเดลขนาด 235B พารามิเตอร์แบบโลคัลได้ สำเร็จ
  • ระหว่างเปลี่ยนฮาร์ดแวร์ระดับดาต้าเซ็นเตอร์ให้ใช้งานส่วนตัว ต้องฝ่าฟันอุปสรรคมากมาย ทั้ง ความผิดพลาดของเซ็นเซอร์, วงจรเสียหาย, และปัญหาการระบายความร้อน
  • ผลลัพธ์คือกรณีตัวอย่างของการสร้าง เวิร์กสเตชันสำหรับวิจัย AI สมรรถนะสูง ด้วยต้นทุนที่ค่อนข้างต่ำ

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-12-12
ความเห็นจาก Hacker News

  • ผมซื้อฮาร์ดแวร์ AI ระดับดาต้าเซ็นเตอร์มาแล้วดัดแปลงจากระบบระบายความร้อนด้วยของเหลว → ลม → กลับไปใช้ของเหลวอีกครั้ง เจอวิกฤตสารพัดรวมถึงอุณหภูมิ GPU ที่แสดงเป็น 16 ล้านองศา ก่อนจะประกอบเดสก์ท็อปที่รันโมเดลขนาด 235B พารามิเตอร์ที่บ้านได้สำเร็จ
    นี่คือเรื่องของการตัดสินใจแบบบ้าบิ่น การแก้ปัญหาอย่างสร้างสรรค์ และความพยายามเปลี่ยนอุปกรณ์ดาต้าเซ็นเตอร์ให้ใช้ในชีวิตประจำวัน

    • พบว่าถ้าสั่งไดรเวอร์ให้เพิกเฉยต่อ NVLINK ไปเลย GPU จะเริ่มต้นทำงานแยกกันผ่าน PCIe ได้
      ผมใช้เวลาหาคำตอบนี้เป็นสัปดาห์ และสุดท้ายแก้ได้เพราะ Reddit เลยสงสัยว่าปัญหาแบบนี้อาจเกิดในดาต้าเซ็นเตอร์ทั่วไปด้วยหรือเปล่า
    • ผมก็เห็นโพสต์เดียวกันบน Reddit แล้วเกือบจะซื้อเหมือนกัน แต่เพราะอยู่สหรัฐฯ เลยยอมแพ้ ดีใจที่ไม่ใช่การหลอกลวง
    • เขาบอกว่าจ่ายเงินสด 7,500 ยูโร เลยสงสัยว่าไปถอนมาเป็นธนบัตรทั้งหมดจริงหรือเปล่า และอยากรู้ว่าธนาคารเตรียมเงินก้อนใหญ่แบบนั้นให้ยังไง
    • ประทับใจตรงที่ยึดชิ้นส่วนที่บัดกรีด้วยอีพ็อกซี่ แบบนี้คงต้องมั่นใจฝีมือการบัดกรีมาก ๆ ไม่รู้ว่าไม่มีปืนกาวหรืออย่างไร

  • ผมก็มีประสบการณ์คล้ายกัน ตลอด 3 ปีที่ผ่านมาอยากทำเซิร์ฟเวอร์เกมแบบแร็กไว้ใช้กับลูกชาย แต่บ้านแคบและภรรยาไม่ยอม เลยไปใช้ทั้งโรงไฟฟ้า PV ของพ่อแม่ (90kWp) และแร็กเซิร์ฟเวอร์ที่บ้านพ่อแม่แทน
    สองเดือนก่อนผมซื้อ Supermicro SYS-7049GP-TRT จาก eBay มาในราคา 1,400 ยูโร เปิดดูข้างในแล้วพบว่ามีNvidia V100S 32GBอยู่ด้วย เลยขายไป 1,600 ยูโร แล้วซื้อ CPU Xeon 6254 สองตัวมาเปลี่ยน หลังจากนั้นก็ซื้อ Blackwell RTX 4000 Pro สองใบ ตอนนี้ทั้งเล่นเกมกับลูกชายและทดลอง LLM ได้แล้ว
    เคสนี้ใส่ GPU แบบคู่ได้ 4 ชุด ดังนั้นสักวันหนึ่งอาจอัปเกรดเป็น RTX 6000 สี่ใบได้ด้วย (รวม VRAM 384GB) อุปกรณ์องค์กรมือสองแข็งแรงและคุ้มค่ามาก เป็นงานอดิเรกที่สนุกจริง ๆ

  • ขำตรงที่เอาเซิร์ฟเวอร์หนัก 20 กก. ราคา 7.5k ยูโร ไปวางบนโต๊ะ IKEA LACKราคา 5 ยูโร เพราะ LACK รับน้ำหนักได้สูงสุด 25 กก. ดูเสี่ยงมาก

    • จริง ๆ แล้วเคสเดิมหนัก 20 กก. แต่ตอนนี้เพิ่มเฟรมอะลูมิเนียมกับแผ่นกระจกเข้าไปแล้ว น่าจะราว 40 กก. ตอนนี้ดูแล้วคงไม่ควรวางบน LACK จริง ๆ
    • แต่โต๊ะ LACK แข็งแรงกว่าที่คิดนะ คนใช้กับเซิร์ฟเวอร์หรืออุปกรณ์เครือข่ายกันเยอะ และใน วิกิ LackRack ก็มีตัวอย่างมากมาย ผมเองก็เคยวางเกิน 100 กก. มาแล้ว
    • แต่ก็หวังว่าคงยังมีระยะเผื่อความปลอดภัยสัก 25% แหละนะ

  • ประโยคที่ว่า “ขับรถไปเอาเองสองชั่วโมง” นี่ตลกดี เพราะเป็นความหมายตรงตัวของ Your mileage may vary จริง ๆ

  • น่าประทับใจที่เขาบอกว่ากระบวนการทำให้ GPU ใช้งานได้ทรมานมาก เลยทิ้งคำสั่งติดตั้งไว้ให้คนบุกเบิกรุ่นถัดไป
    ต้องติดตั้ง ไดรเวอร์ NVIDIA-Linux-aarch64 และทุกครั้งที่เห็นคำสั่งลึกลับแบบนี้ก็ทำให้นึกว่า “ฉันก็เคยอยู่จุดนั้น”

  • ถามจริงจังนะ อยากรู้ว่าอุปกรณ์แบบนี้ให้ประสิทธิภาพการเล่นเกมดีจริงไหม หรือเพราะมันถูกปรับแต่งมาสำหรับ AI/ML เลยอาจเล่นเกมทั่วไปได้ไม่ดี
    แล้วตอนที่บอกว่า “ขับไปยังฟาร์มกลางป่า” นี่ก็แอบสงสัยเหมือนกันว่าอันตรายไหม

    • ตอนคนขายบอกว่า “เซิร์ฟเวอร์อยู่ท้ายรถตู้สีขาว” แล้วเปิดท้ายรถให้ดู ผมแอบกลัวอยู่เหมือนกัน โชคดีที่หลังจากนั้นเห็นเวิร์กช็อปของเขาแล้วค่อยสบายใจ
    • GPU พวกนี้ไม่มีเอาต์พุต HDMI หรือ DisplayPort ดังนั้นถ้าจะเล่นเกมก็ต้องรันผ่านVM
    • ถ้าจะเอาไว้เล่นเกม ชุดที่เหมาะที่สุดคือ RTX PRO 6000 Blackwell + AMD 9800X3D + RAM หน่วงต่ำ + NVMe ไปมากกว่านี้ก็ไม่คุ้มกับผลลัพธ์ที่เพิ่มขึ้นแล้ว ส่วน CPU เซิร์ฟเวอร์ ARM ก็มีปัญหาเรื่อง DRM ด้วย
    • ในคลิปของ LTT ก็ทดสอบ GPU สำหรับงาน AI คล้าย ๆ กัน และพบว่าประสิทธิภาพเกมแย่มาก การ์ดผู้บริโภคระดับกลางที่ราคาหนึ่งในสิบยังให้ผลดีกว่า

  • โพสต์แบบนี้เจ๋งมาก นี่แหละเสน่ห์ของ Hacker News กับเรื่องเล่าความสำเร็จสาย DIY

    • เห็นด้วย ทั้งทำให้รู้สึกอิจฉา และก็ให้แรงบันดาลใจว่า “เราเองก็น่าจะทำได้”

  • แน่นอนว่ายังเป็นดีลที่ดีอยู่ แต่การเทียบกับราคา H100 มือหนึ่งก็ดูพูดเกินไปนิดหน่อย ตอนนี้ซื้อ RTX 6000 Pro ได้ในราคา 7–8 พันดอลลาร์ และประสิทธิภาพก็ใกล้เคียงกัน แถมยังใส่กับเวิร์กสเตชันทั่วไปได้ด้วย ราคาเสื่อมของอุปกรณ์องค์กรมือสองนั้นมหาศาลจริง ๆ

    • ถึงอย่างนั้นก็ยังเป็นดีลที่ยอดเยี่ยมอยู่ดี เพราะมีเรื่องของความแตกต่างเล็ก ๆ ใน RAM/VRAM
      Blackwell เร็วกว่า H100 สองเท่าในแง่ FP8 แต่การเปรียบเทียบนี้อิง FP4 เลยไม่ได้ตรงกันทั้งหมด ส่วนแบนด์วิดท์ VRAM บน HBM3 อยู่ที่ 4.9TB/s ซึ่งมากกว่า 1.8TB/s ของ RTX 6000 Pro ถึง 2.5 เท่า
      NVLink-C2C ให้ความเร็วระหว่างการ์ด 900GB/s หรือราว 5 เท่าของ PCIe5 ซึ่งช่วยลดคอขวดได้มากใน LLM ขนาดใหญ่
      ตัวอย่างเช่นใน เบนช์มาร์ก GPT-OSS-120B RTX 6000 Pro สร้างได้ 145 โทเคนต่อวินาที ขณะที่ GH200 ได้ 195 โทเคนต่อวินาที
    • แถมเขายังได้ H100 มาสองตัวด้วย ถ้าจะซื้อ RTX 6000 Pro สองใบต้องใช้เงินราว 15,000–16,000 ดอลลาร์ และ RAM ที่แถมมาก็มีมูลค่าเกิน 7,000 ดอลลาร์แล้ว

  • ให้ความรู้สึกเหมือนกำลังใช้ชีวิตในฝันแบบไซเบอร์พังก์ของจริง กล้าทำอะไรแบบนี้นับว่าน่าทึ่งมาก

  • ขอแนะนำร้านที่ขายอุปกรณ์องค์กรมือสองหน่อย ร้านส่วนใหญ่น่าจะอยู่แคลิฟอร์เนีย เลยสงสัยว่าแถว NY/NJ มีบ้างไหม

    • ลองตามหาผู้ขายที่ลงของหลายชิ้นบน eBay แล้วตามรอยดูได้ มีเซลเลอร์แบบนั้นอยู่ทั่วประเทศพอสมควร