- เพื่อลดภาระในการจัดเตรียมสภาพแวดล้อมพัฒนา AI แบบโลคัลด้วยตัวเอง Ryzen AI Halo จึงจัดส่งมาพร้อมมินิพีซี Ryzen AI Max+ 395 ที่รวม ROCm, ไดรเวอร์, โมเดล และเครื่องมือพัฒนาไว้ให้
- คอนฟิกเดียวประกอบด้วย CPU Zen 5 แบบ 16 คอร์/32 เธรด, GPU ในตัว Radeon 8060S, XDNA 2 NPU, หน่วยความจำรวม LPDDR5x-8000 ขนาด 128GB, SSD 2TB ราคา $3,999.99 USD
- ใน llama-bench นั้น Apple Silicon Mac Studio ทำผลงานนำหน้าเครื่อง Ryzen AI Max+ 395 โดยเฉพาะการสร้างโทเคนที่ใน Gemma 4 ทำได้สูงกว่า 2–3 เท่าเนื่องจากความต่างของ แบนด์วิดท์หน่วยความจำ
- จุดแตกต่างของ Halo ไม่ได้อยู่ที่โปรเซสเซอร์ใหม่ แต่อยู่ที่การให้จุดเริ่มต้นที่ปรับความเข้ากันได้ไว้แล้ว เช่น AMD Ryzen AI Developer Center, Best Known Configurations และ AMD AI Playbooks
- รัน gpt-oss-20b-FLM บน XDNA 2 NPU ด้วย AMD Lemonade และ FastFlowLM โดยพบว่าขณะ CPU/GPU แทบไม่ถูกใช้งาน ใช้พลังงานสูงสุด 35W และสร้างได้ 20 tokens/s
ชุดพัฒนา AI ขนาดมินิที่ใช้ Ryzen AI Max+ 395
- AMD Ryzen AI Halo เป็นพีซีขนาดเล็กที่สร้างรอบโปรเซสเซอร์ AMD Ryzen AI Max+ 395 บนสถาปัตยกรรม Zen 5 ออกแบบมาเพื่อให้เริ่มเรียนรู้การพัฒนา AI บน ROCm หรือฮาร์ดแวร์ AMD ได้ง่ายขึ้น
- โปรเซสเซอร์มี 16 คอร์/32 เธรด และงาน AI ส่วนใหญ่รับผิดชอบโดยกราฟิกในตัว Radeon 8060S
- NPU ซึ่งในอดีตมีกรณีใช้งานไม่มากนัก ก็สามารถใช้งานจริงได้ในอุปกรณ์นี้
- จำหน่ายเป็นคอนฟิกฮาร์ดแวร์เดียว โดยสเปกหลักมีดังนี้
- 2TB M.2 SSD แบบถอดเปลี่ยนได้
- หน่วยความจำรวม 128GB LPDDR5x-8000
- แบนด์วิดท์หน่วยความจำ 256GB/s
- พื้นที่เก็บข้อมูล 2TB เพียงพอสำหรับเก็บโมเดลโลคัลไว้จำนวนมาก และหน่วยความจำ 128GB อยู่ในระดับที่ยังเหลือพื้นที่ให้ระบบทำงานได้หลังโหลดโมเดลขนาดพอเหมาะขึ้นมาหลายตัว
- ราคาจำหน่ายคือ $3,999.99 USD และซื้อได้เป็นคอนฟิกเดียวที่ติดตั้ง Windows 11 Pro หรือ Linux มาให้ล่วงหน้า
- ผู้ใช้สามารถติดตั้ง OS ที่ต้องการได้หลังได้รับเครื่อง แต่คาดว่า AMD จะไม่จัดเตรียมอิมเมจ Linux/Windows สำหรับโรงงาน รวมถึงไดรเวอร์ โปรแกรม และโมเดลที่แพ็กไว้แยกต่างหาก
- เครื่องทดสอบเป็น เวอร์ชัน Linux ที่รันดิสโทร AMD Linux แบบคัสตอมบน Debian 13.4
แชสซีขนาดเล็กและความสามารถในการขยาย
- Halo เป็นอุปกรณ์ทรงกล่องที่เล็กมาก ต่างจากภาพการตลาด โดยพื้นที่ฐานประมาณ สี่เหลี่ยมจัตุรัส 15 ซม. และสูงไม่ถึง 5 ซม.
- น้ำหนัก 1.2 กก. แต่หากต้องการพกพาต้องคำนึงถึง อะแดปเตอร์ไฟ 240W ซึ่งเป็นส่วนประกอบจำเป็นด้วย
- ปุ่มเปิดเครื่องและพอร์ตทั้งหมดอยู่ด้านหลัง
- พอร์ต USB 3.2 Type-C 4 พอร์ต
- พอร์ต HDMI 2.1 1 พอร์ต
- พอร์ตอีเทอร์เน็ต 10GbE 1 พอร์ต
- Wi-Fi 7 และ Bluetooth 5.4
- พอร์ต USB-C ที่ใกล้ปุ่มเปิดเครื่องที่สุดเป็น อินพุต USB-C Power Delivery เท่านั้น
- แม้ไม่มีโครงสร้างสำหรับวางซ้อนที่ชัดเจน แต่ด้วยฐานรองมุมและช่องรับลมทุกด้าน จึงมีช่องทางให้วางซ้อนเพื่อใช้ Windows กับ Linux แยกกัน หรือจัดเป็นคลัสเตอร์ได้
- ระบบระบายความร้อนใช้พัดลมโบลเวอร์ 2 ตัวดูดอากาศจากด้านบนและด้านข้าง ผ่านฮีตซิงก์ แล้วระบายออกทางด้านหลัง
- โดยปกติค่อนข้างเงียบ แต่เมื่อจัดการ 120W TDP ของโปรเซสเซอร์ภายใน ความเร็วพัดลมอาจเพิ่มขึ้น
- วงแหวนไฟสีขาวใต้เคสจะกะพริบเป็นสีน้ำเงินในโหมดประหยัดพลังงาน และสามารถปิดไฟได้
การแกะเครื่องและส่วนประกอบภายใน
- ด้วยโครงสร้างมินิพีซีที่หนาแน่น จึงมีส่วนที่ตรวจสอบภายในได้โดยตรงไม่มาก แต่ถอดสกรู 4 ตัวใต้ฐานรองแบบแม่เหล็กแล้วจะเปิดฝาล่างได้
- เข้าถึง M.2 2280 SSD ได้ง่ายโดยไม่ต้องแกะเพิ่มเติม
- หากต้องการถอดเปลือกด้านบนเพื่อเผยให้เห็นคอมพิวต์คอร์ ต้องถอดจุดเชื่อมต่อเพิ่มอีกบางส่วน
- ตัวคอร์เองสามารถถอดออกได้ แต่ไม่มีส่วนให้ผู้ใช้เข้าไปปรับแต่งเพิ่มเติมมากนัก
- แผ่นโลหะที่เห็นเมื่อเปิดเคสล่างครั้งแรกสามารถถอดได้ด้วยสกรู 4 ตัว แต่ไม่ได้ถอดออกเพื่อหลีกเลี่ยงการรบกวนวัสดุนำความร้อน
ประสิทธิภาพ LLM จาก llama-bench
- Ryzen AI Max+ 395 รหัสชื่อ Strix Halo เป็นโปรเซสเซอร์ที่มีให้ใช้แล้วตั้งแต่ ฤดูใบไม้ผลิปี 2025 ดังนั้น Halo จึงไม่ได้ชูประสิทธิภาพใหม่ในส่วนนี้
- ฮาร์ดแวร์อื่นที่ใช้โปรเซสเซอร์เดียวกันมี Framework Desktop, Beelink GTR9 Pro, X+ Rival และ ACEMAGIC M1A PRO
- การทดสอบประสิทธิภาพมีไว้เพื่อยืนยันว่าประสิทธิภาพอยู่ในระดับที่คาดหวัง ก่อนจะดูคอนฟิกซอฟต์แวร์ซึ่งเป็นแกนหลักของผลิตภัณฑ์
- การทดสอบดำเนินโดยเน้น llama-bench ที่รวมอยู่ใน llama.cpp
- llama.cpp เป็นเอนจิน inference แบบโอเพนซอร์สสำหรับโหลดและรันโมเดลภาษาขนาดใหญ่รูปแบบ GGUF
- llama-bench วัดการประมวลผลพรอมป์ (prompt processing, pre-fill) และการสร้างโทเคน (token generation, decoding)
- ประสิทธิภาพโทเคน/วินาทีของ LLM ไวต่อความต่างด้านความเข้ากันได้และความผันผวน จึงควรดูผลร่วมกับแหล่งข้อมูลหลายแหล่ง
ผลทดสอบ llama-bench พื้นฐาน
- การทดสอบพื้นฐานใช้คอนฟิก pp512/tg128 ซึ่งจำลองสถานการณ์ที่ผู้ใช้ป้อน 512 โทเคน และโมเดลสร้าง 128 โทเคน
- โมเดลที่ใช้คือโมเดลขนาด 17–32GB จำนวน 3 ตัวที่ได้รับความสนใจช่วงล่าสุด
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
- อุปกรณ์เปรียบเทียบมีดังนี้
- AMD Ryzen AI Halo: AI Max+ 395, 128GB
- Framework Desktop: AI Max+ 395, 128GB
- M2 Ultra Mac Studio: GPU 76 คอร์, หน่วยความจำรวม 128GB
- M3 Ultra Mac Studio: GPU 80 คอร์, หน่วยความจำรวม 512GB
- บน Halo และ Framework Desktop ใช้ทั้งรันไทม์ ROCm/HIP และ Vulkan
- Apple Silicon Mac Studio ให้ประสิทธิภาพสูงกว่าเครื่อง AMD Ryzen AI Max+ 395 โดยความต่างหลักมาจาก แบนด์วิดท์หน่วยความจำราว 800GB/s ของ Mac เทียบกับ 256GB/s ของ Max+ 395
- ช่วงประมวลผลพรอมป์โดยทั่วไปถูกจำกัดด้านการคำนวณมากกว่า และใน Gemma 4 ซึ่งเป็น dense model ความต่างระหว่าง Apple Silicon กับ Max+ 395 ออกมาน้อยกว่าการเปรียบเทียบจากแบนด์วิดท์หน่วยความจำเพียงอย่างเดียว
- การประมวลผลพรอมป์ของโมเดล sparse Mixture of Experts อย่าง Qwen 3.6 35B A3B และ GLM 4.7 Flash พึ่งพาการคำนวณน้อยกว่า ทำให้ข้อได้เปรียบด้านแบนด์วิดท์หน่วยความจำของ Mac ชัดเจนขึ้น
- การสร้างโทเคนโดยทั่วไปถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำมากกว่าอย่างชัดเจน และใน Gemma 4 อุปกรณ์ Apple Silicon ทำประสิทธิภาพโทเคน/วินาทีได้สูงกว่า 2–3 เท่า
- บน Ryzen AI Max+ 395 ไม่มีผู้ชนะชัดเจนระหว่าง Vulkan กับ ROCm/HIP
- แบ็กเอนด์ที่เร็วกว่าเปลี่ยนไปตามความเข้ากันได้ โครงสร้างโมเดล ขนาดคอนเท็กซ์ ฮาร์ดแวร์ และการปรับแต่งซอฟต์แวร์
- ทั้งสองแบ็กเอนด์ยังคงได้รับการอัปเดตต่อเนื่อง
- การทดสอบทำโดยเปิด Flash Attention แต่การตั้งค่านี้ไม่ได้รับประกันว่าจะให้ประสิทธิภาพสูงสุดเสมอไป จึงควรทดสอบเองในแต่ละระบบ
การเพิ่มคอนเท็กซ์และการจำลองการใช้งานแบบเอเจนต์
- เมื่อการใช้งาน LLM แบบเอเจนต์เพิ่มขึ้น จึงมีการเพิ่มการทดสอบ llama-bench เพื่อดูว่าประสิทธิภาพลดลงอย่างไรเมื่อขนาดคอนเท็กซ์ใหญ่ขึ้น
- การทดสอบจำลองแบบง่ายของสถานการณ์ที่เอเจนต์ได้รับคำสั่งแล้วเรียกใช้เครื่องมือหรือให้คำตอบ
- ตัวแปรหลักมีดังนี้
-p,-n: กำหนดจำนวนโทเคนที่จะใช้สำหรับการประมวลผลพรอมป์และการสร้างโทเคน-b,-ub: กำหนดขนาดแบตช์และไมโครแบตช์-fa: เปิดหรือปิด Flash Attention-ngl: กำหนดจำนวนเลเยอร์ของโมเดลที่จะ offload ไปยัง GPU-r: กำหนดจำนวนรอบการทำซ้ำ-d: กำหนดจำนวนโทเคนที่อยู่ในคอนเท็กซ์แล้ว
- เพื่อลดการสะสมความร้อนที่อาจเกิดขึ้นเมื่อรันทดสอบต่อเนื่อง จึงใช้สคริปต์เองใส่ลูปและเวลาหน่วงในการรัน
- ทั้งสามโมเดลแสดง ประสิทธิภาพลดลง อย่างมากเมื่อขนาดคอนเท็กซ์เพิ่มขึ้น
- Gemma 4 ไม่เสร็จภายใน 30 นาทีเมื่อใช้แบ็กเอนด์ Vulkan ร่วมกับคอนเท็กซ์ 65,536 โทเคน
พลังงานและอุณหภูมิ
- Halo มีแชสซีเล็กมาก จึงตรวจสอบว่าสามารถรักษา TDP สูงสุด 120W และบูสต์สูงสุด 140W ของแพ็กเกจ Ryzen AI Max+ 395 ได้ต่อเนื่องหรือไม่
- ใช้ Framework Desktop ที่ใช้ Ryzen AI Max+ 395 เดียวกันเป็นตัวเปรียบเทียบด้วย
- การทดสอบทำโดยรัน llama-bench prefill test 20 ครั้ง พร้อมวัดการใช้ไฟจากปลั๊กผนังด้วย Quarch QTL2843
- ทั้งสองอุปกรณ์อยู่ในโหมด “Performance” และ Halo ไม่อนุญาตให้ผู้ใช้ตั้งค่าพลังงานหรือการระบายความร้อนเอง
- AI Max+ 395 ของ Framework Desktop รักษาเส้นฐาน 120W ตลอดการทดสอบ และมีสไปก์พลังงานถึง 130W ค่อนข้างบ่อย
- Halo รักษา 140W ได้ประมาณ 5 นาที หลังเริ่มทดสอบ จากนั้นลดลงเป็น 120W TDP ตลอดการทดสอบที่เหลือ
- ดีไซน์โบลเวอร์และช่องรับลมทุกด้านของ Halo ช่วยให้ภายนอกค่อนข้างเย็นแม้อยู่ในสภาวะสมดุลความร้อน แต่ด้านล่างอุ่นขึ้นถึงประมาณ 50°C
- พัดลมหมุนแรงขณะระบายความร้อน แต่เสียงมีลักษณะใกล้เคียง “woosh” มากกว่าเสียงแหลม
มูลค่าผลิตภัณฑ์ที่เกิดจากซอฟต์แวร์
- มินิพีซีที่ใช้ Ryzen AI Max+ 395 มีให้ซื้อได้หลายผลิตภัณฑ์ ดังนั้นคุณค่าที่เป็นเอกลักษณ์ของ Halo จึงอยู่ที่ AMD Ryzen AI Developer Center, คอนฟิกที่คัดสรรไว้ และคำมั่นด้านซัพพอร์ตจากผู้ผลิตเอง มากกว่าฮาร์ดแวร์ใหม่
- Halo ออกแบบมาเหมือน NVIDIA DGX Spark เพื่อลดเวลาที่นักพัฒนาซึ่งต้องทดสอบบนฮาร์ดแวร์ AMD หรือ NVIDIA เฉพาะต้องใช้ไปกับการตั้งค่าสภาพแวดล้อม
- ต่างจาก DGX Spark ตรงที่ Halo มีทั้งเวอร์ชัน Linux และ Windows
- เวอร์ชัน Linux เมื่อบูตจะเข้าสู่ AMD Ryzen AI Developer Center ซึ่งใช้ติดตั้ง/อัปเดตซอฟต์แวร์ เข้าถึงเอกสาร และควบคุมระบบ
- AMD ระบุว่า Halo ไม่ได้ถูกล็อก ผู้ใช้จึงติดตั้ง OS ที่ต้องการได้
- อย่างไรก็ดี คาดว่าจะไม่มีอิมเมจสำหรับสลับระหว่างคอนฟิก Windows/Linux จากโรงงานของ AMD
Best Known Configurations และ Playbooks
- AI Halo และ Developer Center ให้เข้าถึง Best Known Configurations(BKC) ของ AMD
- BKC คือคอนฟิกระบบที่ AMD ตรวจสอบแล้วว่าซอฟต์แวร์ แพ็กเกจ และไดรเวอร์ที่รวมอยู่เข้ากันได้
- คอนฟิกนี้ช่วยลดภาระที่ต้องแก้ปัญหา dependency ก่อนเมื่อจะรัน playbook หรือเริ่มเรียนรู้
- AMD AI Playbook ของระบบ AI Max+ ทั่วไปให้คำสั่งผ่าน command line สำหรับการจัดสรรหน่วยความจำ แต่ใน AI Halo ถูกทำให้ง่ายขึ้นเป็นสไลเดอร์หรือดรอปดาวน์ตาม Linux หรือ Windows
- Halo ไม่ได้ปิดกั้นการตั้งค่าด้วยตนเองหรือคอนฟิกซับซ้อน และแม้มีความเสี่ยงจากการ abstract รายละเอียดการใช้งานและฮาร์ดแวร์มากเกินไป แต่ก็ให้จุดเริ่มต้นก่อนจะลงลึก
- AMD AI Playbooks เป็นชุดบทเรียนสั้น ๆ ที่ช่วยสำรวจ AI workload บนฮาร์ดแวร์ AMD
- Playbooks เน้น AI Halo แต่ก็มีเวอร์ชันสำหรับ Radeon GPU ด้วย
- Playbooks เผยแพร่บน GitHub เช่นกัน และ AMD ระบุว่าจะดูแลให้ทันสมัยเหมือน BKC พร้อมเพิ่ม playbook ใหม่ทุกเดือน
Playbooks ที่ลองใช้
- AMD Sync ให้ช่องทางง่าย ๆ ในการรีโมตเข้า Halo ผ่านเครือข่าย
- ตรวจสอบเมตริกแบบสด
- เปิดโปรเจกต์ VSCode
- เริ่มโปรเจกต์ Jupyter Labs
- เข้าถึงเทอร์มินัล
- AMD Sync ต้องเพียงติดตั้ง AMD Sync บนอุปกรณ์รีโมตและคัดลอกข้อมูล SSH โดยในการทดสอบดำเนินไปได้ไม่มีปัญหา
- playbook ที่เกี่ยวกับ LM Studio และ Lemonade ครอบคลุมกระบวนการดาวน์โหลด จัดการ เสิร์ฟ และโต้ตอบกับ LLM แบบโลคัล
- playbook ของ LM Studio และ Lemonade จัดเป็นขั้นตอนสั้น ๆ ที่ทำตามง่าย ตั้งแต่ติดตั้งซอฟต์แวร์ อัปเดตรันไทม์ ไปจนถึงดาวน์โหลดโมเดลแรก
- playbook ทั้งสองต่อยอดไปถึงขั้นตอนใช้ LLM โลคัลเป็นผู้ช่วยเขียนโค้ด หรือโต้ตอบผ่านโปรแกรมด้วย OpenAI API
- VSCode playbook เชื่อม LLM โลคัลที่โฮสต์จาก playbook ก่อนหน้าเข้ากับ Cline agent ภายใน IDE
- playbook การรันและ fine-tuning LLM บน PyTorch แสดงให้เห็นว่าสามารถรัน LLM ได้ใน 4–5 ขั้นตอนด้วยซอฟต์แวร์ ไดรเวอร์ และโมเดลที่ติดตั้งไว้ล่วงหน้า
- PyTorch playbook ไม่ใช่บทเรียนสมบูรณ์ที่อธิบายการทำงานภายในของสคริปต์ แต่ทำหน้าที่เป็น smoke test เพื่อต่อ dependency และตรวจสอบว่าใช้งานได้สำเร็จ
- สำหรับผู้เริ่มต้น ยังมี “Next Steps” ให้เป็นไอเดียว่าจะลองทำอะไรต่อ
จุดแข็งและจุดอ่อนของคอนฟิกซอฟต์แวร์
- BKC และ playbooks ให้สถานะฐานที่ย้อนกลับไปได้เสมอ ช่วยลดสถานการณ์ที่ทำตามบทเรียนหลายอันแล้วแต่ยังรันอะไรไม่ได้
- เข้าถึงสถานะดังกล่าวได้ด้วยปุ่ม System Reset ใน Developer Center
- Halo สามารถติดตั้งและคอนฟิกได้ตามต้องการเหมือนคอมพิวเตอร์ทั่วไป ดังนั้น BKC และ playbooks จึงไม่ได้ขวางเสรีภาพของผู้ใช้
- BKC และ playbooks ยังทำให้บทเรียนจาก 3rd-party สามารถสมมติจุดเริ่มต้นและความเข้ากันได้ที่รู้ชัด ช่วยให้ผู้ใช้ไปได้ไกลขึ้น
- ดังที่เห็นใน AI Playbook GitHub issues ขณะนี้ playbook บางส่วนยังมีจุดที่ล้มเหลว และในการทดสอบจริงก็พบปัญหาเช่นกัน
- หาก AMD ไม่แก้ปัญหาเหล่านี้อย่างรวดเร็ว มูลค่าซอฟต์แวร์โดยรวมอาจสั่นคลอน และยังเป็นความเสี่ยงเมื่อซื้อโดยคาดหวังมูลค่าในอนาคต
NPU ที่ถูกใช้งานจริง
- บน Halo สามารถรัน LLM บน XDNA 2 NPU ได้ผ่าน AMD Lemonade และ FastFlowLM
- โมเดลที่รันคือ gpt-oss-20b-FLM และไม่มี telemetry อัตราการใช้งาน NPU ให้ดู
- ขณะ CPU/GPU แทบอยู่ที่ 0 แพ็กเกจ AI Max+ 395 ใช้พลังงานสูงสุด 35W และประสิทธิภาพการสร้างอยู่ที่ 20 tokens/s
- NPU มักมีประสิทธิภาพการคำนวณต่ำกว่า GPU แต่ข้อดีคือมีประสิทธิภาพพลังงานสูงกว่ามาก
- เหมาะกับงานอย่างการประมวลผลเซนเซอร์ เช่น กล้อง อย่างรวดเร็ว เพื่อเหลือ CPU และ GPU ไว้สำหรับงานหลัก
- ชุดพัฒนานี้ซึ่งรวม Ryzen AI Max+ 395 และ NPU อาจช่วยผลักดันการพัฒนา LLM โลคัลที่ประหยัดพลังงานมากขึ้น แทนการใช้ GPU ขนาดใหญ่
การทำงานของ USB-C Power Delivery
- Halo รับพลังงานผ่าน USB-C PD ทั้งหมด
- ปัจจุบัน USB-C จ่ายไฟได้สูงสุด 240W และ Halo มาพร้อมอะแดปเตอร์ไฟ Delta ADP-240KB BA AC/DC ที่รองรับ USB-C PD Extended Power Range(EPR)
- อะแดปเตอร์นี้จ่ายได้สูงสุด 48V, 5A
- ในการทดสอบ Halo ไม่ได้ดึงไฟจากแหล่งจ่ายเกิน 200W
- วัดแพ็กเก็ต PD ระหว่างอะแดปเตอร์ไฟกับ Halo ด้วย Infineon CY4500-EPR
- เมื่อเชื่อมต่อครั้งแรก อะแดปเตอร์ไฟจะแจ้งแรงดันและกระแสที่ให้ได้ผ่านข้อความ SOURCE_CAPABILITIES
- ตอนแรกแสดงเฉพาะโหมดเอาต์พุต Standard Power Range(SPR) ที่จำกัด 20V, 5A หรือ 100W
- Halo ส่งข้อความ EPR_MODE เพื่อร้องขอโหมด EPR ของอะแดปเตอร์ไฟ จากนั้นตรวจสอบความสามารถ EPR ทั้งหมด
- Halo ร้องขอโหมดเอาต์พุต 48V แบบคงที่ ที่ใช้ได้สูงสุด 5A เพื่อใช้คอนฟิกสูงสุด 240W
- Halo ส่ง EXTENDED_CONTROL_MESSAGE ไปยังอะแดปเตอร์ไฟอย่างต่อเนื่อง และจุดที่น่าสนใจคือพบข้อความต่อเนื่องลักษณะนี้ในเอาต์พุตแรงดันคงที่
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
สิ่งที่น่าหยิบมาพูดใหม่คือ AMD playbooks(https://developer.amd.com/playbooks/, https://github.com/amd/playbooks)
เป็นคำตอบของ AMD ต่อ playbooks ของ Nvidia(https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks) และมองว่าเป็นเรื่องดีที่ AMD เริ่มจริงจังกับพื้นที่นี้มากขึ้น
ฮาร์ดแวร์เหมือนกับของที่ขายเมื่อปีก่อนในราคา 2,000 ดอลลาร์ทุกประการ และจาก OEM จีนก็ยังซื้อได้ถูกกว่าอีก 1,000 ดอลลาร์
เป็นเรื่องดีที่การทดสอบ LLM ของ LTT Lab ละเอียดขึ้น แต่ตัวเลขอาจต่างกันค่อนข้างมากตาม เวอร์ชัน ROCm/Vulkan และเวอร์ชันบิลด์ของ llama.cpp
หากต้องการรีดประสิทธิภาพ Strix Halo ให้ได้มากที่สุด การปรับแต่งเคอร์เนลและยูทิลิตีอย่าง ryzenadj ช่วยได้ และส่วนใหญ่รวบรวมไว้ที่ http://strixhalo.wiki/
ถ้าใช้กับงานเขียนโค้ดหรืองานเอเจนต์ ตอนที่โมเดลรองรับ MTP ก็ถือว่าสุกงอมพอสมควรแล้ว และการ decode อาจเร็วขึ้นราว 30%
ถ้าจะประหยัดเวลา ตามที่บทความก็ระบุไว้ โปรเซสเซอร์ AMD Ryzen AI Max+ 395(Strix Halo) มีมาตั้งแต่ฤดูใบไม้ผลิปี 2025 แล้ว และ Halo ไม่ได้มีอะไรใหม่ในแง่นั้น
ยังมีข้อจำกัด แบนด์วิดท์หน่วยความจำ 256 GB/s เหมือนบอร์ดก่อนหน้า เลยไม่เข้าใจว่าทำไมถึงเปิดตัวเหมือนเป็นของใหม่ตอนนี้
ในราคาใกล้เคียงกันสามารถซื้อ Framework Desktop ได้ และ GMKtec EVO-X2 ก็ซื้อได้ถูกกว่าเล็กน้อย
จากมุมของ AMD ก็เป็นธรรมดาที่อยากเก็บกำไรเองโดยตรง แทนที่จะขายให้ผู้ผลิต PC ในราคาถูกกว่า
ซื้อทาวเวอร์ทั่วไปหรือคอมพิวเตอร์แบบ server rack ไปเลยก็ได้
อยากได้เครื่องที่มีหน่วยความจำ 128GB ขึ้นไปมากจริง ๆ แต่ราคา 4,000 ดอลลาร์แล้วได้แค่ 256 GB/s นี่โหดมาก
ต้องรับข้อเสียของทั้งฝั่ง ARM และ AMD ไปพร้อมกัน
พอ RTX Spark ออกมา ราคาคงต้องเป็น 6,000 ดอลลาร์ และกังวลว่าถ้ามีเครื่อง 128GB ขึ้นไปพร้อม 700+ GB/s ออกมา จะกลายเป็นราคา 10,000 ดอลลาร์จนผู้บริโภคส่วนใหญ่เอื้อมไม่ถึง
พูดตรง ๆ ตอนนี้ตัวเลือกดี ๆ มีไม่มาก และอาจดีกว่าที่จะรอจนกว่าตลาดจะบ้าคลั่งน้อยลง
ถ้ามีใครทำเครื่องที่มีครบทั้งสองอย่าง ก็น่าจะขายได้ง่าย ๆ ที่ 10,000 ดอลลาร์ และคงมีคนต่อคิวซื้อ
ตัวอย่างเช่น DS4 หรือโมเดล quantization 1-bit ของ DeepSeek V4 Flash อยู่ที่ประมาณ 9~13 token ต่อวินาที และเวลารอ token แรกยาวมาก
สำหรับโมเดลเขียนโค้ดแบบโต้ตอบแนวเอเจนต์ถือว่าไม่สมจริง
ชอบ Strix Halo และใช้งานได้ดีสำหรับการรัน งานไม่โต้ตอบ ต่อเนื่องเป็นหลัก เช่น audit ความปลอดภัยซอฟต์แวร์หรือการทดลองเพื่อการเรียนรู้
ในฐานะแพลตฟอร์มสำหรับทดลอง AI ถือว่าดี แต่ด้วยราคา 4,000 ดอลลาร์ สามารถซื้อ Asus Ascend GX10 ที่ใช้ Nvidia ได้ และฝั่งนั้นน่าจะดีกว่า
ถ้าเป็นการใช้งานเอเจนต์โต้ตอบแบบโลคัล ก็คงจะรัน Qwen 3.6 หรือ Gemma 4 ซึ่งใส่ใน GPU 2x64GB ได้สบาย และแม้แต่ GPU รุ่นเก่าก็อาจเร็วกว่า Strix Halo
ใน 32GB ก็ยังพออัดลงได้แบบตึง ๆ และบน Mac 48GB หรือ 64GB ก็น่าจะรันได้ดี
ตอนนี้ sweet spot ของฝั่ง GPU ดูเหมือนจะเป็น Radeon AI Pro R9700 สองใบ
ไม่แพงระดับรถมือสองเหมือน 5090 หรือ 4090 แต่ให้หน่วยความจำและประสิทธิภาพเพียงพอสำหรับ inference แบบโลคัล และก็ไม่จุกจิก แปลก ๆ หรือต้องใช้ท่อพัดลมพิมพ์ 3D เหมือน GPU เซิร์ฟเวอร์เก่า ๆ บน eBay
ณ ตอนนี้ยังไม่มีโมเดลใดเป็นพิเศษที่ทำงานได้ดีกว่าบนเครื่อง inference 128GB แบบนี้ แต่ทำงานได้ไม่ดีบนเครื่อง 64GB
เครื่อง 64GB อาจเร็วกว่า และในบรรดา GPU 32GB ก็มีไม่มากที่ช้ากว่า แต่ไม่ควรซื้อ GPU ที่ตอนนี้ไม่ได้รับการสนับสนุนอย่างจริงจังจากไดรเวอร์ผู้ผลิตและ CUDA หรือ ROCm
อุปกรณ์เหล่านี้ยอดเยี่ยมตอนที่ ถูกกว่า DGX Spark
แต่ถ้าราคาเท่ากัน ก็ไม่มีเหตุผลให้ซื้อสิ่งนี้แทน Spark
Spark พูดง่าย ๆ คือเวอร์ชันที่เร็วกว่า และการสนับสนุนซอฟต์แวร์ก็ดีกว่า
พูดในฐานะคนที่มีอุปกรณ์ Ryzen AI Max 395
อิงจากซัพพลายเออร์ด้านอุดมศึกษาหลายแห่ง
CPU ของ Ryzen ดีกว่า DGX Spark และโดยเฉพาะในโปรแกรมสมัยใหม่ที่อัปเดตให้ใช้ AVX-512 ประสิทธิภาพแบบมัลติเธรดสูงกว่ามาก
ระบบ NVIDIA น่าจะดีกว่าเฉพาะกับแอปพลิเคชัน GPU เท่านั้น
ต้องงมอยู่นานพอสมควรกับ Linux kernel ที่เข้ากัน, kernel firmware, การติดตั้ง ROCm ฯลฯ
ผมมีอุปกรณ์ Strix Halo และก็ชอบนะ แต่ถ้าราคานี้สำหรับงาน AI ซื้อ ASUS GX 10 ที่ใช้ Nvidia น่าจะดีกว่า
อีโคซิสเต็ม CUDA ยังแข็งแกร่งกว่าอยู่
AMD มี CPU ที่ดีกว่า เลยเหมาะกว่าในฐานะเครื่องเดสก์ท็อป แต่ฝั่ง Nvidia เร็วกว่านิดหน่อยและซัพพอร์ตดีกว่านิดหน่อยในงาน inference และ training
ใช้ ROCm ก็แทบจะทำงานเดียวกันได้เกือบตลอด แต่ต้องลงแรงมากกว่าเล็กน้อย
อย่างไรก็ตาม Ubuntu แบบคัสตอมที่ Nvidia ใส่มากับฮาร์ดแวร์ของตัวเองนั้นแย่จนใช้งานลำบาก
Nvidia ทำซอฟต์แวร์ไม่เก่ง และผมใช้งานไลน์ Jetson มาหลายปีแล้ว แต่ก็ยังแย่อยู่
มันยังเป็น Ubuntu คัสตอมที่หยาบ ๆ โครงสร้างอิงอิมเมจซับซ้อน และไม่มี UEFI ด้วย จึงไม่ใช่แบบที่แค่ติดตั้ง Linux ตัวอื่นก็จบ
เดาว่าอุปกรณ์ใหญ่ก็น่าจะส่งมาพร้อม Ubuntu เหมือนกัน แต่ที่เคยจับจริงมีแค่เครื่อง Jetson แบบฝังตัวขนาดเล็ก
ฝั่ง AMD เป็นพีซี x86_64 ทั่วไป จึงติดตั้ง Linux แทบตัวไหนก็ได้ และบนเครื่องของผมก็ลง Fedora ได้ทันที
มันก็เป็น Ubuntu ธรรมดา และไม่ได้เจอปัญหาอะไรเป็นพิเศษ
อีกอย่างคือ ในบรรดาอุปกรณ์ ARM64 Linux ที่เคยเห็นมา นี่เป็นผู้ขายรายเดียวที่ส่งมอบ Linux ที่รองรับจริง ๆ
ผมใช้ ASUS GX10 เป็นเวิร์กสเตชันหลักประจำวันอยู่ และสิ่งที่ใช้ไม่ได้ก็มีแค่ Spotify ซึ่งน่าจะเป็นปัญหา DRM
ดูเหมือนจะไม่มีไคลเอนต์ Signal สำหรับ ARM64 ด้วย
ข้อได้เปรียบใหญ่ของ DGX Spark เหนือ Strix Halo คือ ความเร็ว prefill ที่เร็วกว่ามาก
เร็วประมาณ 5 เท่า
ฮาร์ดแวร์เครือข่ายก็แรงอย่างน่าเหลือเชื่อ แต่ผมกับผู้ใช้ Spark อีก 99% ไม่น่าจะได้ใช้สมรรถนะนั้นจนสุด
แบนด์วิดท์หน่วยความจำ 256GB/s อยู่ที่ประมาณ 1/4 ของ 3090
ถ้าลดหน่วยความจำลงครึ่งหนึ่งแล้วเพิ่มความเร็ว 4 เท่า คงเป็นการซื้อที่คุ้มกว่านี้
ความเร็วหน่วยความจำสูงเหมาะกับโมเดล dense หรือการให้บริการที่มี concurrency สูง
แต่ในสภาพแวดล้อมผู้ใช้คนเดียวแบบโลคัล หลายครั้งแพลตฟอร์มแบบนี้ทำให้ใช้ โมเดล MoE ที่ใหญ่และทรงพลังกว่าได้ด้วยความเร็วสมเหตุสมผลและ concurrency ต่ำ ซึ่งอาจดีกว่า
ตอนนั้นเลน PCIe ที่ช้ากว่าน่าจะกลายเป็นคอขวด
ถ้างานของคุณใส่ลงในการ์ด 24GB ได้ตั้งแต่แรก คุณก็ไม่ใช่ผู้ใช้เป้าหมายของตลาดเฉพาะกลุ่ม AI มินิพีซี ที่พวกเขาพยายามสร้าง
โมเดลเล็ก ๆ รันได้ดีกว่ามาก
ส่วนตัวผมคิดว่า 3090 จะสมเหตุสมผลที่สุดเมื่อซื้อได้อย่างน้อย 2 ใบ และถ้าดีที่สุดคือ 4 ใบ ซึ่งตอนนั้นก็เป็นเรื่องงบประมาณคนละระดับกันแล้ว
Qwen3.6 35B MoE ซึ่งเป็นโมเดล MTP ใหม่ สามารถสร้างโทเคนได้ถึงบริบทประมาณ 80k โดยแทบไม่ช้าลงมาก
การได้โทเคนจำนวนมากก็ดี แต่เพราะมันสามารถประมวลผลและขยายบริบทได้ เครื่องนี้จึงยังเป็นเครื่องที่ยอดเยี่ยมเมื่อเทียบกับกราฟิกการ์ดขนาดเล็ก
โมดูล RAM DDR4 ขนาด 32GB มีแบนด์วิดท์ 25GB/s และราคา 160 ดอลลาร์
ถ้าซื้อ 8 ตัว จะได้ RAM 256GB และแบนด์วิดท์ 200GB/s ในราคา 1,280 ดอลลาร์
ถ้าซื้อโมดูล 16GB จำนวน 16 ตัว ในราคาตัวละ 60 ดอลลาร์ จะได้แบนด์วิดท์ 400GB/s ด้วยเงิน 960 ดอลลาร์
ปัญหาคือต้องมีคอนโทรลเลอร์หน่วยความจำ 8 หรือ 16 ตัว
คอนโทรลเลอร์หน่วยความจำไม่ได้แพงขนาดนั้น
Intel Core i3-14100F มีคอนโทรลเลอร์ 2 แชนเนลและราคา 110 ดอลลาร์ ดังนั้นคอนโทรลเลอร์ 16 แชนเนลน่าจะประเมินได้ว่าไม่เกิน 880 ดอลลาร์ และคอนโทรลเลอร์ 8 แชนเนลประมาณ 440 ดอลลาร์
ถ้าอย่างนั้น ทำ CPU ราคาถูกที่มี คอนโทรลเลอร์ DRAM 16 ตัว น่าจะดีกว่าอุปกรณ์ราคา 4,000 ดอลลาร์ที่มีแค่ 128GB หรือเปล่า
หรือจะใช้ CPU 2 ตัวที่มี RAM 8 แชนเนลต่อชิปก็ได้
DDR5 ขนาด 32GB ราคา 360 ดอลลาร์ แพงเป็นสองเท่าแต่แบนด์วิดท์ยังไม่ถึงสองเท่า จึงไม่คุ้มซื้อ
การเพิ่มจำนวนช่อง RAM แล้วเสียบ DDR4 น่าจะสมเหตุสมผลกว่า
แต่เมนบอร์ดอาจค่อนข้างแพง
แทนที่จะย้ายไป DDR5 ราคาแพง ควรทำให้แม้แต่ CPU ราคาถูกที่สุดก็รองรับ DDR4 8/16 แชนเนล
โมดูล DDR5-4800 ขนาด 32GB ราคา 360 ดอลลาร์ ส่วนโมดูล DDR4-3200 ขนาด 32GB สองตัวราคา 320 ดอลลาร์ ดังนั้นได้ความจุสองเท่า แบนด์วิดท์สูงกว่า และราคาต่ำกว่า
DDR5 มันแค่ตั้งราคาเกินจริง
ในรูปแบบก่อนหน้านี้ราคา “แค่” 2,000 ดอลลาร์ แต่แม้ในกล่องรุ่นอัปเดตนี้ แบนด์วิดท์หน่วยความจำ ก็ยังขาดอย่างรุนแรง
มีบางรุ่นที่มีพื้นที่ใส่ GPU แยกสำหรับ hybrid inference ได้ แต่โดยส่วนตัวไม่คิดว่าคุ้ม
เก็บเงินไว้ทำบิลด์ Xeon หรือ EPYC ดีกว่า
ไม่เข้าใจว่าทำไมผลิตภัณฑ์คล้าย ๆ กันทั้งหมดถึงไปตันอยู่ที่ VRAM 128GB พอดี
ราคานี้อย่างน้อยคาดหวัง VRAM 224GB
ขึ้นอยู่กับ memory bus
มองคร่าว ๆ ได้ว่า 128 บิตคือ 96GB, 256 บิตคือ 192GB, 512 บิตคือ 384GB, 1024 บิตคือ 768GB
https://community.frame.work/t/was-there-no-possible-way-to-...
เพราะไม่อยากให้ผลิตภัณฑ์ผู้บริโภค/โฮมแล็บที่มาร์จินต่ำไปแทนที่ผลิตภัณฑ์ดาต้าเซ็นเตอร์ จึง จงใจจำกัด VRAM ของผลิตภัณฑ์เหล่านั้น เพื่อให้ไม่น่าดึงดูดสำหรับการใช้งานดาต้าเซ็นเตอร์
นี่ก็แค่ถูกกว่า Nvidia DGX Spark ที่มี CUDA หรือ Mac ที่มีหน่วยความจำ 128GB และแบนด์วิดท์หน่วยความจำเป็นสองเท่านิดหน่อยเท่านั้น
จุดเด่นของ Strix Halo เดิมทีคือมีราคาเพียง ครึ่งหนึ่ง ของเครื่องเหล่านั้นที่ทรงพลังกว่ามาก
การซื้อชิป AMD ในราคานี้แทบจะเป็นเรื่องบ้าไปแล้ว
แต่ตลาดฮาร์ดแวร์โดยรวมตอนนี้ก็บ้ากันหมด น่าเสียดายที่ดูเหมือนว่าสิ่งนี้ก็คงขายดีเหมือนกัน
M5 Pro มีแบนด์วิดท์หน่วยความจำสูงกว่าเล็กน้อย แต่ตอนนี้รองรับ DRAM ได้สูงสุดเพียง 64GB เท่านั้น
แม้แต่คอนฟิกหน่วยความจำเล็กๆ นี้ก็ยังแพงกว่า AMD หรือ NVIDIA และถ้าต้องการ SSD ขนาดปกติที่ใหญ่พอจะใส่ LLM และคำนวณการควอนไทซ์เองได้ แทนที่จะเป็น SSD เล็กๆ ก็จะแพงขึ้นอีก
ตัวอย่างเช่น ถ้าเป็น SSD 4TB กับ DRAM 64GB ก็เกิน 5,600 ดอลลาร์
หากต้องการทำ LLM inference แล้ว Apple ดูไม่ใช่ทางออกที่แข่งขันได้
ราคาสูงกว่ามาก และถ้าจะเก็บ LLM หลายตัวก็ต้องใช้พื้นที่มาก แต่การขยาย SSD ก็มีข้อจำกัด
ส่วนที่พูดถูกมีเพียงเรื่องที่ระบบ AMD Strix Halo เมื่อก่อนถูกกว่า NVIDIA มาก แต่ตอนนี้ราคาเท่ากันแล้ว
CPU ของ Strix Halo ดีกว่า NVIDIA แต่มีความเป็นไปได้สูงว่า GPU ของ NVIDIA จะดีกว่า GPU ของ AMD และ CUDA ก็รับประกันได้ว่าจะทำงานได้ดี