Utilyze - เครื่องมือวัดว่า GPU ทำงานที่มีประโยชน์จริงได้อย่างมีประสิทธิภาพแค่ไหน

• nvidia-smi และ nvtop ตรวจได้เพียงว่ามีการรันเคอร์เนลบน GPU หรือไม่ จึงอาจ แสดงอัตราการใช้งาน 100% ได้แม้จะใช้ความสามารถของฮาร์ดแวร์จริงเพียงส่วนน้อยมาก
• Utilyze อ่านตัวนับประสิทธิภาพของ GPU โดยตรง เพื่อแสดงการใช้ทรัพยากรที่แท้จริงแบบสด ๆ โดยมีโอเวอร์เฮดในระดับที่แทบมองข้ามได้
• คำนวณ ขีดจำกัดบน Attainable SOL ซึ่งเป็นอัตราการใช้งานสูงสุดที่ไปถึงได้จริงสำหรับชุดค่าผสมของเวิร์กโหลด โมเดล และฮาร์ดแวร์ ช่วยให้เห็นว่าปัจจุบันยังเร่งได้อีกมากแค่ไหน
• ตรวจจับ เซิร์ฟเวอร์ inference ที่กำลังรันอยู่โดยอัตโนมัติ และตรวจพบโมเดลที่โหลดอยู่บนแต่ละ GPU โดยปัจจุบันแบ็กเอนด์ รองรับเฉพาะ vLLM (มีแผนเพิ่ม SGLang เป็นต้นในอนาคต)
• ฮาร์ดแวร์ที่รองรับคือ NVIDIA Ampere ขึ้นไป (A100, H100, H200, B200, RTX 3000+) ปัจจุบันรองรับบางโมเดลบน H100-80G และ A100-80G ในคอนฟิกสูงสุด 8 GPU ต่อโหนด
• โครงสร้างคือรันเซิร์ฟเวอร์สำหรับโปรไฟล์บน Linux และเชื่อมต่อจาก macOS/Windows ผ่าน ไคลเอนต์ระยะไกลแบบ WebSocket
• 1 device ID สามารถมอนิเตอร์ได้เพียง 1 อินสแตนซ์ — เป็นข้อจำกัดของวิธีเข้าถึงอุปกรณ์ใน NVIDIA Perf SDK API
• หากต้องการรันโดยไม่ใช้ sudo ต้องตั้งค่า NVreg_RestrictProfilingToAdminUsers=0 แล้วรีบูต
• ไลเซนส์ Apache-2.0