Tenstorrent ที่นำโดย Jim Keller เปิดตัว Grayskull ชิป RISC-V เพื่อต่อกรกับ GPU

 (techradar.com)
10 คะแนน โดย GN⁺ 2024-03-11 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • Tenstorrent คือบริษัทที่นำโดย Jim Keller นักออกแบบชิปชื่อดังผู้อยู่เบื้องหลังสถาปัตยกรรม Zen ของ AMD และชิปขับขี่อัตโนมัติของ Tesla
  • เปิดตัว Grayskull ทางเลือกแทน GPU ที่ใช้ RISC-V เป็นฐาน ตั้งโปรแกรมและขยายระบบได้ง่าย และโดดเด่นในการประมวลผลแบบ sparsity และ conditional computation ระหว่างรันไทม์
  • เปิดตัวชุดพัฒนา 2 เวอร์ชันคือ Grayskull e75 และ Grayskull e150 เป็นฮาร์ดแวร์สำหรับ inference โดยเฉพาะสำหรับการพัฒนา AI พร้อมซอฟต์แวร์ TT-Buda และ TT-Metalium
  • Tenstorrent จับมือเป็นพาร์ตเนอร์กับ LSTC (Leading-edge Semiconductor Technology Center) ของญี่ปุ่น
  • มีแผนสร้าง AI accelerator ระดับล้ำสมัยขนาด 2nm โดยใช้ RISC-V และ chiplet IP ของ Tenstorrent

พลังของ Grayskull!

  • รุ่น Grayskull e75 มาพร้อมโปรเซสเซอร์ Grayskull เดี่ยวบนบอร์ด PCIe Gen 4 แบบ low-profile ความยาวครึ่งใบ ทำงานที่ 75W
  • รุ่น Grayskull e150 มาพร้อมโปรเซสเซอร์ Grayskull บนบอร์ด PCIe Gen 4 แบบความสูงมาตรฐาน ความยาว 3/4 ใบ ทำงานได้สูงสุด 200W โดยสร้างสมดุลระหว่างพลังงานและปริมาณงานประมวลผล

โปรเซสเซอร์และ DevKits ของ Tenstorrent

  • โปรเซสเซอร์ของ Tenstorrent ประกอบด้วยกริดของคอร์ที่เรียกว่า Tensix และมีฮาร์ดแวร์สื่อสารผ่านเครือข่ายที่ช่วยให้สื่อสารกันโดยตรงได้โดยไม่ต้องผ่าน DRAM
  • Grayskull DevKits รองรับโมเดลหลากหลาย เช่น BERT สำหรับการประมวลผลภาษาธรรมชาติ, ResNet สำหรับการจดจำภาพ, Whisper สำหรับการรู้จำเสียงและการแปล, YOLOv5 สำหรับการตรวจจับวัตถุแบบเรียลไทม์ และ U-Net สำหรับการแบ่งส่วนภาพ
  • Grayskull e75 และ e150 DevKits วางจำหน่ายที่ราคา $599 และ $799 ตามลำดับ

ความเห็นของ GN⁺

  • Grayskull ของ Tenstorrent ในฐานะทางเลือกแบบ RISC-V แทน GPU แบบดั้งเดิม อาจเพิ่มความหลากหลายให้กับอุตสาหกรรมด้วยการมอบตัวเลือกใหม่แก่ผู้พัฒนา AI
  • จุดเด่นของ Grayskull ที่เชี่ยวชาญด้าน sparsity และ conditional computation ระหว่างรันไทม์ มีศักยภาพในการเพิ่มทั้งประสิทธิภาพและสมรรถนะของโมเดล AI
  • เมื่อนำเทคโนโลยีนี้มาใช้ ควรพิจารณาความเข้ากันได้กับสภาพแวดล้อมการพัฒนาที่มีอยู่เดิม การสนับสนุนจาก ecosystem รวมถึงประสิทธิภาพและความคุ้มค่าในระยะยาว
  • ผลิตภัณฑ์อื่นในอุตสาหกรรมที่มีความสามารถคล้ายกัน ได้แก่ GPU ของ NVIDIA และ TPU ของ Google แต่ Grayskull แตกต่างตรงที่พัฒนาบนสถาปัตยกรรม RISC-V
  • ความสำเร็จของ Grayskull อาจช่วยผลักดันการเติบโตและนวัตกรรมของ ecosystem ฮาร์ดแวร์โอเพนซอร์ส ซึ่งจะมีส่วนต่อการทำให้เทคโนโลยีเข้าถึงได้กว้างขึ้นและเป็นประชาธิปไตยมากขึ้น

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
ryudaewan 2024-03-12

ดูเหมือนว่า Jim Keller จะเป็นแฟน He-Man นะ https://youtu.be/V8h8snfYidg?feature=shared
 
GN⁺ 2024-03-11
ความคิดเห็นจาก Hacker News

  • สรุปเกี่ยวกับชุดพัฒนา Grayskull:

    • Grayskull e75: ใช้พลังงาน 75W, 96 คอร์ Tensix, ความเร็วสัญญาณนาฬิกา 1GHz, SRAM 96MB, หน่วยความจำ LPDDR4 8GB (102.4 GB/s), ราคา $599
    • Grayskull e150: ใช้พลังงาน 200W, 120 คอร์ Tensix, ความเร็วสัญญาณนาฬิกา 1.2GHz, SRAM 120MB, หน่วยความจำ LPDDR4 8GB (118.4 GB/s), ราคา $799
    • มีความสนใจว่าประสิทธิภาพสำหรับงานอนุมานของผลิตภัณฑ์เหล่านี้จะเป็นอย่างไรเมื่อเทียบกับการ์ดจอ และจะเหมาะกับโฮมแล็บหรือไม่
    • มีบทสัมภาษณ์แกะกล่องเวอร์ชันพรีวิวของผลิตภัณฑ์ แต่ไม่มีการให้ตัวเลขประสิทธิภาพ

  • ความเห็นเกี่ยวกับสถาปัตยกรรม:

    • ได้รับความสนใจจากการมีส่วนร่วมของ Jim Keller แต่สำหรับคนที่ไม่มีความรู้ด้านการออกแบบ CPU/ASIC สถาปัตยกรรมนี้ดูค่อนข้าง "ประหลาด"
    • มีการขอคำอธิบายเกี่ยวกับโทโพโลยีที่เชื่อมต่อกันเป็นเครือข่าย ซึ่งมีทั้งกริดของคอร์ หน่วยความจำ และอินเทอร์เฟซปะปนกันอยู่

  • คำอธิบายเกี่ยวกับวิธีการทำงานของสถาปัตยกรรม:

    • เป็นระบบพื้นฐานที่ประกอบด้วยคอร์ Tensix และหน่วยความจำที่ใช้ร่วมกัน
    • ในแต่ละคอร์ Tensix มีหน่วยคณิตศาสตร์เทนเซอร์ความหนาแน่นสูง (FPU) สำหรับการคำนวณเทนเซอร์, เอนจิน SIMD (SFPU), คอร์ CPU Risc-V 5 คอร์, และสตอเรจหน่วยความจำภายในขนาดใหญ่
    • คอร์ต่าง ๆ เชื่อมต่อกันเป็นวงแหวนสองวงที่ข้อมูลวิ่งสวนทางกัน
    • คอร์ RISC-V ใช้ควบคุม FPU, SFPU และใช้เตรียม/ย้ายข้อมูล
    • SFPU เป็นเอนจิน SIMT ที่ใช้งานได้ทั่วไปมากกว่า และสามารถสั่งงานจากคอร์ RISC-V ได้
    • สามารถทดลองใช้ SFPU simulator บน GitHub ได้ และดู programming model ได้จากตัวอย่างเคอร์เนลระดับล่าง
    • SFPU ของ Grayskull มี LRegs แบบใช้งานทั่วไป 4 ตัวที่เก็บค่า 19 บิตได้ 64 ค่า ส่วน Wormhole มี LRegs แบบใช้งานทั่วไป 8 ตัวที่เก็บค่า 32 บิตได้ 32 ค่า
    • SFPU ของ Wormhole มี IPC เพิ่มขึ้นประมาณ 3 เท่าเมื่อเทียบกับ Grayskull และมีคำสั่ง SFPU ใหม่บางส่วน
    • หากอ่านเอกสารและดู GitHub repository ก็จะพบข้อมูลเพิ่มเติมได้

  • ข้อสงสัยเกี่ยวกับการเลือกโมเดล:

    • ตั้งคำถามว่าทำไมจึงเริ่มจากโมเดลอย่าง BERT, ResNet, Whisper, YOLOv5, U-Net
    • คาดเดาว่าเป้าหมายอาจเป็นประสิทธิภาพต่อพลังงาน แต่ก็ไม่ตรงกันเสียทีเดียว

  • คำถามเกี่ยวกับความต้องการของระบบ:

    • ตั้งคำถามว่าทำไมระบบโฮสต์จึงต้องใช้ RAM 64GB
    • มองว่าเซิร์ฟเวอร์อนุมานน่าจะต้องมีองค์ประกอบขั้นต่ำที่สุดนอกเหนือจากฮาร์ดแวร์สำหรับอนุมาน

  • การเปรียบเทียบกับชิปสั่งทำของบริษัทอื่น:

    • สงสัยว่าควรเปรียบเทียบโปรเซสเซอร์ประเภทนี้กับชิปสั่งทำของ AWS, Google, Tesla อย่างไร

  • ความคล้ายคลึงของสถาปัตยกรรม:

    • รู้สึกว่าคล้ายกับแนวทางที่ Intel Project Larrabee GPU เคยพยายามทำงาน เพียงแต่ใช้ RISC-V

  • ความผิดหวังต่อโซลูชันสำหรับงานอนุมานโดยเฉพาะ:

    • แสดงความเหนื่อยใจกับการที่สตาร์ทอัพมีแววอย่าง Groq, Tenstorrent เป็นต้น นำเสนอโซลูชันที่รองรับเฉพาะงานอนุมาน
    • ได้ข้อมูลผ่านช่องทางทางการของ Groq ว่าบริษัทไม่มีแผนลงทุนเพื่อทำให้รองรับการฝึกสอน
    • แม้จะเข้าใจได้ว่าอุปสงค์ด้านอนุมานอาจมากกว่าอุปสงค์ด้านการฝึกเป็นล้านเท่า แต่ก็ยังรู้สึกผิดหวัง

  • จำนวนคอร์ RISC-V ของ Grayskull™ e150:

    • Grayskull™ e150 มีคอร์ Tensix 120 คอร์ และแต่ละคอร์มีคอร์ RISC-V 5 คอร์ รวมเป็นคอร์ CPU RISC-V ทั้งหมด 600 คอร์

  • การขาดข้อมูลเกี่ยวกับประสิทธิภาพและสถาปัตยกรรม:

    • ไม่สามารถหาข้อมูลเชิงลึกเกี่ยวกับประสิทธิภาพหรือสถาปัตยกรรมได้
    • สำหรับอุปกรณ์ที่เน้น ML แบนด์วิดท์หน่วยความจำต่ำมากและราคาสูงมาก
    • ตั้งคำถามว่าตนเองกำลังพลาดอะไรไปหรือไม่