Tenstorrent และสถานะของสตาร์ตอัปฮาร์ดแวร์ AI

 (irrationalanalysis.substack.com)
3 คะแนน โดย GN⁺ 2024-12-16 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • จุดแข็งของ Tenstorrent
    • พัฒนา CPU ประสิทธิภาพสูงบนพื้นฐาน RISC-V และ AI core พร้อมแสดงแนวทางที่มีเอกลักษณ์ในวงการฮาร์ดแวร์ AI
    • เปิดเผยซอฟต์แวร์สแตกและเครื่องมือสำหรับนักพัฒนาทั้งหมดเป็น โอเพนซอร์ส สร้างระบบนิเวศที่เป็นมิตรต่อนักพัฒนา
    • ใช้ กระบวนการ Samsung Foundry SF4X ที่มีความสามารถในการแข่งขันด้านราคา ทำให้สามารถผลิตชิปเซ็ต AI ที่แตกต่างได้
  • ข้อเสียและความกังวล
    • การครองตลาดอย่างแข็งแกร่งของ Nvidia ในตลาดฮาร์ดแวร์ AI
    • เมื่อเทียบกับคู่แข่งที่เน้น GPU จุดอ่อนสัมพัทธ์ของ Tenstorrent คือปัญหา latency ที่ยังสูงอยู่
  • ตำแหน่งในตลาด
    • Tenstorrent มอบคุณค่าที่แตกต่างจาก Nvidia, AMD และ ARM ผ่านศักยภาพของฮาร์ดแวร์ AI และ RISC-V IP
    • กลยุทธ์ที่มุ่งเน้น Inference เป็นหลัก ช่วยเพิ่มโอกาสความสำเร็จในตลาด

ภาพรวมเชิงเทคนิคของ Tenstorrent

  • คุณสมบัติหลักของ Grendel (ชิปเซ็ต AI รุ่นที่ 3)
    • นำสถาปัตยกรรม chiplet มาใช้: แยก RISC-V CPU core ประสิทธิภาพสูงออกจาก AI core
    • ออกแบบ mesh topology เพื่อให้การเคลื่อนย้ายข้อมูลระหว่างแต่ละ core มีประสิทธิภาพ
  • โครงสร้างของ core
    • RISC-V core ขนาดใหญ่: สามารถรัน Linux ได้ ใช้ประมวลผลโค้ดทั่วไป
    • Baby RISC-V core: คอร์ขนาดเล็กมาก ใช้สำหรับการเคลื่อนย้ายข้อมูลและการรัน kernel โดยมี 752 คอร์และกินพื้นที่รวมของไดน้อยกว่า 1%
    • Tensix core: หน่วยประมวลผล AI สำหรับงาน vector และ matrix โดยเฉพาะ แต่ละ Tensix core มี Baby RISC-V core 5 ตัวคอยจัดการการรัน kernel
  • คอมไพเลอร์
    • ใช้คอมไพเลอร์ที่ดัดแปลงจาก GCC โดยผู้ใช้เขียนเพียง kernel เดียว แล้ว GCC จะจัดการส่วนที่เหลือให้อัตโนมัติ

ความท้าทายของสตาร์ตอัปฮาร์ดแวร์ AI

  1. การแข่งขันในตลาด Training
    • H100 GPU ของ Nvidia ครองตลาด
    • บริษัทคลาวด์รายใหญ่อย่าง Amazon และ Google ร่วมมือกับพาร์ตเนอร์ออกแบบชิปเพื่อผลิตชิปของตนเอง
  2. โอกาสในตลาด Inference
    • มีความเป็นไปได้ที่จะแข่งขันกับ Nvidia ได้ในด้านต้นทุนและประสิทธิภาพ
    • มีความสามารถในการแข่งขันด้านราคาจาก การใช้กระบวนการของ Samsung และไม่ใช้ HBM
  3. การหาลูกค้า
    • ตลาดฮาร์ดแวร์สำหรับ Inference ที่มุ่งเป้าไปยังบริษัทขนาดเล็กหรือสตาร์ตอัปคือเป้าหมายหลัก

กลยุทธ์ซอฟต์แวร์ของ Tenstorrent

  • ซอฟต์แวร์สแตกรุ่นที่ 6
    • มอบการเข้าถึงที่เหมาะกับนักพัฒนาและผู้ใช้หลากหลายกลุ่ม (ตั้งแต่ ML model ไปจนถึง kernel ระดับล่าง)
    • ร่วมมือกับชุมชน Discord เพื่อพัฒนา kernel ที่สร้างสรรค์
  • การแก้ปัญหาในอดีต
    • ก่อนหน้านี้ต้องสร้างซอฟต์แวร์สแตกใหม่สำหรับฮาร์ดแวร์แต่ละตัว
    • ตอนนี้ได้พัฒนาซอฟต์แวร์สแตกแบบรวมศูนย์ที่ทำงานได้โดยไม่ขึ้นกับฮาร์ดแวร์

การอภิปรายเชิงเทคนิคและบทสรุป

  • ปรัชญาของ Tenstorrent
    • "อนาคตของ AI ไม่ใช่งาน linear algebra ล้วน ๆ แต่เป็นงานแบบผสม"
    • เน้นย้ำความจำเป็นของการผสาน CPU และ AI core เข้าด้วยกัน
  • วิสัยทัศน์ของ Jim Keller
    • หากเวิร์กโหลด AI ในอนาคตต้องการการผสาน CPU เข้าด้วยกัน Tenstorrent จะเป็นผู้ขายรายเดียวที่พร้อม
  • แนวโน้มตลาด
    • ตลาด AI สำหรับการฝึกมีโอกาสแทบไม่มีสำหรับสตาร์ตอัป เพราะสถานะกึ่งผูกขาดของ Nvidia
    • มีโอกาสประสบความสำเร็จในตลาด Inference ด้วยแนวทางที่สร้างสรรค์
    • ประสิทธิภาพของ Blackhole รุ่นที่ 2 และ Grendel รุ่นที่ 3 จะเป็นเกณฑ์สำคัญในการประเมินต่อไป

การลงทุนและมูลค่าบริษัท

  • การประเมินมูลค่าปัจจุบันของ Tenstorrent
    • ล่าสุดได้รับการประเมินมูลค่า 2 พันล้านดอลลาร์ในรอบ Series D
    • จับโอกาสที่เกี่ยวข้องกับการขึ้นราคาของ ARM ในตลาด RISC-V IP
  • เปรียบเทียบกับคู่แข่ง
    • เมื่อเทียบกับสตาร์ตอัปฮาร์ดแวร์ AI รายอื่นอย่าง Cerebras มีความโดดเด่นกว่าในด้านเทคโนโลยีและความเหมาะสมกับตลาด
    • มีจุดอ่อนด้านความสามารถในการแข่งขันในระบบนิเวศ CUDA เมื่อเทียบกับ Nvidia
  • กลยุทธ์ในอนาคต
    • มุ่งเน้นตลาด Inference เพื่อรักษาความสามารถในการแข่งขัน
    • เดินหน้าปรัชญาที่เน้นระบบนิเวศนักพัฒนาและโอเพนซอร์สต่อไป

บทสรุป

  • Tenstorrent ใช้แนวทางที่มีเอกลักษณ์ในการออกแบบฮาร์ดแวร์ AI และ RISC-V CPU พร้อมมอบจุดแตกต่างสำคัญในตลาดที่ Nvidia และ ARM ครองอยู่
  • มีโอกาสเติบโตสูงในตลาด Inference และถูกประเมินว่าเป็นหนึ่งในสตาร์ตอัป AI ที่น่าลงทุนมาก

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-12-16
ความเห็นจาก Hacker News
  • กำลังดำเนินธุรกิจให้เช่าคอมพิวต์สมรรถนะสูง และอยากทำให้การเข้าถึงทรัพยากรคอมพิวต์เป็นประชาธิปไตยเพื่อให้ใคร ๆ ก็เข้าถึงได้ง่าย รู้สึกว่าด้วยตำแหน่งที่ครองตลาดของ Nvidia ทำให้ความสนใจต่ออุปกรณ์ทางเลือกอื่นมีไม่มากนัก หวังว่าความสนใจและความต้องการต่อบริการลักษณะนี้จะเพิ่มขึ้น
    • มองว่าอนาคตของ CPU IP แบบ RISC-V สดใส เพราะ ARM กำลังขึ้นราคาค่าไลเซนส์และค่าลิขสิทธิ์ ทำให้กังวลมากขึ้นเมื่อมีบริษัทที่ฉีกสัญญาเพิ่มขึ้น
    • มันดูไม่ใช่ AI hardware โดยตรง แต่เป็นเหมือนเวอร์ชันย่อส่วนของ high-performance computing แบบดั้งเดิม ซึ่งน่าจะมีประโยชน์กับงานหลากหลายประเภทไม่ว่ากระแส AI จะเป็นอย่างไร
    • Tenstorrent มองว่าอนาคตของ AI อยู่ที่ mixed workloads โดยยังจำเป็นต้องมี CPU workloads และจนถึงตอนนี้ก็ยังไม่มีอะไรเปลี่ยนแปลงมากนัก
    • มีการกล่าวถึงความเป็นไปได้ว่า Groq อาจเป็นการหลอกลวง พร้อมอ้างว่า Llama 3.1 405B สามารถแทนที่วิศวกรระดับจูเนียร์ได้
    • เกือบลืมไปแล้วว่ามีข้อพิพาทระหว่าง ARM กับ Qualcomm และอีกไม่นานน่าจะมีความเปลี่ยนแปลงครั้งใหญ่
    • คิดว่าอยากเห็น AMD และ NVIDIA รุกเข้าสู่ตลาด data center และ supercomputing อย่างจริงจังมากขึ้น พร้อมเปรียบสถานการณ์ตอนนี้ว่าเหมือน fandom ของทีมกีฬา
    • ชื่นชมท่าทีเปิดกว้างต่อการถกเถียงของทีม Tenstorrent และหวังว่าจะมีบริษัทอื่น ๆ เป็นแบบนี้มากขึ้น
    • กังวลว่า Llama มีประโยชน์กับวิศวกรอาวุโส แต่ก็อาจขัดขวางการเรียนรู้ของวิศวกรระดับจูเนียร์ จึงควรคิดหาวิธีให้วิศวกรจูเนียร์เรียนรู้และทำความเข้าใจได้อย่างมีประสิทธิภาพ
    • หัวเราะเยาะข้ออ้างที่ว่า Llama 3.1 405B สามารถแทนที่วิศวกรระดับจูเนียร์ได้