การขยายขีดความสามารถ AI ของ Tesla - H100, Dojo D1, D2, HW 4.0, X.AI และผู้ให้บริการคลาวด์

• Tesla ต้องการก้าวขึ้นเป็นหนึ่งในบริษัท AI ที่ดีที่สุดในโลก
• แน่นอนว่า Tesla ยังไม่ได้เปิดตัวระบบขับขี่อัตโนมัติที่ดีที่สุด และในโลกของ generative AI ก็ยังแทบไม่เห็นบทบาทของ Tesla เช่นกัน..
• ปัจจุบัน Tesla มีโครงสร้างพื้นฐาน AI ภายในองค์กรขนาดเล็ก โดยมี V100 อยู่ 4,000 ตัว และ A100 อยู่ 16,000 ตัว
  • ขณะที่ Microsoft และ Meta มี GPU มากกว่า 100,000 ตัว และกำลังพยายามเพิ่มจำนวนนี้เป็นสองเท่า
• โครงสร้างพื้นฐาน AI ที่อ่อนแอของ Tesla ส่วนหนึ่งเกิดจากความล่าช้าของชิปฝึก D1 ภายในบริษัท
• แต่ตอนนี้สถานการณ์กำลังเปลี่ยนไปอย่างรวดเร็ว
• Tesla กำลังเพิ่มขีดความสามารถ AI มากกว่า 10 เท่า ภายในเวลาเพียง 1.5 ปี
• บางส่วนใช้เพื่อความสามารถภายในของตนเอง และบางส่วนใช้เพื่อ X.AI
• Tesla ออกแบบชิป AI ของตัวเองมาตั้งแต่ปี 2016 สำหรับรถยนต์ และตั้งแต่ปี 2018 สำหรับดาต้าเซ็นเตอร์
• แม้จนถึงตอนนี้จะยังไม่สามารถผลิตได้เต็มที่ แต่ในปี 2023 ก็กำลังเร่งเพิ่มการผลิต
• สถาปัตยกรรมนี้เหมาะกับกรณีใช้งานเฉพาะของ Tesla แต่ไม่เหมาะกับ LLM (เน้นเครือข่ายภาพเป็นหลัก)

Tesla HW 4.0, ชิป FSD รุ่นที่ 2

• ชิปที่ทำ AI inference ภายในรถ Tesla เรียกว่า FSD chip
• Tesla เชื่อว่าสำหรับการขับขี่อัตโนมัติเต็มรูปแบบ รถไม่จำเป็นต้องใช้สมรรถนะมหาศาล ดังนั้นประสิทธิภาพของชิปที่ติดตั้งในรถจึงถูกจำกัดไว้มาก
• นอกจากนี้ Tesla ยังขายในปริมาณมาก จึงมีข้อจำกัดด้านต้นทุนที่เข้มงวดกว่า Waymo/Cruise มาก
• Waymo/Cruise ใช้ full-size GPU ที่มีราคาสูงกว่ามากกว่า 10 เท่าในช่วงพัฒนาและทดสอบระยะแรก และกำลังสร้าง SoC ที่เร็วกว่าและแพงกว่า
• ชิปรุ่นที่ 2 ถูกนำไปใช้กับรถที่เริ่มจำหน่ายตั้งแต่เดือนกุมภาพันธ์ 2023
• รุ่นที่ 1 ใช้กระบวนการผลิต 14nm ของ Samsung พร้อม 12 Arm Cortex-A72 (2.2Ghz) ที่ประกอบด้วย 3 คลัสเตอร์แบบ quad-core
• รุ่นที่ 2 ใช้ 20 Arm Cortex-A72 ที่ประกอบด้วย 5 คลัสเตอร์แบบ quad-core
• ส่วนที่สำคัญที่สุดของรุ่นที่ 2 คือ NPU core จำนวน 3 คอร์
  • ทั้ง 3 คอร์ใช้ SRAM ขนาด 32MiB ต่อคอร์เพื่อเก็บ model weights และ activation
  • ในแต่ละ cycle จะมีการอ่านข้อมูล activation 256 ไบต์ และข้อมูล weights 128 ไบต์ จาก SRAM ไปยัง MAC (Multiply Accumulate Unit)
  • MAC ถูกออกแบบเป็นกริด โดย NPU core แต่ละคอร์มีกริดขนาด 96x96 รวมเป็น MAC 9,216 ตัว และทำได้ 18,432 operations ต่อ clock cycle
  • เมื่อทำงานที่ 2.2Ghz NPU จะมีพลังประมวลผล 121.641 TOPS (trillion operations per second)
• ชิป FSD รุ่นที่ 2 ติดตั้ง NVMe storage 256GB และ Micron DDR6 16GB (14Gbps) บน memory bus แบบ 128bit ที่มี bandwidth 224GB/s
  • bandwidth สูงขึ้น 3.3x เมื่อเทียบกับรุ่นที่ 1
• HW 4.0 มีชิป FSD 2 ตัว
• การเพิ่มขึ้นของประสิทธิภาพบนบอร์ด HW4 ทำให้การใช้พลังงานเพิ่มขึ้นด้วย (มากกว่า HW3 สองเท่า)
• แม้ HW4 จะมีประสิทธิภาพดีขึ้น Tesla ก็ยังต้องการรองรับ FSD บน HW3 เพื่อไม่ให้ผู้ใช้ HW3 เดิมที่ซื้อ FSD ต้องทำ retrofit (ดัดแปลง)
• ระบบ infotainment ใช้ AMD GPU/APU และอยู่บนบอร์ดเดียวกับชิป FSD (ก่อนหน้านี้อยู่บน daughterboard แยก)
• แพลตฟอร์ม HW4 รองรับกล้อง 12 ตัว โดย 1 ตัวใช้เพื่อ redundancy และใช้งานจริง 11 ตัว
  • ก่อนหน้านี้ที่ camera hub ด้านหน้าใช้กล้องความละเอียดต่ำ 1.2 เมกะพิกเซล 3 ตัว แต่แพลตฟอร์มใหม่ใช้กล้อง 5 เมกะพิกเซล 2 ตัว
• ปัจจุบัน Tesla ไม่ได้ใช้เซนเซอร์อื่นนอกเหนือจาก LIDAR และกล้อง
• ก่อนหน้านี้เคยใช้ radar แต่ถูกถอดออกตั้งแต่รถรุ่นกลางเจเนอเรชัน
  • สิ่งนี้ช่วยลดต้นทุนการผลิตรถได้มาก และ Tesla เชื่อว่ารถขับขี่อัตโนมัติที่ใช้กล้องล้วนเป็นไปได้จริง จึงกำลังปรับแต่งแนวทางนี้
  • แน่นอนว่า Tesla เคยกล่าวไว้เช่นกันว่า หากมี radar ที่ใช้งานได้จริง ก็จะรวมเข้ากับระบบกล้อง
• แพลตฟอร์ม HW4 มีแผนจะติดตั้ง radar ที่ออกแบบเองชื่อ Phoenix
  • เป้าหมายของ Phoenix คือผสานระบบ radar และระบบกล้อง เพื่อใช้ข้อมูลที่มากขึ้นในการสร้างรถที่ปลอดภัยกว่าเดิม
  • เรดาร์ Phoenix ใช้สเปกตรัม 76-77Ghz
  • เป็นระบบเรดาร์ยานยนต์แบบ non-pulsed ที่รองรับโหมดตรวจจับ 3 แบบ

ความแตกต่างของโมเดล AI ของ Tesla (Differentiation)

• Tesla ตั้งเป้าสร้าง foundational AI model สำหรับขับเคลื่อนทั้งหุ่นยนต์อัตโนมัติและรถยนต์
• ทั้งสองอย่างต้องรับรู้สภาพแวดล้อมโดยรอบและสำรวจรอบตัว จึงสามารถใช้ AI model ประเภทเดียวกันได้ทั้งคู่
• การ inference ของโมเดลนี้ต้องการพลังงานต่ำและ latency สั้น จึงมีข้อจำกัดด้านฮาร์ดแวร์ที่ทำให้ขนาดสูงสุดของโมเดลที่ Tesla สามารถนำเสนอได้ถูกจำกัดอย่างมาก
• ในบรรดาทุกบริษัท Tesla ถือครองชุดข้อมูลที่ใหญ่ที่สุดชุดหนึ่งที่สามารถใช้กับ deep learning neural network ได้
• รถแต่ละคันบนท้องถนนจับข้อมูลด้วยเซนเซอร์และภาพต่าง ๆ และเมื่อคูณด้วยจำนวนรถยนต์ไฟฟ้า Tesla บนถนน ก็จะกลายเป็นชุดข้อมูลมหาศาล
• Tesla เรียกการเก็บข้อมูลลักษณะนี้ว่า "Fleet Scale Auto Labeling"
• รถยนต์ไฟฟ้า Tesla แต่ละคันจะนำคลิปล็อกความยาว 45~60 วินาทีของข้อมูลเซนเซอร์ความหนาแน่นสูง เช่น วิดีโอ, ข้อมูล IMU (หน่วยวัดความเฉื่อย) ภายใน, GPS, ระยะทางวิ่ง ฯลฯ แล้วส่งไปยังเซิร์ฟเวอร์ฝึกของ Tesla
• Tesla ใช้ข้อมูลที่เก็บรวบรวมมาเพียงส่วนน้อยมากเท่านั้น
  • Tesla มีชื่อเสียงในด้านการฝึกโมเดลอย่างหนักเกินปกติเพื่อให้ได้ความแม่นยำสูงสุดภายใต้ขนาดโมเดลที่กำหนด เนื่องจากข้อจำกัดด้าน inference

[wkwnqlw]

Tesla ให้บริการซอฟต์แวร์ขับขี่อัตโนมัติในสถานะ Beta มาตั้งแต่ 2 ปีก่อนแล้ว และตั้งแต่เวอร์ชันถัดไปมีแผนจะให้บริการอย่างเป็นทางการ
แม้เวอร์ชันแรกจะยังบกพร่องมาก แต่ตอนนี้มีคนพูดเพิ่มขึ้นเรื่อย ๆ ว่าซอฟต์แวร์ที่ให้บริการอยู่ในปัจจุบันก้าวข้ามระดับของคนทั่วไปไปแล้ว ขณะนี้ซอฟต์แวร์ขับขี่อัตโนมัติของ Tesla (FSD) มีอัตราอุบัติเหตุต่ำกว่ามนุษย์ประมาณ 3 เท่า

[bbongcol]

ดูเหมือนจะมีการพิมพ์ผิดในข้อความว่า "ทำได้ 1832 operations ต่อ clock cycle" นะครับ ในต้นฉบับระบุว่าเป็น 18,432 operations ครับ

[xguru]

เป็นบทความแบบเสียเงินจึงมองไม่เห็นช่วงท้าย แต่แค่ส่วนต้นก็น่าสนใจมากพอ เลยขอนำมาแปลต่อครับ