เหตุใดข้อเสนอของ YC เรื่อง “การออกแบบชิปด้วย LLM” จึงพลาดประเด็น

 (zach.be)
1 คะแนน โดย GN⁺ 2024-11-18 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • YC มองว่า LLM สามารถลดต้นทุนการออกแบบระบบดิจิทัลแบบกำหนดเองได้อย่างมาก แต่คอขวดหลักไม่ได้อยู่ที่การสร้างโค้ด แต่อยู่ที่ การออกแบบสถาปัตยกรรมชิปและการตรวจสอบความถูกต้อง
  • แม้ LLM จะสร้าง Verilog ที่ทำงานได้เป็นครั้งคราว แต่ประสิทธิภาพยังด้อยกว่ามนุษย์ และยังไม่สามารถออกแบบ สถาปัตยกรรมใหม่ ที่เป็นตัวกำหนดประสิทธิภาพของชิปเร่งความเร็วรุ่นล่าสุดได้
  • แนวทางลดต้นทุนนี้คล้ายกับ High-Level Synthesis (HLS) ในอดีต ซึ่งแม้เพิ่มผลิตภาพได้ แต่คุณภาพผลลัพธ์และประสิทธิภาพยังด้อยกว่าโฟลว์ RTL จึงไม่กลายเป็นกระแสหลักในตลาดชิปมูลค่าสูง
  • พื้นที่ที่ LLM หรือ HLS ช่วยได้มีขอบเขตจำกัด เช่น การเร่งความเร็วด้วย FPGA สำหรับทีมที่ขาดความเชี่ยวชาญ RTL ส่วนตลาดอย่าง genomics หรือ CFD นั้น GPU รองรับความต้องการได้บางส่วนแล้วและมีขนาดเล็ก
  • โอกาสที่สมจริงกว่าการทำให้งานออกแบบเป็นอัตโนมัติคือ ผลิตภาพในการตรวจสอบความถูกต้องของชิป แต่ยังมีความท้าทายในการทำให้ LLM เข้าใจและให้เหตุผลกับสเปกชิปที่ซับซ้อนได้

คอขวดของการออกแบบชิปที่ข้อเสนอของ YC มองข้าม

  • ใน Request for Startups ล่าสุด YC มองว่าการออกแบบระบบดิจิทัลแบบกำหนดเองมีราคาแพงเพราะต้องมีการออกแบบ พัฒนา และทดสอบแบบคัสตอม และ โมเดลภาษาขนาดใหญ่ จะช่วยลดต้นทุนได้มาก
  • หากปรับแต่งอัลกอริทึมหรือการคำนวณเฉพาะทาง งานอย่าง cryptocurrency mining, data compression และ special-purpose encryption อาจทำได้เร็วขึ้น 5x~100x และใช้พลังงานน้อยลง 10x~100x
  • หาก Gary Tan และ YC เชื่อว่า LLM สามารถออกแบบชิปที่ดีกว่ามนุษย์ 100 เท่า นั่นถือเป็นการประเมินความยากของการออกแบบชิปและความเชี่ยวชาญของนักออกแบบต่ำเกินไปอย่างมาก
  • LLM เขียน Verilog ที่ใช้งานได้ในบางครั้ง แต่ประสิทธิภาพยังด้อยกว่ามนุษย์ และไม่มีความสามารถในการออกแบบ สถาปัตยกรรมชิปใหม่ ซึ่งเป็นตัวขับเคลื่อนการยกระดับประสิทธิภาพของชิปเร่งความเร็วรุ่นล่าสุด
  • ท้ายที่สุด LLM จึงใกล้เคียงกับเครื่องมือที่สร้างโค้ด Verilog ธรรมดา มากกว่าจะเป็นผู้สร้างชิปที่ดีขึ้นอย่างก้าวกระโดด

ข้อจำกัดของแนวทางลดต้นทุนที่ HLS เคยเผชิญมาก่อน

  • ความคาดหวังว่าเครื่องมือที่ใช้ LLM จะลดต้นทุนการออกแบบชิปและขยายความคุ้มค่าทางเศรษฐศาสตร์ของ hardware acceleration นั้นคล้ายกับความพยายามเรื่อง High-Level Synthesis (HLS) ในอดีต
  • HLS ปรากฏขึ้นพร้อมกับการก่อตั้ง Forte Design Systems ในปี 1998 และ Cynthesizer แปลง SystemC เป็น Verilog โดยอัตโนมัติตามข้อจำกัดด้าน timing ที่กำหนด
  • เครื่องมือ HLS แปลงโค้ดภาษาระดับสูงอย่าง C, C++ และ Scala เป็น Verilog แล้วสังเคราะห์ต่อเป็น logic gates สำหรับ ASIC และ FPGA ได้
  • เป้าหมายคือช่วยให้ทีมที่ไม่มีความเชี่ยวชาญ Verilog เชิงลึกสามารถพัฒนาซิลิคอนได้ถูกลงและง่ายขึ้น
  • Cynthesizer ไม่ได้แพร่หลายอย่างกว้างขวาง และ Forte ถูก Cadence เข้าซื้อในปี 2014 ก่อนถูกรวมเข้ากับ Stratus ซึ่งเป็นเครื่องมือ HLS ของ Cadence

การประเมิน HLS ในปัจจุบันและตลาดชิปประสิทธิภาพสูง

  • Xilinx ซึ่งปัจจุบันคือ AMD ผลักดัน HLS อย่างจริงจังสำหรับการเร่งความเร็วด้วย FPGA และ Vitis ได้รับการประเมินว่าเป็นหนึ่งในเครื่องมือ HLS ที่ดีของอุตสาหกรรม
  • บทนำของงานสำรวจเทคโนโลยี HLS ล่าสุดโดย Lan Huang ชี้ให้เห็นข้อจำกัดของเครื่องมือ HLS
    • นักออกแบบยังต้องรับมือกับหลายแง่มุมของการออกแบบฮาร์ดแวร์อยู่ดี
    • วงจรการพัฒนายังคงยาวนาน
    • คุณภาพผลลัพธ์ (QoR) ยังตามหลังโฟลว์ RTL อย่างมาก
  • งานสำรวจของนักวิจัยรายอื่นก็ให้ผลลัพธ์ที่น่าผิดหวังในทำนองเดียวกัน
  • HLS สามารถเพิ่มผลิตภาพของนักออกแบบได้ แต่ลดประสิทธิภาพของงานออกแบบที่สร้างขึ้น
  • ในตลาดชิปมูลค่าสูงที่แข่งขันรุนแรงอย่าง AI accelerator ประสิทธิภาพคือดัชนีการแข่งขันหลัก ดังนั้นการยอมรับต้นทุนเริ่มต้นเพื่อจ้างนักออกแบบ RTL ที่เก่งและสร้างชิปที่เร็วกว่า จึงเป็นทางเลือกที่สมเหตุสมผลกว่า

ปัญหาความคุ้มค่าทางเศรษฐศาสตร์ของตลาด accelerator ขนาดเล็ก

  • HLS ไม่สามารถตั้งหลักได้ในชิปมูลค่าสูงและผลิตจำนวนมากที่ให้ความสำคัญกับประสิทธิภาพและความคุ้มค่าด้านพลังงาน และ LLM ที่สร้าง Verilog คุณภาพต่ำก็มีแนวโน้มจะเจอปัญหาเดียวกัน
  • ตัวอย่างบางส่วนที่ HLS ประสบความสำเร็จคือพื้นที่ที่ทำให้วิศวกรซึ่งไม่มีความเชี่ยวชาญด้านซิลิคอนสามารถใช้ hardware acceleration ได้
    • การเร่งความเร็วเวิร์กโหลด genomics ด้วย FPGA
    • การเร่งความเร็วเวิร์กโหลด CFD ด้วย FPGA
  • ในกรณีเหล่านี้ เหตุผลที่ HLS มีคุณค่าคือวิศวกรที่สร้าง hardware accelerator ดังกล่าวไม่มีประสบการณ์ในการสร้างงานออกแบบที่ปรับแต่งระดับ RTL ตั้งแต่ต้น
  • แต่ตลาด hardware acceleration สำหรับ genomics และ CFD ค่อนข้างเล็ก และ GPU ก็รองรับความต้องการได้ในระดับหนึ่งแล้ว อีกทั้งยังมีขนาดไม่ถึงเสี้ยวของยอดขายชิป AI หรือ accelerator สำหรับการเข้ารหัส
  • หากตลาดใหญ่กว่านี้ ก็จะมีความคุ้มค่าทางเศรษฐศาสตร์ในการใช้วิศวกรฮาร์ดแวร์ที่มีทักษะเพื่อสร้างซิลิคอนที่ปรับแต่งมาอย่างเหมาะสม

พื้นที่ที่การลดต้นทุนอาจเปิดได้และข้อจำกัด

  • LLM อาจลดต้นทุนการพัฒนาซิลิคอน จนทำให้ ASIC เฉพาะทางสำหรับแอปพลิเคชันอย่าง genomics ซึ่งก่อนหน้านี้ไม่คุ้มค่า กลายเป็นสิ่งที่ทำได้
  • อย่างไรก็ตาม เหตุผลที่ ASIC เหล่านั้นไม่คุ้มค่ามาก่อนคือมันไม่ใช่ตลาดขนาดใหญ่
  • แอปพลิเคชันที่ยังไม่จำเป็นต้องใช้ hardware acceleration มีแนวโน้มจะเป็นตลาดเล็ก และเป็นเป้าหมายที่ไม่ดีสำหรับสตาร์ทอัพ
  • ในตลาดที่กำลังเติบโต ชิปที่ออกแบบโดย LLM คุณภาพต่ำอาจเป็น ฐานตั้งต้น ราคาถูกสำหรับสตาร์ทอัพได้
  • เมื่อตลาดใหญ่พอจนรองรับทีมออกแบบชิปเต็มรูปแบบได้ ในอนาคตอันใกล้ ชิปที่มนุษย์ออกแบบน่าจะเหนือกว่าชิปที่ LLM ออกแบบได้อย่างง่ายดายในด้านประสิทธิภาพ

บทบาทที่สมจริงของ LLM ในการออกแบบชิป

  • หากการออกแบบชิปด้วย LLM เปิดได้เพียงตลาดมูลค่าต่ำเป็นหลัก เหตุผลที่สตาร์ทอัพและบริษัท EDA เดิมต้องการใช้ LLM จึงอยู่ที่เรื่องอื่น
  • LLM copilot สำหรับ Verilog อย่างดีที่สุดก็อยู่ในระดับธรรมดา แต่ถ้าให้เขียนโค้ดชิ้นเล็ก ๆ ก็ช่วยประหยัดเวลาวิศวกรและลดต้นทุนบริษัทได้
  • พื้นที่ที่สำคัญกว่าคือ การตรวจสอบความถูกต้องของชิป
    • โดยทั่วไป บั๊กในซิลิคอนมีต้นทุนสูงมาก จึงต้องมีวิศวกรตรวจสอบความถูกต้อง 2 คนต่อนักออกแบบ 1 คน
    • ในยุคปัจจุบัน การหาวิศวกรตรวจสอบความถูกต้องที่เก่งทำได้ยาก
  • หาก LLM ทำให้การตรวจสอบความถูกต้องเร็วขึ้น ง่ายขึ้น และมีประสิทธิผลมากขึ้นได้ ก็จะสร้างคุณค่าอย่างมากให้ทั้งบริษัทเซมิคอนดักเตอร์เดิมและสตาร์ทอัพด้านเซมิคอนดักเตอร์
  • อย่างไรก็ตาม การทำให้ LLM เข้าใจและให้เหตุผลกับสเปกการออกแบบชิปได้จริงไม่ใช่งานเล็ก และยังน่าสงสัยต่อแนวทางที่นำ LLM ที่ fine-tune แล้วมาใช้กับการตรวจสอบความถูกต้องของชิปแบบตรงไปตรงมา เช่น Bronco หรือ Instachip

โมเดลที่จำเป็นต่อการตรวจสอบความถูกต้องและผู้ได้รับประโยชน์

  • สเปกชิปมักซับซ้อน ไม่สมบูรณ์ และวกวนเหมือนเขาวงกต
  • การตรวจสอบความถูกต้องของชิปให้สำเร็จต้องอาศัย LLM ที่เข้าใจสถานะภายในที่คาดหวังของชิป
  • โดยแก่นแล้ว โมเดลภาษาจำเป็นต้องมี formal model ของชิป ซึ่งใกล้เคียงกับ AlphaProof ที่นำไปใช้กับการตรวจสอบความถูกต้องของเซมิคอนดักเตอร์แทนคณิตศาสตร์
  • Normal Computing กำลังทำงานในทิศทางนี้ควบคู่กับ thermodynamic chip architectures แบบใหม่
  • LLM อาจทำให้การออกแบบชิปถูกลงได้ แต่ผู้ได้ประโยชน์หลักคือบริษัทเซมิคอนดักเตอร์ขนาดใหญ่ที่ลดบุคลากรตรวจสอบความถูกต้องได้ สตาร์ทอัพชิปแบบดั้งเดิมที่ดำเนินงานด้วยทีมเล็กลงได้ และสตาร์ทอัพซอฟต์แวร์ EDA ที่ขายเครื่องมือบนฐาน LLM
  • LLM ไม่ได้ทำให้เกิดชิปที่ดีกว่า 100 เท่า และไม่ได้ทำให้สตาร์ทอัพฮาร์ดแวร์ที่มุ่งตลาดซึ่งขาด hardware acceleration เกิดขึ้นได้ เพราะความคุ้มค่าทางเศรษฐศาสตร์ไม่ลงตัว

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-11-18
ความคิดเห็นจาก Hacker News

  • ในวงการ EDA นั้น LLM ยังต้องไปอีกไกล
    เมื่อไม่กี่เดือนก่อน มีคนใน LinkedIn ถาม LLM หลัก ๆ ว่าค่าความจุรวมของวงจรตัวเก็บประจุ 3 ตัวที่วาดแบบขัดกับสัญชาตญาณ แต่จริง ๆ แล้วต่อขนานกันคือเท่าไร ปรากฏว่าไม่มีตัวไหนตอบถูกเลย ไม่ใช่แค่ตัดสินผิดว่าเป็นการต่ออนุกรมเท่านั้น แต่การคำนวณค่าความจุแบบอนุกรมเองก็ยังผิดด้วย และแม้ลองพรอมป์หลายแบบก็ยังตอบถูกไม่ได้
    อีกอย่าง เคยเห็นโฆษณาเครื่องมือ AI ที่บอกว่าช่วยให้เข้าใจแผนผังวงจรได้ ในวงจรที่ดูเหมือนแป้นเหยียบดิสทอร์ชันกีตาร์ มันตอบถูกว่าตัวเก็บประจุป้องกันกระแสตรง แต่พลาดประเด็นว่ามันเป็นองค์ประกอบของฟิลเตอร์ RC แบบไฮพาส เสียงบรรยายที่ว่า “เรียนวิศวกรรมไฟฟ้ามา 4 ปี ยังไม่เคยสอนเรื่องนี้เลย” ทำให้ขำ เพราะก็สงสัยว่าจริง ๆ แล้วเขาไม่สอนทั้งเรื่องตัวเก็บประจุบล็อกกระแสตรงกับฟิลเตอร์ RC เลยหรือไง
    ถ้าเป็นสาขานี้ คงต้องสร้างชุดเอกสารที่คัดสรรเองอย่างจริงจัง แล้วฝึกโมเดลที่เฉพาะทางกว่านี้ โมเดลทั่วไปหลงทางเยอะเกินไป

    • เดาว่าการสร้างแบบจำลองภายในของ LLM คงอยู่ประมาณระดับ “นี่เป็นรูปวงจรตัวเก็บประจุสำหรับการบ้านนักเรียน และการบ้านคำนวณชิ้นส่วนไฟฟ้าถ้าแค่บวกธรรมดาก็ง่ายเกินไป ดังนั้นคงต้องใช้กฎผลรวมของส่วนกลับ”
      คนจำนวนมากที่ผ่านการศึกษาระดับมหาวิทยาลัยก็ไม่ได้เชื่อว่าตัวเองได้เรียนรู้อะไรที่มีความหมายจากบางวิชา ผมเชื่อได้เต็มที่ว่าคนเหล่านั้นอาจไม่ได้เรียนรู้และจดจำสิ่งที่มีความหมายจากวิชานั้นจริง ๆ แต่จะโทษว่าเป็นความรับผิดชอบของชั้นเรียนหรือไม่นั้นน่าสงสัยกว่ามาก
    • ตั้งแต่แรกก็ไม่เข้าใจว่าทำไมเราควรคาดหวังให้LLM แบบปรับแต่งตามคำสั่งทั่วไปตอบเรื่องนี้ได้ การที่มันทำไม่ได้ไม่ได้น่าแปลกใจเลย ถ้าทำได้ต่างหากที่ผมคงค่อนข้างประหลาดใจ
    • วิชาวิศวกรรมไฟฟ้าเบื้องต้นที่ต้องเรียนเพราะปริญญา CS ยังเป็นฝันร้ายสำหรับผมอยู่เลย
      วงจร RC นี่โหดจริง ๆ
    • The Art of Electronics มีจำนวนคำเท่าไหร่นะ? ถ้าใส่มันเข้าไปเป็นบริบท จะช่วยได้ไหมนะ?

  • การใช้ LLM ในขั้นตอนที่โดยเนื้อแท้ไม่สามารถทำซ้ำได้อยู่แล้ว เช่น การระดมไอเดียหรือการเรียนรู้ ถือว่าโอเค แต่ผมยังคงเชื่อได้ยากว่าเหล่าวิศวกรอยากเอากล่องดำที่ช้า แพง และไม่กำหนดแน่นอนไปใส่ไว้ในแกนกลางของระบบที่ซับซ้อนสุดขีด ซึ่งต้องการความน่าเชื่อถือ ความสามารถในการตรวจสอบ และความเข้าใจได้

    • หมายความว่า กล่องดำที่ไม่กำหนดแน่นอนซึ่งอยู่ในแกนกลางของระบบซับซ้อน ต่างหากที่บอกว่าเชื่อได้ยากที่จะเอากล่องดำที่ไม่กำหนดแน่นอนไปใส่ในแกนกลางของระบบซับซ้อนงั้นหรือ?
    • ผมยอมรับได้แล้วว่าวิศวกรรมกับการหาเงินจากวิศวกรรมนั้นเป็นคนละเรื่องกันโดยสิ้นเชิง และอย่างหลังบางครั้งไม่ต้องใช้เทคโนโลยีด้วยซ้ำ แน่นอนว่าการหลอกลวงเป็นเรื่องผิดจริยธรรม
    • เห็นด้วยอย่างยิ่ง ตอนนี้ผมหาแหล่งอ้างอิงทั้งหมดไม่ได้ แต่ [1] และเอกสารอ้างอิงในนั้นอาจเป็นจุดเริ่มต้นที่ดีสำหรับการขุดลึกต่อ
      ผมจำได้ว่าเคยเห็นการพิสูจน์หรือข้อคาดเดาว่าเป็นไปไม่ได้ที่จะสร้าง “ไฟร์วอลล์ LLM” ที่บล็อกพรอมป์ที่เป็นไปได้ทั้งหมดได้ แต่ความทรงจำผมอาจผิดก็ได้
      [1] https://arxiv.org/abs/2410.07283
    • ตัวมนุษย์เองก็ใกล้เคียงกับกล่องดำที่ช้า แพง และไม่กำหนดแน่นอนเหมือนกัน
    • LLM สามารถทำให้เป็นเชิงกำหนดได้อย่างสมบูรณ์ ขึ้นอยู่กับวิธีการสุ่มตัวอย่างที่ใช้ บางวิธีไม่มีองค์ประกอบสุ่มเลย
      ที่เหลือพูดถูก ยังตรวจสอบได้หรือเข้าใจได้ไม่พอ

  • งานที่ต้องการ “ความเข้าใจ” อย่างลึกซึ้งหรือการประดิษฐ์สิ่งใหม่ ไม่ใช่งานที่ควรมอบให้เครื่องเล่นคำเชิงสถิติ ยังไม่เคยเห็นแม้แต่กรณีเดียวที่ LLM ประดิษฐ์สิ่งใหม่ได้จริงในสาขาใด ๆ หมายถึงระดับที่ผู้เชี่ยวชาญในสาขานั้นตัดสินว่าใหม่จริง
    จุดที่ LLM เปล่งประกายคือการสร้างข้อความสำเร็จรูป และนั่นมีประโยชน์มาก จนถึงตอนนี้ผมยังไม่เคยเห็น “ความคิด” แบบสร้างสรรค์จาก LLM เลย แม้จะใช้ AI ในงานทุกวันก็ตาม

    • มี LLM จำนวนมากที่สร้าง “ความคิด” แบบสร้างสรรค์ได้
      ESM3: https://www.evolutionaryscale.ai/blog/esm3-release
      AlphaProof/AlphaGeometry2: https://deepmind.google/discover/blog/ai-solves-imo-problems...
      การค้นพบวัสดุใหม่ของ MatPilot: https://arxiv.org/abs/2411.08063
      และยังมีการฝึกดิจิทัลทวินของ Nvidia Omniverse ด้วย
      https://blog.google/technology/ai/google-ai-big-scientific-b...
    • ลองทดลองดูก็ได้ ถ้าคิดว่า LLM สามารถปฏิวัติการออกแบบชิปได้ ก็ลองให้มันทำสิ่งที่ง่ายกว่านั้นมาก ให้มันประดิษฐ์อัลกอริทึมการเรียงลำดับแบบใหม่ที่ดีกว่าเดิมดู
      มีเหตุผลที่เราใช้ชื่ออย่าง Timsort หรือ Dijkstra เพราะการประดิษฐ์สิ่งแบบนั้นต้องใช้ความคิดสร้างสรรค์ของมนุษย์ที่หาได้ยาก ถ้า LLM ยังสร้างอัลกอริทึมการเรียงลำดับใหม่ที่ดีกว่าอัลกอริทึมเดิมอย่างมีนัยสำคัญไม่ได้ งานที่ยากกว่ามากอย่างการออกแบบชิปก็ยิ่งยากกว่าเดิม
    • แล้วจะนิยามคำว่าใหม่อย่างไร?

  • YC ไม่ได้สนใจว่า การออกแบบชิปด้วย LLM “สมเหตุสมผลหรือไม่” เหมือน VC รายอื่น ๆ พวกเขาไร้ความสามารถทางเทคนิค และสนใจแค่ผลิตสตาร์ทอัพที่ขับเคลื่อนด้วยการโฆษณาเกินจริงซึ่งอาจมีโอกาสถูกซื้อกิจการเท่านั้น
    Gary Tan ไม่ได้สนใจ “การสร้างชิปที่ดีกว่า” แต่สนใจหาคนโง่ที่ยอมซื้อบริษัทห่วย ๆ ที่ขับเคลื่อนด้วยการโฆษณาเกินจริงในราคาหลายพันล้านดอลลาร์มากกว่า ถ้าเป็นวาณิชธนกิจแบบเก่าคงเหมาะพอดี
    YC ไร้ความสามารถทางเทคนิคและไม่ใช่องค์กรที่พยายามทำให้โลกดีขึ้น ทุกสิ่งที่พวกเขาพูดเป็นเรื่องโกหก และปกปิดเจตนาที่แท้จริงคือการหาเงิน

    • ถ้าเป็นผมคงพูดอีกแบบ แต่โดยรวมก็ถูกต้อง VC ในปัจจุบันจะผลักดัน AI แม้จะรู้ว่ามันเป็นเครื่องมือที่ผิด และยิ่งทำให้ขอบเขตการใช้งานซับซ้อนขึ้นเท่าไร ก็ยิ่งหาคนที่เรียกกันว่าหมูให้เชือดได้ง่ายขึ้น
    • อย่างแรก VC ไม่ได้ทำเงินจากการที่ “สตาร์ทอัพห่วย ๆ” ถูกซื้อกิจการ แต่ทำเงินจากความสำเร็จนอกกรอบอย่างแท้จริง นั่นเป็นวิธีเดียวที่จะทำเงินได้อย่างสม่ำเสมอในธุรกิจ VC
      อย่างที่สอง ช่วยยกตัวอย่าง “บริษัทที่ขับเคลื่อนด้วยการโฆษณาเกินจริง” ที่ไม่มีแรงขับเคลื่อนจากรายได้จริง แต่ขายได้ในราคา “หลายพันล้าน” ได้ไหม?
      อย่างที่สาม วาณิชธนกิจทำหน้าที่เป็นตัวกลางในการขายสินทรัพย์ ไม่ได้ซื้อเองโดยตรง
      ถ้าไม่รู้แม้แต่พื้นฐานของ VC, สตาร์ทอัพ และธนาคาร ก็น่าจะถอยออกจากบทสนทนานี้ดีกว่า

  • เคยทำงานในทีมสถาปัตยกรรม DSP ของ Qualcomm อยู่ 1 ปี เลยมีประสบการณ์ด้านนี้อยู่บ้าง แต่ก็ไม่มาก
    ผู้เขียนพลาดประเด็นสำคัญบางอย่างในการออกแบบชิปไป เวลาและงานส่วนใหญ่ไม่ได้หมดไปกับการเขียน Verilog ประสิทธิภาพสูง นักออกแบบใช้เวลามหาศาลไปกับการตอบคำถาม เขียนเอกสาร คัดลอกโค้ดสำเร็จรูป และอ่านคู่มือกับไดอะแกรมที่เข้าใจยาก LLM สามารถช่วยงานทั้งหมดนี้ได้อยู่แล้ว
    ผมมองว่าแค่ LLM ในสถานะปัจจุบันก็ทำให้ทีมออกแบบเร็วขึ้นได้อย่างน้อย 2 เท่า และถ้ามีเครื่องมือที่ดีกว่านี้ แม้ความฉลาดของโมเดลจะไม่ดีขึ้น ก็อาจเป็น 4 เท่าหรือ 10 เท่าได้ ผลประโยชน์ส่วนใหญ่จะมาจากการรันการทดลองได้มากขึ้น ลองทำสิ่งต่าง ๆ ได้มากขึ้น ได้รับฟีดแบ็กต่อการตัดสินใจด้านการออกแบบเร็วขึ้น และลดเวลาที่ใช้กับการทำเอกสาร การสื่อสาร และการอ่านเอกสารแย่ ๆ

    • ผมเป็นผู้เขียนเอง ไม่ได้ไม่เห็นด้วย อันที่จริงในบทความก็เขียนไว้แบบนี้
      “ปรากฏว่า LLM มีคุณค่าพอสมควรแม้แต่กับชิปในตลาดที่ทำกำไรได้ดี เพียงแต่มันคงไม่ได้ทำงานออกแบบส่วนใหญ่ LLM copilot สำหรับ Verilog อย่างดีที่สุดก็คงธรรมดา แต่ถ้าให้ LLM เขียนโค้ดชิ้นเล็ก ๆ ง่าย ๆ ก็ช่วยประหยัดเวลาวิศวกร และสุดท้ายก็ลดต้นทุนให้นายจ้างได้”
      ผมคิดว่าการบอกว่านักออกแบบจะเร็วขึ้น 2 เท่าน่าจะมองโลกในแง่ดีไปหน่อย แต่ผมอาจคิดผิดก็ได้ ประสบการณ์ออกแบบชิปส่วนใหญ่ของผมคือการโฟกัสที่สถาปัตยกรรม datapath และการออกแบบในบริษัทเล็ก ๆ ที่มีเอกสารดี ผมจึงอาจประเมินต่ำไปว่าวิศวกรทั่วไปต้องจัดการกับโค้ดสำเร็จรูปมากแค่ไหน
      ถึงอย่างนั้น ผมก็ไม่คิดว่า LLM จะออกแบบ datapath ประสิทธิภาพสูง หรือ Verilog สำหรับงานเครือข่ายได้ในเร็ว ๆ นี้

  • เห็นด้วยกับประเด็นทางเทคนิคส่วนใหญ่ของบทความ
    ถึงอย่างนั้น การที่ YC เรียกร้องนวัตกรรมในด้านนี้ก็อาจมีคุณค่า บทความแสดงให้เห็นอย่างถูกต้องว่าไม่มีชัยชนะง่าย ๆ ในการนำ LLM มาใช้กับการออกแบบชิป ถ้าตลาดของแอปพลิเคชันเฉพาะเล็กเกินไป ต่อให้ LLM ช่วยได้ก็ไม่ได้มีความหมายมากนัก และถ้าชิปสำคัญเกินไป คุณก็ย่อมอยากใช้วิศวกรที่ดีที่สุด ต่างจากซอฟต์แวร์ ในการออกแบบชิปนั้นผลแบบ long tail ไม่ได้ใหญ่ขนาดนั้น การ tape-out ชิปไม่ใช่สิ่งที่แฮ็กเกอร์ทำได้ และแม้แต่การลองจับ FPGA ก็ยังมีต้นทุนแรกเข้ามากกว่าการแฮ็กบน PC
    แต่ถ้ามีเส้นทางข้างหน้าที่ชัดเจนอยู่แล้ว YC ก็คงไม่จำเป็นต้องขอแนวทางที่เป็นนวัตกรรม

    • เรียกได้ว่าเป็นความหยิ่งแบบไร้เดียงสาของมือใหม่
      เห็นได้จากตอนที่ George Hotz พยายามจะพลิกบริษัทชิปด้วยแผนชิป AI https://geohot.github.io/blog/jekyll/update/2021/06/13/a-bre... ดูเหมือนเขาไม่ค่อยเข้าใจความซับซ้อนนัก แต่สิ่งที่ต้องยอมรับคือ เขาเปลี่ยนทิศทางไปทำซอฟต์แวร์และเป็นผู้สร้าง tiny-box อย่างรวดเร็ว
    • ใน YC มี ผู้เชี่ยวชาญด้านการออกแบบชิป กี่คน?
    • มีเส้นทางข้างหน้าที่ชัดเจนอยู่ แต่ดูเหมือนจะเป็นความเห็นส่วนน้อย หรืออาจเป็นมุมมองชายขอบ ไม่ได้เดินตาม trade-off แบบดั้งเดิม
      systolic array ระดับบิตแบบ non-von Neumann ที่ใช้งานทั่วไปสามารถทำให้แทบทุกอย่างเร็วขึ้นมาก ไม่ใช่แค่การคำนวณ AI หมายถึงชิปที่ทำการคำนวณทั่วไปได้
      ตัวการออกแบบชิปเองแทบจะเป็นเรื่องเล็กน้อย ผมคิดว่าคนที่มีประสบการณ์ไม่กี่ปีก็น่าจะทำได้ภายในไม่กี่วัน ผมอยากส่งดีไซน์เข้า TinyTapeout รอบถัดไป แต่รายได้ประจำคงที่ เลยต้องรอไปสักพัก
      ปัญหาจริง ๆ คือการเขียนโปรแกรม มันแทบจะเป็นดินแดนที่ยังไม่ถูกบุกเบิกอย่างไร้ขอบเขต ไม่มีวิธีที่ดีในการกำหนดเป้าหมายสถาปัตยกรรมนี้ และคุณก็คงไม่อยากใช้ Verilog หรือภาษาอธิบายฮาร์ดแวร์อื่น ๆ
    • เส้นทางที่ชัดเจนก็อาจมีความเสี่ยงได้ อย่างแรก ถ้าแบ่งความเสี่ยงได้ก็จะดี และอย่างที่สอง เมื่อการลงทุนเพิ่มขึ้น การเชื่อมต่อก็เพิ่มขึ้นด้วย
      สำหรับกระแส LLM สุดท้ายคงจะตระหนักกันว่า ถ้าผสาน LLM กับอัลกอริทึม จะทำอะไรได้มากกว่าการใช้ LLM เพียงอย่างเดียวมาก คำว่าอัลกอริทึมตรงนี้อาจไม่เหมาะนัก หมายถึงเครื่องมือช่วยอย่างฐานข้อมูล อัลกอริทึม โมเดลอื่น ๆ เป็นต้น เช่น อาจฝึก LLM ด้วย API สำหรับเข้าถึง แทนที่จะฝึกด้วยชุดข้อมูลทั้งหมดก็ได้

  • ไม่รู้อะไรเกี่ยวกับการออกแบบชิปเลย
    แต่คำพูดทำนองว่า “การนำ AI ไปใช้กับสาขา X ทำไม่ได้ เพราะ X ซับซ้อนและ LLM ตอนนี้มีประสิทธิภาพด้อยกว่ามนุษย์” มักฟังดูน่าสงสัยเสมอ
    VC ไม่ได้ลงทุนเพื่อปรับปรุง X ด้วยระบบที่ใช้ LLM ในปัจจุบัน แต่ลงทุนกับอนาคตที่ระบบบนฐาน LLM จะ มีประสิทธิภาพดีขึ้น 100 เท่า
    การเขียนก็ซับซ้อน และครั้งหนึ่ง LLM เคยด้อยกว่ามนุษย์ แต่ตอนนี้ไม่ใช่แล้ว ดิจิทัลอาร์ตและดนตรีก็เช่นกัน ดู suno.AI ได้ เรื่องนี้มีแพตเทิร์นอยู่

    • ในบทความไม่ได้ลงลึก แต่หนึ่งในอุปสรรคใหญ่ต่อการทำให้ได้ประสิทธิภาพเหนือมนุษย์ใน Verilog คือ การขาดข้อมูลฝึกคุณภาพสูง
      Verilog ระดับผู้เชี่ยวชาญส่วนใหญ่ไม่เปิดเผย ดังนั้นโดยทั่วไป LLM จึงเขียน Verilog ได้แย่กว่า Python มาก ถึงอย่างนั้น LLM ก็ยังเขียน Python ได้ค่อนข้างแย่อยู่ดี
    • AI ยังด้อยกว่ามนุษย์แม้แต่ในงานศิลปะ แผนภาพเวนน์ของคนที่มอง LLM ในแง่ดี กับคนที่ไม่เข้าใจ เส้นโค้งลอจิสติก ให้ความรู้สึกเหมือนเป็นวงกลมเดียวกัน
    • ในกรณีเฉพาะนี้ มองยากว่า LLM จะเดินทางจากตรงนี้ไปถึงจุดนั้นได้อย่างไร ปัญหาไม่ใช่โค้ดสำเร็จรูปแบบตอนสร้างเว็บไซต์ React แต่เป็นสถาปัตยกรรมใหม่จริง ๆ และโดยเฉพาะการตัดสินใจเชิงสถาปัตยกรรมที่ต้องทำระหว่างกระบวนการ
      บางส่วนอาจดูเหมือนเป็นเรื่องตามอำเภอใจมาก และการทำให้ถูกต้องต้องอาศัยความเข้าใจลึกซึ้ง สิ่งนี้ไม่สามารถอนุมานได้จากโทเคนแบบภาษาเพียงอย่างเดียว ความเข้าใจพื้นฐานเกี่ยวกับกฎฟิสิกส์และกฎจากประสบการณ์มีความสำคัญ
    • ถึงอย่างนั้น ก็ยังไม่เห็นสตาร์ทอัพในเรื่องนี้
      หากในบางกรณีการใช้งาน LLM เก่งด้านนี้ขึ้นมา ผู้ได้ประโยชน์จะไม่ใช่สตาร์ทอัพเล็ก ๆ แต่เป็น บริษัทออกแบบชิป ที่มีอยู่แล้ว
    • การเขียนซับซ้อน และ LLM เคยด้อยกว่ามนุษย์ แต่ตอนนี้สามารถทดแทนมนุษย์ระดับทั่วไปได้ง่าย โดยเฉพาะในกรณีการใช้งานที่มีคุณค่าเชิงอัตวิสัยแบบนี้ เพราะมันถูกปรับแต่งให้ตอบในแบบที่มนุษย์รู้สึกว่าน่าสนใจ
      การออกแบบชิปดูไม่ค่อยคล้ายกันนัก มันใกล้กับกรณีที่เครื่องมือที่ฝึกมาเฉพาะทางช่วยได้มากกว่า ความสามารถที่ LLM อเนกประสงค์แสดงให้เห็นในงานเฉพาะนั้นน่าทึ่งก็จริง แต่ก็มีงานบางอย่างที่ดูเหมือนยากมากที่โมเดลซึ่งฝึกจากคลังข้อความกว้าง ๆ จะเหนือกว่าเครื่องมือเฉพาะทาง กลับไปที่ย่อหน้าแรก คุณไม่รู้สึกว่าน่าสงสัยจริง ๆ หรือว่าโมเดลที่ฝึกจากข้อความจะเอาชนะ Stockfish ในหมากรุกได้?

  • YC ก็เหมือนนักลงทุนส่วนใหญ่ คือกำลัง หว่านเงินไปทั่วแล้วภาวนา กับ AI

    • สตาร์ทอัพเครื่องมืออัตโนมัติสำหรับการออกแบบไปได้ยากจริง ๆ อย่างแรก ลูกค้าไม่ซื้อผลิตภัณฑ์จากสตาร์ทอัพ และอย่างที่สอง พื้นที่ความเป็นไปได้ในการ exit ผ่านการถูกซื้อกิจการนั้นเล็กมาก
    • อาจทำเงินได้ด้วยตรรกะ “คนโง่กว่าคนถัดไป” การขายกิจการสำเร็จ หรือ exit ไม่ได้แปลว่าบริษัทนั้นประสบความสำเร็จและมีกำไรเสมอไป

  • เท่าที่ผมอ่าน ดูเหมือนจะหมายความว่า การเร่งความเร็วด้วยฮาร์ดแวร์ สำหรับอัลกอริทึมเฉพาะสามารถเร็วและมีประสิทธิภาพกว่าการรันอัลกอริทึมเดียวกันด้วยซอฟต์แวร์บนโปรเซสเซอร์ทั่วไปได้ 100 เท่า และเมื่อการออกแบบชิปแบบอัตโนมัติพิสูจน์แล้วว่าเป็นพื้นที่ปัญหาที่ยาก จึงอยากลองใช้ AI เพื่อลดกำแพงในการเข้าสู่ตลาดสำหรับฮาร์ดแวร์เร่งความเร็วเฉพาะทางสำหรับงานหลากหลายประเภท
    ผมไม่คิดว่าหมายความว่า AI ออกแบบชิปได้ดีกว่ามนุษย์ 100 เท่า และมองว่าจุดนี้แหละคือ trade-off ทางวิศวกรรมที่พวกเขาพูดถึง แต่ถ้าจะสับสนก็โทษกันไม่ได้ เพราะถ้อยคำมันฝืนและฟังดูเป็นการขายของอย่างเจ็บปวดจริง ๆ

    • ถ้าอ่านแบบใจกว้าง ผมก็เห็นแบบนั้น
      อีกอย่าง บทความต้นทางดูเหมือนจะพลาดประเด็นสำคัญ โดยบอกว่าแอปพลิเคชันเป้าหมายเหล่านี้มีตลาดเล็กเกินกว่าจะคุ้มค่าไล่ตาม
      ถ้ามองทีละอย่าง อาจไม่ใหญ่พอจะสร้างมูลค่าตลาดให้บริษัทได้ แต่สตาร์ทอัพชิป AI ในสมมติฐานอาจไล่ตามตลาดเล็ก ๆ เหล่านี้หลายตลาดพร้อมกันได้ แบบนี้ก็น่าจะเป็น กลยุทธ์หางยาว ไม่ใช่หรือ?

  • เป็นบทความที่ดี แต่หลักการหลักของ YC คือสมมติว่าเทคโนโลยีจะ พัฒนาแบบทวีคูณ ต่อไป แล้วคิดว่ามันจะทำให้อะไรเป็นไปได้บ้าง
    ข้อเสนอของพวกเขามักตั้งสมมติฐานเสมอว่าสตาร์ทอัพจะเกาะกระแสแบบกฎของมัวร์ในเวอร์ชัน AI และการสังเคราะห์ฮาร์ดแวร์ก็เป็น use case ที่ชัดเจน กล่าวคือ พวกเขาสมมติว่าจะมีบริษัทสังเคราะห์ฮาร์ดแวร์ด้วย AI ที่ประสบความสำเร็จภายใน 2 ปี และพยายามนำหน้าเส้นโค้งนั้น
    ผมเห็นด้วยว่าพวกเขาน่าจะผิด แต่บทความนี้ไม่ได้อธิบายจริง ๆ ว่าทำไมการเดิมพันกับการพัฒนาความสามารถของ AI แบบทวีคูณจึงผิด