การทดสอบ Generative AI สำหรับการออกแบบแผงวงจร

 (blog.jitx.com)
1 คะแนน โดย GN⁺ 2024-06-22 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

การทดสอบ Generative AI สำหรับการออกแบบแผงวงจร

บทนำ

  • ทดสอบว่าแชตบอตที่ขับเคลื่อนด้วย AI จะสามารถช่วยงานที่ต้องการความแม่นยำอย่างการออกแบบแผงวงจรได้หรือไม่
  • LLMs (โมเดลภาษาขนาดใหญ่) มักเข้าใจรายละเอียดผิดพลาดได้บ่อย
  • แนวทางแบบกำหนดผลลัพธ์ได้แน่นอนมีความสำคัญในการออกแบบอิเล็กทรอนิกส์
  • แม้ผลิตภัณฑ์ AI ในปัจจุบันจะมีส่วนที่ถูกโหมเกินจริง แต่หากใช้แนวทางที่เหมาะสมก็ยังค้นหาประโยชน์ที่ใช้ได้จริงได้
  • ทดสอบ LLMs กับงานออกแบบที่ยากซึ่งผู้เชี่ยวชาญทำกันเป็นประจำ
  • โมเดลที่ใช้ในการทดสอบ: Gemini 1.5 Pro ของ Google, GPT-4o ของ OpenAI, Claude 3 Opus ของ Anthropic

การถามคำถามโง่ๆ

  • การออกแบบแผงวงจรต้องอาศัยความรู้จำนวนมาก
  • จึงลองใช้วิธีเรียนรู้ด้วยการถามคำถามง่ายๆ กับ LLMs
  • ตัวอย่าง: "ค่าหน่วงต่อความยาวหนึ่งหน่วยของ trace บนแผงวงจรคือเท่าไร?"
  • Claude 3 Opus ให้คำตอบที่แม่นยำที่สุด
  • Google Gemini 1.5 ทำผลงานได้ไม่ดีนักเพราะได้รับอิทธิพลจากข้อมูลคุณภาพต่ำที่ดึงมาจากอินเทอร์เน็ต

การค้นหาชิ้นส่วน

  • วิศวกรที่มีประสบการณ์สามารถหาชิ้นส่วนที่ต้องการได้อย่างรวดเร็ว
  • มีการทดสอบความสามารถของ AI ในการค้นหาชิ้นส่วน
  • ตัวอย่าง: ค้นหาชิ้นส่วนสำหรับไดรเวอร์มอเตอร์หุ่นยนต์ที่ใช้ออปติคัลอีเธอร์เน็ต
  • ทุกโมเดลไม่สามารถแนะนำชิ้นส่วนที่เหมาะสมได้
  • ส่วนใหญ่เป็นการแนะนำชิ้นส่วนที่เหมาะกับงานใช้งานทั่วไปโดยเฉลี่ย

การแยกข้อมูลจาก datasheet

  • ข้อมูลที่จำเป็นสำหรับการออกแบบแผงวงจรถูกรวมอยู่ใน PDF datasheet
  • มีการทดสอบความสามารถของ LLMs ในการดึงข้อมูลจาก PDF
  • วิธีที่มีประสิทธิภาพที่สุดคืออัปโหลด datasheet ทั้งฉบับเข้าไปใน LLM แล้วค่อย query รายละเอียดแบบโต้ตอบ
  • Gemini 1.5 แสดงประสิทธิภาพที่น่าเชื่อถือที่สุดในงานนี้
  • สามารถสร้างตารางพินและ BGA footprint ได้สำเร็จ

การออกแบบวงจร

  • ทดสอบว่า LLMs จะสามารถออกแบบวงจรได้จริงหรือไม่
  • ตัวอย่าง: การออกแบบ preamp สำหรับไมโครโฟนอิเล็กทรอนิกส์
  • Claude 3 Opus ให้คำตอบที่ดีที่สุด
  • อย่างไรก็ตาม ยังมีการตัดสินใจที่ผิดพลาดบางส่วนและแบบวงจรที่ไม่แม่นยำปะปนอยู่
  • LLMs โดดเด่นในงานดึงและแปลงข้อมูล แต่ยังมีปัญหากับการสังเคราะห์แบบออกแบบต้นฉบับ

บทสรุป

  • การออกแบบแผงวงจรต้องการความแม่นยำสูงมาก
  • LLMs อาจมีประโยชน์ในการเขียนโค้ด
  • Claude 3 มีประโยชน์ต่อการเรียนรู้โดเมนใหม่
  • Gemini มีประโยชน์ในการดึงข้อมูลจาก datasheet
  • GPT-4o ไม่สามารถให้คำตอบที่มีประโยชน์ที่สุดในการทดสอบนี้ได้
  • LLMs เด่นด้านการค้นคืนข้อมูลและการสร้างโค้ด แต่มีข้อจำกัดในโดเมนที่อยู่นอกการกระจายของข้อมูลฝึก

ความเห็นของ GN⁺

  • ประโยชน์ของ LLMs: LLMs อาจมีประโยชน์ในการค้นหาข้อมูลและการสร้างโค้ดสำหรับการออกแบบแผงวงจร โดยเฉพาะมีจุดแข็งในการดึงข้อมูลที่ต้องการจาก datasheet
  • ข้อจำกัด: LLMs ยังประสบปัญหาในการสังเคราะห์แบบออกแบบต้นฉบับ ซึ่งอาจเกี่ยวข้องกับข้อจำกัดของข้อมูลฝึก
  • งานวิจัยในอนาคต: เพื่อยกระดับความสามารถด้านการออกแบบวงจรของ LLMs จำเป็นต้องมีการ fine-tune กับงานสร้าง netlist นอกจากนี้อาจต้องใช้ข้อมูลและการฝึกเพิ่มขึ้นอีก
  • การนำไปใช้จริง: ปัจจุบัน LLMs สามารถใช้เป็นเครื่องมือช่วยในการออกแบบวงจรได้ แต่ยังต้องมีการตรวจทานและแก้ไขโดยผู้เชี่ยวชาญ และยังมีข้อจำกัดต่อการทำงานอัตโนมัติเต็มรูปแบบ
  • มุมมองเชิงวิพากษ์: คำตอบของ LLMs มักถูกปรับไปตามงานใช้งานทั่วไปโดยเฉลี่ย จึงอาจไม่ตอบโจทย์ความต้องการเฉพาะ และอาจก่อให้เกิดปัญหาสำคัญในการออกแบบจริงได้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-06-22
ความคิดเห็นจาก Hacker News
  • Sonnet 3.5 ทำผลงานได้ดีกว่า Opus มาก และยังมีต้นทุนต่ำกว่า Opus ดีกว่า GPT-4 ส่วน GPT-4o มีความสามารถด้านการให้เหตุผลที่อ่อนกว่า
  • เป็นตัวอย่างที่ดีที่แสดงข้อจำกัดของ LLM แบบ zero-shot ดูเหมือนว่าแนวทางนี้จะผิดทาง
  • ในกรณีที่ต้องใช้แนวทางแบบองค์รวม โครงสร้างการสร้างแบบ diffusion น่าจะเหมาะกว่าการทำนายโทเค็นถัดไป
  • การใช้ LLM กับการออกแบบวงจรก็คล้ายกับการใช้กับงานซับซ้อนอื่น ๆ คือมีประโยชน์ในการดึงข้อมูลเฉพาะจากแหล่งข้อมูลบางประเภท
  • หากจะใช้ LLM กับสาขาเฉพาะทาง จำเป็นต้องมีการ fine-tuning ตอนนี้ยังไม่ถึงขั้นที่ AGI จะทำงานได้อย่างชำนาญในทุกสาขา
  • คิดว่าการใช้โครงข่ายประสาทเพื่อแก้ปัญหาเชิงจัดหมู่เป็นการเสียเวลา แต่อยากฟังความเห็นที่ต่างออกไป
  • วงจรที่ AI สร้างมีต้นทุนและขนาดใหญ่กว่างานที่ผู้เชี่ยวชาญออกแบบถึงสามเท่า และยังขาดการเชื่อมต่อที่จำเป็นไปหลายจุด
  • อยากเห็นการเปรียบเทียบกับ Flux.ai
  • ทำให้นึกถึงคำอธิบายเกี่ยวกับปัญหา NP-สมบูรณ์ การต้องมาตรวจสอบว่าคำตอบที่คอมพิวเตอร์ให้มาถูกต้องหรือไม่นั้นให้ความรู้สึกไม่สบายใจ
  • การพูดถึงวงจรที่วิวัฒน์ขึ้นมาโดยไม่กล่าวถึงงานวิจัยของ Dr. Adrian Thompson ในช่วงทศวรรษ 90 ถือว่ายังไม่ครบถ้วน
  • Generative AI สำหรับการออกแบบวงจรจะกลายเป็นรูปแบบหลักในไม่ช้า AI ไม่สามารถสร้างวงจรได้หากไม่มีฟังก์ชันบล็อกที่ทรงพลัง
  • นึกไอเดียการสแกนแผงวงจรแบบแบนแล้วใช้แมชชีนเลิร์นนิงสร้างแผนผังวงจรขึ้นมา แต่ความเป็นไปได้ในการทำให้สำเร็จค่อนข้างต่ำ
  • เราต้องการ AI ที่อ่าน datasheet แล้วสร้างวงจร Spice ได้ โดยมีเป้าหมายเพื่อสร้างไลบรารีขององค์ประกอบสำหรับการจำลอง