Meta เปิดตัว LLM Compiler

 (twitter.com/AIatMeta)
6 คะแนน โดย GN⁺ 2024-06-30 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • Meta เปิดตัวตระกูลโมเดล LLM Compiler ที่พัฒนาบนพื้นฐานของ Code Llama พร้อมความสามารถด้านการปรับแต่งโค้ดให้เหมาะสมและฟังก์ชันคอมไพเลอร์
  • โมเดลเหล่านี้มีความสามารถดังต่อไปนี้:
    • จำลองการทำงานของคอมไพเลอร์
    • คาดการณ์พาสที่เหมาะสมที่สุดสำหรับการปรับขนาดโค้ดให้เหมาะสม
    • ถอดแอสเซมบลีโค้ด
  • สามารถปรับจูนเพิ่มเติมสำหรับงานด้านการปรับแต่งและคอมไพเลอร์รูปแบบใหม่ได้

จุดเด่นสำคัญ

  • ทำผลงานระดับแนวหน้าในการปรับขนาดโค้ดให้เหมาะสมและการถอดแอสเซมบลี
  • แสดงให้เห็นว่า AI กำลังเรียนรู้การปรับแต่งโค้ด และสามารถช่วยผู้เชี่ยวชาญด้านคอมไพเลอร์ระบุโอกาสในการปรับแต่งได้

การเผยแพร่โมเดล

  • เปิดให้ใช้งานโมเดล LLM Compiler 7B และ 13B ภายใต้ไลเซนส์แบบผ่อนปรน ทั้งสำหรับงานวิจัยและการใช้งานเชิงพาณิชย์
  • สนับสนุนให้นักพัฒนาและนักวิจัยนำไปใช้ได้ง่าย และต่อยอดงานวิจัยใหม่ในสาขานี้

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
ragingwind 2024-07-01

ไอเดียดูน่าสนุกดีนะ
 
GN⁺ 2024-06-30
ความเห็นจาก Hacker News
  • การใช้ LLM เป็นคอมไพเลอร์/ดีคอมไพเลอร์เป็นการประยุกต์ใช้ที่น่าสนใจ
  • คอมไพเลอร์ให้ความสำคัญกับความน่าเชื่อถือและความถูกต้อง
  • โดยธรรมชาติแล้ว LLM คาดเดาไม่ได้ จึงรู้สึกแปลกที่จะนำมันเข้าไปอยู่ใน build pipeline
  • ในงานวิจัยนี้ เริ่มจาก CodeLlama แล้วฝึกโมเดลสำหรับงาน 3 อย่าง
    • งานแรกคือการคอมไพล์: ป้อนโค้ดต้นทางและ compiler flags แล้วให้ทำนายแอสเซมบลีที่ได้
    • งานที่สองคือการทำนาย/ปรับแต่ง compiler flags: เพื่อเพิ่มประสิทธิภาพขนาดของแอสเซมบลี
    • งานที่สามคือการดีคอมไพล์: โดยอ้างว่ามีข้อดีกว่าวิธีการก่อนหน้า
  • มีปัญหาเรื่องความสามารถในการตรวจสอบยืนยันของแนวทางการดีคอมไพล์
  • ใช้วิธีคอมไพล์โค้ดที่ดีคอมไพล์แล้วกลับใหม่เพื่อตรวจสอบความถูกต้อง
  • ความแม่นยำยังอยู่ที่ประมาณ 45% จึงยังไม่น่าเชื่อถือ แต่ก็อาจมีประโยชน์หากใช้ร่วมกับดีคอมไพเลอร์แบบดั้งเดิม
  • อยากลองสำรวจว่าโมเดลนี้จะต่อยอดไปสู่การเพิ่มประสิทธิภาพด้าน performance ได้หรือไม่
  • ดูเหมือนว่าเราจะได้เห็นระบบที่ LLM ให้สัญชาตญาณ แล้วปล่อยให้ระบบเชิงกลไก/เข้มงวดจัดการต่อเพิ่มขึ้น
  • สงสัยว่าจะตรวจสอบได้อย่างไรว่า LLM รักษาความหมายของอินพุตไว้หรือไม่
  • งานวิจัยก่อนหน้านี้ดูได้บน GitHub
  • Twitter ประทับใจกับงานวิจัยนี้ แต่คิดว่ามันมีโอกาสสูงที่จะทำโปรแกรมพัง
  • ต่างจากงานวิจัย AI อื่น ๆ ของ Meta ตรงที่ไม่มีการพูดถึงว่าใช้งานอยู่ใน Instagram, Facebook หรือ Meta
  • ชื่อที่แม่นกว่าน่าจะเป็น "Compiler LLM" มากกว่า "LLM Compiler"
  • ไม่เข้าใจวัตถุประสงค์ของงานนี้
  • จำได้ว่าเคยซื้อขาย Meta Technologies Neural Optimizer and Disassembler ในเกม <i>Deus Ex</i>