1 คะแนน โดย GN⁺ 2023-12-15 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

FunSearch: การใช้โมเดลภาษาขนาดใหญ่เพื่อการค้นพบใหม่ในคณิตศาสตร์และวิทยาศาสตร์

  • โมเดลภาษาขนาดใหญ่ (LLMs) มีความสามารถโดดเด่นในการผสานแนวคิดต่าง ๆ เข้าด้วยกัน และเป็นเครื่องมือที่มีประโยชน์ในการช่วยแก้ปัญหาผ่านการอ่าน การเขียน และการเขียนโค้ด
  • เนื่องจาก LLMs บางครั้งมีแนวโน้มจะสร้างข้อมูลที่ไม่เป็นความจริงหรือ "หลอน" ขึ้นมา การทำให้เกิดการค้นพบที่แม่นยำและตรวจสอบได้จึงเป็นความท้าทาย
  • FunSearch เป็นวิธีการสำรวจคำตอบใหม่ ๆ ทางคณิตศาสตร์และวิทยาการคอมพิวเตอร์ โดยผสาน LLM ที่ผ่านการพรีเทรนซึ่งเสนอวิธีแก้ปัญหาอย่างสร้างสรรค์ เข้ากับ "ผู้ประเมิน" อัตโนมัติที่คัดกรองแนวคิดที่ผิดพลาดออกไป

ขับเคลื่อนการค้นพบด้วยวิวัฒนาการผ่านโมเดลภาษา

  • FunSearch ใช้วิธีเชิงวิวัฒนาการในการพัฒนาแนวคิดที่ได้คะแนนสูงที่สุด โดยแนวคิดเหล่านี้ถูกแสดงในรูปแบบโปรแกรมคอมพิวเตอร์ที่สามารถรันและประเมินผลได้โดยอัตโนมัติ
  • ผู้ใช้เขียนปัญหาในรูปแบบโค้ด ซึ่งประกอบด้วยขั้นตอนการประเมินโปรแกรม และโปรแกรมตั้งต้นสำหรับเริ่มต้นพูลของโปรแกรม
  • FunSearch เป็นกระบวนการแบบวนซ้ำ โดยในแต่ละรอบจะเลือกบางโปรแกรมจากพูลปัจจุบันส่งให้ LLM จากนั้น LLM จะสร้างโปรแกรมใหม่ขึ้นมาเพื่อรับการประเมิน

เปิดเส้นทางใหม่ในคณิตศาสตร์

  • FunSearch ค้นพบคำตอบใหม่สำหรับปัญหา cap set ซึ่งเป็นปัญหาที่สร้างความหนักใจให้กับนักคณิตศาสตร์มาหลายทศวรรษ
  • ปัญหา cap set คือการหาชุดจุดที่ใหญ่ที่สุดในกริดมิติสูงซึ่งไม่มีจุดสามจุดใดอยู่บนเส้นตรงเดียวกัน และเป็นแบบจำลองสำคัญในสาขา extremal combinatorics
  • FunSearch ค้นพบ cap set ที่ใหญ่ที่สุดเท่าที่มีการค้นพบในบางการตั้งค่าตลอดช่วง 20 ปีที่ผ่านมา

FunSearch ให้ความสำคัญกับโปรแกรมที่กระชับและมนุษย์ตีความได้

  • FunSearch ไม่ได้เพียงสร้างคำตอบของปัญหาเท่านั้น แต่ยังสร้างโปรแกรมที่อธิบายได้ว่าคำตอบนั้นได้มาอย่างไร
  • FunSearch ชอบค้นหาคำตอบผ่านโปรแกรมที่มีความซับซ้อนแบบคอลโมโกรอฟต่ำ กล่าวคือเป็นโปรแกรมที่กระชับมาก
  • เอาต์พุตของโปรแกรมจาก FunSearch เข้าใจได้ง่ายสำหรับนักวิจัย และมอบอินไซต์ที่นำไปใช้งานได้จริง

แก้โจทย์ท้าทายที่ขึ้นชื่อว่ายากในงานคอมพิวติ้ง

  • หลังจากประสบความสำเร็จกับปัญหา cap set เชิงทฤษฎีแล้ว FunSearch ก็ถูกนำไปใช้กับปัญหา "bin packing" ซึ่งเป็นโจทย์เชิงปฏิบัติสำคัญในวิทยาการคอมพิวเตอร์
  • FunSearch สามารถบรรจุจำนวนรายการเท่าเดิมโดยใช้ bin น้อยกว่าวิธี heuristic ที่มีอยู่เดิม

เปิดทางสู่การค้นพบที่ขับเคลื่อนด้วย LLM เพื่อวิทยาศาสตร์และไกลกว่านั้น

  • หากสามารถป้องกันการหลอนของ LLM ได้ ก็จะสามารถใช้พลังของโมเดลเหล่านี้ไม่เพียงเพื่อการค้นพบทางคณิตศาสตร์ใหม่ ๆ แต่ยังเพื่อเผยแนวทางแก้ปัญหาจริงที่ทรงผลกระทบด้วย
  • คาดว่าการใช้แนวทางที่ขับเคลื่อนด้วย LLM เพื่อสร้างอัลกอริทึมที่มีประสิทธิภาพและปรับให้เหมาะเฉพาะงานสำหรับปัญหาทางวิทยาศาสตร์และอุตสาหกรรมจำนวนมาก จะกลายเป็นแนวปฏิบัติทั่วไป

ความเห็นของ GN⁺

  • FunSearch แสดงให้เห็นถึงความเป็นไปได้ใหม่ของปัญญาประดิษฐ์ในการแก้ปัญหาทางคณิตศาสตร์ โดยเฉพาะจากการนำเสนอคำตอบใหม่สำหรับปัญหาที่แก้ไม่ตกมาเป็นเวลานานอย่างปัญหา cap set ซึ่งบ่งชี้ว่าบทบาทของ AI ในวงการคณิตศาสตร์จะยิ่งสำคัญมากขึ้น
  • การที่เทคโนโลยีนี้ถูกนำไปใช้กับปัญหาอุตสาหกรรมจริง เช่น การเพิ่มประสิทธิภาพของดาต้าเซ็นเตอร์ แสดงให้เห็นว่า AI สามารถมีส่วนช่วยในการแก้ปัญหาเชิงปฏิบัติได้เช่นกัน
  • โปรแกรมที่ FunSearch สร้างขึ้นสามารถตีความได้โดยมนุษย์ ซึ่งจะช่วยให้นักวิจัยได้รับอินไซต์ที่ลึกยิ่งขึ้น และช่วยให้การทำงานร่วมกับ AI เพื่อแก้ปัญหาเป็นไปได้อย่างมีประสิทธิภาพ

1 ความคิดเห็น

 
GN⁺ 2023-12-15
ความคิดเห็นจาก Hacker News
  • คำถามเกี่ยวกับความจำเป็นของ LLM:

    • ดูเหมือนว่าจุดประสงค์ของ LLM คือการสร้างฟังก์ชัน Python ที่ตรงกับ type signature ที่กำหนด
    • แม้ไม่มี LLM ก็ควรจะสามารถสร้างฟังก์ชัน Python แบบสุ่มที่ถูกต้องและตรงกับ type signature ที่กำหนดได้
    • มีการเสนอว่าภาษาที่มีข้อจำกัดมากกว่านี้อาจมีประสิทธิภาพกว่า โดยยกตัวอย่างภาษาอย่าง PushGP
    • มีคำถามว่า LLM เพิ่มคุณค่าได้จริงหรือไม่, แข่งขันกับเทคนิค genetic programming อื่น ๆ ได้หรือไม่, และเมื่อเทียบกับแนวทางดั้งเดิมแล้วมีความต่างด้านต้นทุนการคำนวณหรือไม่
  • บริบทสำคัญเกี่ยวกับการค้นพบในคอมบินาทอริกส์:

    • มีการเปิดเผยว่าจำนวนคอมบินาทอริกส์บางค่ามีช่วงที่แคบกว่าช่วงที่เคยทราบมาก่อน
    • การค้นพบนี้ไม่ได้เกิดจากบทพิสูจน์ทางคณิตศาสตร์ที่เน้นตรรกะ แต่เกิดจากการหาวิธีค้นหาลำดับตัวเลขที่มีคุณสมบัติพิเศษ
    • วิธีที่ใช้ genetic algorithm และ LLM อาจน่าสนใจและมีประโยชน์
  • ความเห็นที่เกี่ยวข้องเกี่ยวกับ "การแข่งกับตัวเอง":

    • FunSearch ใช้วิธีวิวัฒนาการที่อาศัย LLM เพื่อพัฒนาไอเดียที่ได้คะแนนสูงสุด
    • ผู้ใช้จะอธิบายปัญหาในรูปแบบโค้ด และสร้างพูลของโปรแกรมที่จะใช้ประเมินและตั้งต้น
    • ในแต่ละรอบ FunSearch จะเลือกโปรแกรมบางส่วนจากพูลปัจจุบัน แล้วให้ LLM สร้างโปรแกรมใหม่จากสิ่งเหล่านั้นและประเมินผลโดยอัตโนมัติ โปรแกรมที่ดีที่สุดจะถูกเพิ่มกลับเข้าไปในพูลเดิมเพื่อสร้างลูปการปรับปรุงตนเอง
  • ประสบการณ์การใช้งานส่วนตัวเกี่ยวกับการค้นหาบนเว็บ:

    • ใช้ pplx.ai และ phind.com เพื่อถามคำถามและค้นหาลิงก์บนเว็บ
    • ปรับแต่งคำถามหรือถามต่อเพื่อค้นหาแหล่งอ้างอิงอื่นหรือข้อมูลที่ลึกขึ้น
    • คอนเทนต์จาก Tech Twitter ก็มีประโยชน์ และคาดหวังว่าจะได้ใช้ Grok ในงานค้นคว้า
  • โพสต์บน Twitter เกี่ยวกับการค้นพบของ DeepMind:

    • หากโครงข่ายประสาทสามารถสร้างความรู้ใหม่ได้จริง นี่อาจเป็นการค้นพบที่สำคัญที่สุดนับตั้งแต่การค้นพบไฟ
    • มีการตั้งคำถามว่าถ้าเรื่องนี้เป็นจริง เหตุใดทุกคนจึงไม่ได้พูดถึงมัน
    • แสดงความประทับใจกับสิ่งที่ทำได้ใน Palm 2 และคาดหวังถึงความเป็นไปได้เมื่อโมเดลในอนาคตใช้วิธีนี้
  • สรุปโพสต์บน Twitter:

    • ความสามารถของ AI เพิ่มขึ้นอย่างต่อเนื่อง และประสิทธิภาพการทำงานส่วนตัวเพิ่มขึ้น 20-30% ผ่าน AI autocomplete, refactoring และการสร้าง diff สำหรับ code review
    • หากเชื่อมบางส่วนของ flow ทางธุรกิจเข้ากับโมเดล AI การ "ปรับปรุง" ระบบก็อาจง่ายเพียงแค่เปลี่ยนโมเดล
    • คาดหวังว่าหลังการผสานรวมช่วงแรก ทุกอย่างจะดีขึ้นอย่างน่าอัศจรรย์ตลอดหลายปีถัดไป
  • สรุปเกี่ยวกับการสร้างโปรแกรม:

    • เมื่อมี template/skeleton ของโปรแกรมและ fitness function อยู่แล้ว ก็ใช้ LLM เพื่อสร้างประชากรของโปรแกรม
    • ใช้พรอมป์ต์เพื่อสร้างโปรแกรมใหม่ จากนั้นรันโปรแกรมกับอินพุตและให้คะแนนด้วย fitness function
    • ใช้ island model สำหรับวิวัฒนาการ และจำนวนครั้งที่เรียก LLM ค่อนข้างต่ำที่ประมาณ 1e6
    • มีข้อพิจารณาเรื่อง trade-off ระหว่างความลึกกับความกว้างในการประเมิน/ให้คะแนนโปรแกรม
  • แนวทางต่อปัญหา cap set:

    • ปัญหา cap set คือการหาชุดจุดที่ใหญ่ที่สุดซึ่งไม่มีจุดสามจุดใดอยู่บนเส้นตรงเดียวกันในกริดหลายมิติ
    • FunSearch สร้างโซลูชันในรูปแบบโปรแกรมที่ค้นพบ cap set สูงสุดสำหรับปัญหานี้
    • นี่เป็นการเพิ่มขนาดของ cap set ที่มากที่สุดในรอบ 20 ปีที่ผ่านมา
  • มีการแสดงความสงสัยเกี่ยวกับความเป็นไปได้ในการผสาน LLM เข้ากับ symbolic reasoning

  • ไม่ว่ามันจะเป็นการสร้างความรู้ใหม่หรือไม่ ก็เป็นกรณีศึกษาที่น่าสนใจเมื่อพิจารณาถึงการจำกัดการเข้าถึง AI โดยอิงจากขนาดของโมเดล AI หรือมาตรการกำกับดูแลอื่น ๆ

  • เกี่ยวกับทฤษฎีบทการประมาณสากล มีการกล่าวว่าสามารถประมาณฟังก์ชันได้อย่างแม่นยำด้วยโครงข่ายประสาทเทียมที่ใช้ ReLU

    • แนวทางนี้คล้ายกัน แต่ท้ายที่สุดแล้วให้ผลลัพธ์เป็นโค้ด