FunSearch: การใช้โมเดลภาษาขนาดใหญ่เพื่อการค้นพบใหม่ในคณิตศาสตร์และวิทยาศาสตร์
- โมเดลภาษาขนาดใหญ่ (LLMs) มีความสามารถโดดเด่นในการผสานแนวคิดต่าง ๆ เข้าด้วยกัน และเป็นเครื่องมือที่มีประโยชน์ในการช่วยแก้ปัญหาผ่านการอ่าน การเขียน และการเขียนโค้ด
- เนื่องจาก LLMs บางครั้งมีแนวโน้มจะสร้างข้อมูลที่ไม่เป็นความจริงหรือ "หลอน" ขึ้นมา การทำให้เกิดการค้นพบที่แม่นยำและตรวจสอบได้จึงเป็นความท้าทาย
- FunSearch เป็นวิธีการสำรวจคำตอบใหม่ ๆ ทางคณิตศาสตร์และวิทยาการคอมพิวเตอร์ โดยผสาน LLM ที่ผ่านการพรีเทรนซึ่งเสนอวิธีแก้ปัญหาอย่างสร้างสรรค์ เข้ากับ "ผู้ประเมิน" อัตโนมัติที่คัดกรองแนวคิดที่ผิดพลาดออกไป
ขับเคลื่อนการค้นพบด้วยวิวัฒนาการผ่านโมเดลภาษา
- FunSearch ใช้วิธีเชิงวิวัฒนาการในการพัฒนาแนวคิดที่ได้คะแนนสูงที่สุด โดยแนวคิดเหล่านี้ถูกแสดงในรูปแบบโปรแกรมคอมพิวเตอร์ที่สามารถรันและประเมินผลได้โดยอัตโนมัติ
- ผู้ใช้เขียนปัญหาในรูปแบบโค้ด ซึ่งประกอบด้วยขั้นตอนการประเมินโปรแกรม และโปรแกรมตั้งต้นสำหรับเริ่มต้นพูลของโปรแกรม
- FunSearch เป็นกระบวนการแบบวนซ้ำ โดยในแต่ละรอบจะเลือกบางโปรแกรมจากพูลปัจจุบันส่งให้ LLM จากนั้น LLM จะสร้างโปรแกรมใหม่ขึ้นมาเพื่อรับการประเมิน
เปิดเส้นทางใหม่ในคณิตศาสตร์
- FunSearch ค้นพบคำตอบใหม่สำหรับปัญหา cap set ซึ่งเป็นปัญหาที่สร้างความหนักใจให้กับนักคณิตศาสตร์มาหลายทศวรรษ
- ปัญหา cap set คือการหาชุดจุดที่ใหญ่ที่สุดในกริดมิติสูงซึ่งไม่มีจุดสามจุดใดอยู่บนเส้นตรงเดียวกัน และเป็นแบบจำลองสำคัญในสาขา extremal combinatorics
- FunSearch ค้นพบ cap set ที่ใหญ่ที่สุดเท่าที่มีการค้นพบในบางการตั้งค่าตลอดช่วง 20 ปีที่ผ่านมา
FunSearch ให้ความสำคัญกับโปรแกรมที่กระชับและมนุษย์ตีความได้
- FunSearch ไม่ได้เพียงสร้างคำตอบของปัญหาเท่านั้น แต่ยังสร้างโปรแกรมที่อธิบายได้ว่าคำตอบนั้นได้มาอย่างไร
- FunSearch ชอบค้นหาคำตอบผ่านโปรแกรมที่มีความซับซ้อนแบบคอลโมโกรอฟต่ำ กล่าวคือเป็นโปรแกรมที่กระชับมาก
- เอาต์พุตของโปรแกรมจาก FunSearch เข้าใจได้ง่ายสำหรับนักวิจัย และมอบอินไซต์ที่นำไปใช้งานได้จริง
แก้โจทย์ท้าทายที่ขึ้นชื่อว่ายากในงานคอมพิวติ้ง
- หลังจากประสบความสำเร็จกับปัญหา cap set เชิงทฤษฎีแล้ว FunSearch ก็ถูกนำไปใช้กับปัญหา "bin packing" ซึ่งเป็นโจทย์เชิงปฏิบัติสำคัญในวิทยาการคอมพิวเตอร์
- FunSearch สามารถบรรจุจำนวนรายการเท่าเดิมโดยใช้ bin น้อยกว่าวิธี heuristic ที่มีอยู่เดิม
เปิดทางสู่การค้นพบที่ขับเคลื่อนด้วย LLM เพื่อวิทยาศาสตร์และไกลกว่านั้น
- หากสามารถป้องกันการหลอนของ LLM ได้ ก็จะสามารถใช้พลังของโมเดลเหล่านี้ไม่เพียงเพื่อการค้นพบทางคณิตศาสตร์ใหม่ ๆ แต่ยังเพื่อเผยแนวทางแก้ปัญหาจริงที่ทรงผลกระทบด้วย
- คาดว่าการใช้แนวทางที่ขับเคลื่อนด้วย LLM เพื่อสร้างอัลกอริทึมที่มีประสิทธิภาพและปรับให้เหมาะเฉพาะงานสำหรับปัญหาทางวิทยาศาสตร์และอุตสาหกรรมจำนวนมาก จะกลายเป็นแนวปฏิบัติทั่วไป
ความเห็นของ GN⁺
- FunSearch แสดงให้เห็นถึงความเป็นไปได้ใหม่ของปัญญาประดิษฐ์ในการแก้ปัญหาทางคณิตศาสตร์ โดยเฉพาะจากการนำเสนอคำตอบใหม่สำหรับปัญหาที่แก้ไม่ตกมาเป็นเวลานานอย่างปัญหา cap set ซึ่งบ่งชี้ว่าบทบาทของ AI ในวงการคณิตศาสตร์จะยิ่งสำคัญมากขึ้น
- การที่เทคโนโลยีนี้ถูกนำไปใช้กับปัญหาอุตสาหกรรมจริง เช่น การเพิ่มประสิทธิภาพของดาต้าเซ็นเตอร์ แสดงให้เห็นว่า AI สามารถมีส่วนช่วยในการแก้ปัญหาเชิงปฏิบัติได้เช่นกัน
- โปรแกรมที่ FunSearch สร้างขึ้นสามารถตีความได้โดยมนุษย์ ซึ่งจะช่วยให้นักวิจัยได้รับอินไซต์ที่ลึกยิ่งขึ้น และช่วยให้การทำงานร่วมกับ AI เพื่อแก้ปัญหาเป็นไปได้อย่างมีประสิทธิภาพ
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
คำถามเกี่ยวกับความจำเป็นของ LLM:
บริบทสำคัญเกี่ยวกับการค้นพบในคอมบินาทอริกส์:
ความเห็นที่เกี่ยวข้องเกี่ยวกับ "การแข่งกับตัวเอง":
ประสบการณ์การใช้งานส่วนตัวเกี่ยวกับการค้นหาบนเว็บ:
โพสต์บน Twitter เกี่ยวกับการค้นพบของ DeepMind:
สรุปโพสต์บน Twitter:
สรุปเกี่ยวกับการสร้างโปรแกรม:
แนวทางต่อปัญหา cap set:
มีการแสดงความสงสัยเกี่ยวกับความเป็นไปได้ในการผสาน LLM เข้ากับ symbolic reasoning
ไม่ว่ามันจะเป็นการสร้างความรู้ใหม่หรือไม่ ก็เป็นกรณีศึกษาที่น่าสนใจเมื่อพิจารณาถึงการจำกัดการเข้าถึง AI โดยอิงจากขนาดของโมเดล AI หรือมาตรการกำกับดูแลอื่น ๆ
เกี่ยวกับทฤษฎีบทการประมาณสากล มีการกล่าวว่าสามารถประมาณฟังก์ชันได้อย่างแม่นยำด้วยโครงข่ายประสาทเทียมที่ใช้ ReLU