- AlphaEvolve ที่ Google DeepMind เปิดตัวคือเอเจนต์เขียนโค้ดเชิงวิวัฒนาการที่ผสานโมเดล Gemini กับตัวประเมินอัตโนมัติ เพื่อค้นพบและปรับปรุงอัลกอริทึมให้เหมาะสม
- Gemini Flash รับหน้าที่สำรวจไอเดียในวงกว้าง ส่วน Gemini Pro รับหน้าที่เสนอแนวทางที่ลึกกว่า และโปรแกรมตัวเลือกจะพัฒนาไปเป็นรูปแบบดัดแปลงที่มีแนวโน้มดีผ่านการรัน ตรวจสอบ และให้คะแนน
- อัลกอริทึมที่ค้นพบในช่วง 1 ปีที่ผ่านมาได้ถูกนำไปใช้งานกับ การจัดตารางเวลาของดาต้าเซ็นเตอร์, การออกแบบ TPU, การปรับแต่ง Gemini ให้เหมาะสม และใน Borg สามารถกู้คืนทรัพยากรคอมพิวติ้งของ Google ทั่วโลกได้อย่างต่อเนื่องโดยเฉลี่ย 0.7%
- เคอร์เนลการคูณเมทริกซ์ของ Gemini เร็วขึ้น 23% ทำให้เวลาฝึกลดลง 1% และการใช้งานเคอร์เนล FlashAttention ทำความเร็วได้ดีขึ้นสูงสุด 32.5%
- ในด้านคณิตศาสตร์ พบอัลกอริทึมที่คูณเมทริกซ์เชิงซ้อน 4x4 ได้ด้วย การคูณสเกลาร์ 48 ครั้ง และปรับปรุงคำตอบที่ดีที่สุดเดิมได้ในราว 20% ของปัญหาเปิดเผยต่อสาธารณะกว่า 50 ข้อ
AlphaEvolve วิวัฒนาการอัลกอริทึมอย่างไร
- AlphaEvolve เป็นเอเจนต์เขียนโค้ดเชิงวิวัฒนาการที่มีเป้าหมายเพื่อ การค้นพบและปรับแต่งอัลกอริทึมแบบเอนกประสงค์
- นำความสามารถในการแก้ปัญหาเชิงสร้างสรรค์ของโมเดลภาษาขนาดใหญ่ไปประกบกับ ตัวประเมินอัตโนมัติ เพื่อยืนยันคำตอบ และใช้เฟรมเวิร์กเชิงวิวัฒนาการเพื่อปรับปรุงไอเดียที่มีแนวโน้มดีอย่างต่อเนื่อง
- ในปี 2023 Google DeepMind แสดงให้เห็นว่า LLM สามารถค้นพบความรู้ใหม่ที่พิสูจน์ได้ในปัญหาวิทยาศาสตร์สาธารณะผ่านการสร้างฟังก์ชันโค้ด และ AlphaEvolve ขยายสิ่งนี้จากฟังก์ชันเดียวไปสู่ codebase ทั้งชุดและอัลกอริทึมที่ซับซ้อนยิ่งขึ้น
- โครงสร้างของโมเดลแบ่งหน้าที่ระหว่างความกว้างในการสำรวจและคุณภาพของข้อเสนอ
- Gemini Flash: โมเดลที่รวดเร็วและมีประสิทธิภาพ ใช้สำรวจพื้นที่ของไอเดียที่กว้างกว่า
- Gemini Pro: โมเดลที่ทรงพลังกว่า ใช้ให้ข้อเสนอที่มี insight มากกว่า
- โปรแกรมที่สร้างขึ้นจะถูกนำไปรัน ตรวจสอบ และให้คะแนนด้วยตัวชี้วัดการประเมินอัตโนมัติ เหมาะเป็นพิเศษกับปัญหาคณิตศาสตร์และวิทยาการคอมพิวเตอร์ที่สามารถประเมินความถูกต้องและคุณภาพเชิงปริมาณได้
ผลลัพธ์จากการนำไปใช้กับโครงสร้างพื้นฐานของ Google
- ในช่วง 1 ปีที่ผ่านมา อัลกอริทึมที่ AlphaEvolve ค้นพบได้ถูกนำไปใช้งานทั่วทั้ง ดาต้าเซ็นเตอร์, ฮาร์ดแวร์ และซอฟต์แวร์ ของ Google
- เมื่อการปรับแต่งเฉพาะจุดถูกนำไปใช้กับโครงสร้างพื้นฐาน AI และคอมพิวติ้งขนาดใหญ่ ก็ช่วยให้ประมวลผลงานได้มากขึ้นด้วยทรัพยากรเท่าเดิม
-
การจัดตารางเวลาของดาต้าเซ็นเตอร์
- AlphaEvolve ค้นพบ heuristic ที่เรียบง่ายแต่ได้ผล ซึ่งช่วยให้ Borg จัดการดาต้าเซ็นเตอร์ขนาดใหญ่ของ Google ได้อย่างมีประสิทธิภาพยิ่งขึ้น
- โซลูชันนี้ทำงานในโปรดักชันมานานกว่า 1 ปี และกู้คืนทรัพยากรคอมพิวติ้งของ Google ทั่วโลกได้อย่างต่อเนื่องโดยเฉลี่ย 0.7%
- ถูกนำไปใช้งานเป็นโค้ดที่มนุษย์อ่านได้ จึงให้ทั้งความสามารถในการตีความ ความง่ายในการดีบัก ความคาดการณ์ได้ และความสะดวกในการดีพลอย
-
การออกแบบฮาร์ดแวร์
- เสนอแนวทางเขียน Verilog ใหม่เพื่อตัดบิตที่ไม่จำเป็นออกจากวงจรคณิตศาสตร์ที่ปรับแต่งมาอย่างสูงสำหรับการคูณเมทริกซ์
- การแก้ไขที่เสนอจะต้องผ่านขั้นตอนการตรวจสอบที่เข้มงวด เพื่อยืนยันว่าคง ความถูกต้องเชิงฟังก์ชัน ของวงจรไว้
- ข้อเสนอนี้ถูกผนวกรวมเข้ากับ Tensor Processing Unit รุ่นถัดไป ซึ่งเป็นตัวเร่ง AI แบบปรับแต่งเองของ Google
- การเสนอการแก้ไขด้วยภาษามาตรฐานที่นักออกแบบชิปใช้งาน ยังสอดคล้องกับรูปแบบการทำงานร่วมกันระหว่าง AI กับวิศวกรฮาร์ดแวร์ด้วย
การปรับแต่งการฝึกและอนุมานของ Gemini ให้เหมาะสม
- AlphaEvolve ค้นพบวิธีแบ่งงานคูณเมทริกซ์ขนาดใหญ่ออกเป็นปัญหาย่อยที่เล็กกว่า ทำให้ เคอร์เนล หลักของสถาปัตยกรรม Gemini เร็วขึ้น 23%
- การปรับปรุงเคอร์เนลนี้ทำให้เวลาฝึก Gemini ลดลง 1% และยังลดทรัพยากรคอมพิวติ้งที่จำเป็นต่อการพัฒนาโมเดล generative AI ด้วย
- เวลาทางวิศวกรรมที่ใช้ในการปรับแต่งเคอร์เนลลดลงจากงานหลายสัปดาห์ของผู้เชี่ยวชาญ เหลือเป็นการทดลองอัตโนมัติไม่กี่วัน
- คำสั่ง GPU ระดับต่ำก็รวมอยู่ในเป้าหมายของการปรับแต่งด้วย
- โดยปกติพื้นที่นี้มักถูก compiler ปรับแต่งอย่างหนักอยู่แล้ว จึงมีหลายกรณีที่วิศวกรมนุษย์ไม่เข้าไปแก้ไขโดยตรง
- ในการใช้งานเคอร์เนล FlashAttention ของโมเดล AI ที่อิง Transformer ทำความเร็วได้ดีขึ้นสูงสุด 32.5%
- การปรับแต่งเหล่านี้ช่วยให้ผู้เชี่ยวชาญค้นหาคอขวดด้านประสิทธิภาพ และผสานการปรับปรุงเข้ากับ codebase ได้ง่ายขึ้น
คณิตศาสตร์และการค้นพบอัลกอริทึม
- AlphaEvolve สามารถเสนอแนวทางใหม่สำหรับปัญหาคณิตศาสตร์ที่ซับซ้อนได้ แม้ได้รับเพียงโครงโค้ดขั้นต่ำ
- ออกแบบองค์ประกอบหลายส่วนของขั้นตอน การปรับให้เหมาะสมแบบอิงเกรเดียนต์ แบบใหม่ และค้นพบอัลกอริทึมใหม่สำหรับการคูณเมทริกซ์
- ในตัวอย่าง ได้เปลี่ยนองค์ประกอบหลายอย่าง เช่น optimizer, การตั้งค่าน้ำหนักเริ่มต้น, loss function และการค้นหา hyperparameter และในกระบวนการวิวัฒนาการต้องใช้ การกลายพันธุ์ 15 ครั้ง
- ขั้นตอนของ AlphaEvolve พบอัลกอริทึมที่คูณเมทริกซ์เชิงซ้อน 4x4 ได้ด้วย การคูณสเกลาร์ 48 ครั้ง
- เป็นผลลัพธ์ที่ปรับปรุงจาก อัลกอริทึมปี 1969 ของ Strassen ซึ่งเป็นคำตอบที่ดีที่สุดเท่าที่ทราบเดิมในการตั้งค่านี้
- AlphaTensor ซึ่งเชี่ยวชาญด้านอัลกอริทึมการคูณเมทริกซ์ พบการปรับปรุงสำหรับเมทริกซ์ 4x4 เฉพาะในเลขคณิตแบบไบนารีเท่านั้น
- ยังนำไปใช้กับ ปัญหาเปิดเผยต่อสาธารณะมากกว่า 50 ข้อ ในสาขาการวิเคราะห์เชิงคณิตศาสตร์ เรขาคณิต คอมบินาทอริกส์ และทฤษฎีจำนวน
- การทดลองส่วนใหญ่สามารถตั้งค่าได้ภายในไม่กี่ชั่วโมง
- ในราว 75% ของกรณี ค้นพบคำตอบล้ำสมัยที่เป็นที่รู้จักอยู่แล้วอีกครั้ง
- ในราว 20% ของกรณี ปรับปรุงคำตอบที่ดีที่สุดเดิมได้ ทำให้เกิดความคืบหน้าในปัญหาเปิดเผยต่อสาธารณะนั้น
- ใน kissing number problem ค้นพบการจัดวางทรงกลมด้านนอก 593 ลูก ในมิติที่ 11 และสร้างขอบเขตล่างใหม่
แผนการเปิดเผยสู่สาธารณะและขอบเขตการใช้งาน
- AlphaEvolve แสดงให้เห็นทิศทางที่ขยายจากการค้นพบอัลกอริทึมเฉพาะด้าน ไปสู่การพัฒนาอัลกอริทึมที่ซับซ้อนสำหรับปัญหาจริง
- Google DeepMind คาดว่า AlphaEvolve จะพัฒนาต่อไปตามความสามารถด้านการเขียนโค้ดของโมเดลภาษาขนาดใหญ่ที่ดีขึ้น
- กำลังสร้างอินเทอร์เฟซที่เป็นมิตรกับผู้ใช้สำหรับโต้ตอบกับ AlphaEvolve ร่วมกับ People + AI Research team
- มีแผนทำ Early Access Program สำหรับผู้ใช้ด้านวิชาการที่ได้รับคัดเลือก และกำลังพิจารณาความเป็นไปได้ในการเปิดให้ใช้งานในวงกว้างขึ้น
- จะเปิดรับการลงทะเบียนความสนใจผ่าน แบบฟอร์มนี้
- ปัจจุบันพื้นที่ใช้งานคือคณิตศาสตร์และคอมพิวติ้ง แต่หากเป็นปัญหาที่สามารถแสดงคำตอบเป็นอัลกอริทึมและตรวจสอบอัตโนมัติได้ ก็สามารถนำไปใช้ได้
- Google DeepMind มองว่า AlphaEvolve อาจสร้างความเปลี่ยนแปลงได้ในด้านวัสดุศาสตร์ การค้นพบยา ความยั่งยืน และการประยุกต์ใช้ทางเทคโนโลยีและธุรกิจที่กว้างขึ้น
- แหล่งข้อมูลที่เกี่ยวข้อง
ยังไม่มีความคิดเห็น