3 คะแนน โดย GN⁺ 2025-05-15 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • AlphaEvolve คือเอเจนต์สร้างอัลกอริทึมเชิงวิวัฒนาการที่ผสาน LLM กับตัวประเมินอัตโนมัติ
  • พิสูจน์ ผลลัพธ์เชิงปฏิบัติในด้านคณิตศาสตร์ การประมวลผล AI และการออกแบบฮาร์ดแวร์ และถูกนำไปใช้ทั่วทั้งโครงสร้างพื้นฐานของ Google
  • ผสาน Gemini Flash และ Gemini Pro เพื่อสำรวจทั้ง ความกว้างและความลึกของไอเดีย
  • ทำให้เกิด การเพิ่มความเร็วและลดการใช้ทรัพยากร ในงานอย่างการจัดตารางดาต้าเซ็นเตอร์ การออกแบบ TPU และการปรับแต่ง AI kernel
  • ท้าทายโจทย์คณิตศาสตร์ยากมากกว่า 50 ข้อ เสนออัลกอริทึมใหม่ และในบางปัญหายังปรับปรุงวิธีแก้เดิมได้

AlphaEvolve: เอเจนต์วิวัฒนาการอัลกอริทึมบนพื้นฐาน Gemini

ภาพรวม

  • AlphaEvolve คือ เอเจนต์เขียนโค้ดบนพื้นฐานโมเดลภาษาขนาดใหญ่ (LLM) ที่พัฒนาโดย Google DeepMind
  • Gemini model รับหน้าที่สร้างโค้ดอย่างสร้างสรรค์ ส่วนการตรวจสอบทำโดยตัวประเมินอัตโนมัติ
  • ใช้อัลกอริทึมเชิงวิวัฒนาการเพื่อ ปรับปรุงชุดโค้ดที่ดีที่สุดซ้ำอย่างต่อเนื่อง

การใช้งานจริงและผลลัพธ์

การเพิ่มประสิทธิภาพโครงสร้างพื้นฐานการประมวลผลของ Google

  • นำ AlphaEvolve ไปใช้กับดาต้าเซ็นเตอร์ ฮาร์ดแวร์ และซอฟต์แวร์ของ Google อย่างครอบคลุม
  • การปรับปรุงประสิทธิภาพสร้าง ผลกระทบต่อเนื่อง ต่อโครงสร้างพื้นฐาน AI โดยรวม

การปรับปรุงการจัดตารางดาต้าเซ็นเตอร์

  • เสนอ heuristic ใหม่สำหรับ Borg ซึ่งเป็นคลัสเตอร์แมเนเจอร์ของ Google
  • ใช้งานจริงมานานกว่า 1 ปี และช่วย กู้คืนทรัพยากรการประมวลผลทั่วโลกได้ 0.7%
  • ดูแลรักษาได้ง่ายด้วยโค้ดที่มนุษย์เข้าใจได้

การสนับสนุนการออกแบบฮาร์ดแวร์

  • เสนอ การปรับแต่งวงจรคูณเมทริกซ์ ที่เขียนด้วย Verilog
  • มีแผนจะ ผนวกรวมเข้ากับการออกแบบ TPU ของ Google ในอนาคต
  • ช่วยส่งเสริมการทำงานร่วมกับวิศวกรฮาร์ดแวร์

การเร่งความเร็วการฝึกและการอนุมานของ AI

  • แบ่งการคูณเมทริกซ์เป็นปัญหาย่อยที่เล็กลง → เพิ่มความเร็วการฝึก Gemini 1%
  • ลดเวลาการปรับแต่ง kernel จากหลายสัปดาห์เหลือหลายวัน
  • ปรับปรุงความเร็วของ FlashAttention kernel ได้ สูงสุด 32.5%
  • ยังเพิ่มประสิทธิภาพได้อีก แม้ในพื้นที่ที่มีการปรับแต่งโดยคอมไพเลอร์อย่างเข้มข้นมากแล้ว

นวัตกรรมในด้านคณิตศาสตร์และอัลกอริทึม

การค้นพบอัลกอริทึมคูณเมทริกซ์แบบใหม่

  • ค้นพบวิธีที่ดีกว่า อัลกอริทึมของ Strassen (1969) เดิม
  • ประมวลผลเมทริกซ์เชิงซ้อน 4x4 ได้ด้วย การคูณสเกลาร์เพียง 48 ครั้ง

การสำรวจโจทย์คณิตศาสตร์ยาก

  • ทดลองกับปัญหามากกว่า 50 ข้อ ในสาขาอย่างการวิเคราะห์ เรขาคณิต คอมบินาทอริกส์ และทฤษฎีจำนวน

    • 75% สามารถค้นพบวิธีที่ดีที่สุดเดิมได้อีกครั้ง
    • 20% ให้ผลลัพธ์ที่ ดีกว่าวิธีเดิม
  • ตัวอย่าง: ค้นพบขอบล่างใหม่ของปัญหา kissing number

    • ใน 11 มิติ ทำลายสถิติเดิมด้วยการจัดเรียงทรงกลม 593 ลูก

วิธีการทำงาน

  1. prompt sampler สร้างอินพุต
  2. โมเดล Gemini Flash/Pro สร้างโค้ด
  3. ตัวประเมินอัตโนมัติประเมินความถูกต้องและคุณภาพเชิงปริมาณ
  4. พัฒนาโค้ดที่มีผลงานดีด้วยวิธีแบบ genetic algorithm
  5. โค้ดที่ดีที่สุดสามารถ นำกลับมาใช้ใหม่ ปล่อยใช้งาน และขยายต่อได้

แผนในอนาคต

  • AlphaEvolve จะได้รับการปรับปรุงต่อเนื่องตาม ความสามารถด้านการเขียนโค้ดที่ดีขึ้น
  • กำลังพัฒนาส่วนติดต่อผู้ใช้ร่วมกับทีม People + AI Research
  • มีแผนเปิดให้ผู้ใช้ภาควิชาการใช้งานผ่าน Early Access Program
    ลงทะเบียนแสดงความสนใจ

ความเป็นไปได้ในการประยุกต์ใช้

  • หากเป็นปัญหาที่สามารถนิยามวิธีแก้แบบอัลกอริทึมและประเมินผลได้ ก็ สามารถนำไปใช้ได้ในทุกสาขา
  • ตัวอย่าง: การพัฒนาวัสดุใหม่ การค้นหายาใหม่ ความยั่งยืน และการแก้ปัญหาด้านเทคโนโลยี/ธุรกิจ

ลิงก์อ้างอิง

1 ความคิดเห็น

 
GN⁺ 2025-05-15
ความคิดเห็นบน Hacker News
  • ตามที่อ้างในบทความวิจัย หากนำอัลกอริทึมของ Strassen มาประยุกต์ใช้ซ้ำ ๆ การคูณเมทริกซ์ 4x4 จะต้องใช้การคูณ 49 ครั้ง แต่ AlphaEvolve พบวิธีแรกที่สามารถคูณเมทริกซ์เชิงซ้อน 4x4 ได้ด้วยการคูณเพียง 48 ครั้ง เมื่อทดลองคูณเมทริกซ์ตรง ๆ จะรู้สึกว่ามีการคำนวณคล้าย ๆ กันซ้ำหลายครั้ง ตัวอย่างเช่น เวลาหาขนาดของยูเนียนของสองเซตก็ต้องลบส่วนที่ซ้ำกันออก อัลกอริทึมของ Strassen เป็นวิธีติดตามการคำนวณที่ต้องใช้ในขั้นถัดไป และค่อนข้างคล้าย dynamic programming จุดที่น่าสนใจคือการประหยัดเพิ่มเติมนี้ปรากฏเฉพาะในกรณีจำนวนเชิงซ้อน เหมือนกับว่ามีบางอย่างในระนาบเชิงซ้อนที่ทำให้เกิดการนับซ้ำในวิธีแบบตรงไปตรงมา
    • พอค้นหาใน Google ด้วยคำว่า “4x4 matrices multiplication 48” ก็เจอโพสต์ใน math.stackexchange ที่กล่าวไว้ตั้งแต่ปี 2019 ว่าสามารถคูณเมทริกซ์ 4x4 ได้ด้วยการคูณเพียง 48 ครั้ง พร้อมลิงก์ไปยังวิทยานิพนธ์ปริญญาเอก ผมเลยคิดว่าผลลัพธ์นี้อาจเป็นสิ่งที่รู้กันอยู่แล้วก็ได้ (แต่ยังไม่ได้ตรวจดูภาพรวมของอัลกอริทึม)
    • ดูเหมือนจะเข้าใจอัลกอริทึมของ Strassen ผิดอยู่ อย่างแรก Strassen ไม่ใช่ dynamic programming แต่เป็นตัวอย่างคลาสสิกของเทคนิค divide-and-conquer อย่างที่สอง อัลกอริทึมของ Strassen ทำงานได้กับจำนวนจริงด้วย ไม่ได้จำกัดอยู่ที่จำนวนเชิงซ้อน
  • มีการกล่าวว่า AlphaEvolve ทำให้ FlashAttention kernel ในโมเดล AI แบบ Transformer เร็วขึ้นได้สูงสุดถึง 32.5% โดยระบุว่าใน 75% ของกรณีมันค้นพบวิธีที่ดีที่สุดเดิมได้อีกครั้ง และใน 20% ของกรณีก็ทำลายสถิติเดิมได้อีก ผลลัพธ์นี้น่าประทับใจมาก แต่ก็อยากรู้รายละเอียดว่าปรับปรุงด้วยวิธีใดบ้าง และการเร่งขึ้น 32.5% นั้นเกิดเฉพาะในกรณีสุดโต่งหรือไม่ อยากเห็น benchmark จริง
    • GPU มีลำดับชั้นของแคชอยู่ ดังนั้นการตั้งขนาดบล็อกให้เหมาะสมจึงให้ผลดีมาก แต่ในทางปฏิบัติก็ต้องอาศัย kernel หลายแบบ, GPU หลายรุ่น และงาน tuning จำนวนมาก อีกทั้งยังมีเรื่อง kernel fusion และขอบเขตของ API ด้วย ผลลัพธ์ของ AlphaEvolve น่าประทับใจมากก็จริง แต่ไม่ใช่เวทมนตร์หรือกลเม็ดอะไร
    • AlphaEvolve เร่งความเร็ว core kernel ของสถาปัตยกรรม Gemini ได้ 23% โดยใช้วิธีแบ่งงานคูณเมทริกซ์ขนาดใหญ่ให้เป็นปัญหาย่อยที่จัดการได้ง่ายขึ้นอย่างชาญฉลาด และลดเวลาเทรน Gemini โดยรวมลงได้ 1%
    • ตัวเลขพวกนี้ช่วงนี้ดูโอ้อวดเกินไปหน่อย ถ้า FlashAttention เร็วขึ้นถึง 32.5% จริง ทำไมไม่ส่งเป็น PR ไปที่ repository ของ Flash Attention เลย อยากอ่านรายละเอียดมากกว่านี้
  • นี่เป็นช่วงเวลาที่มีความหมาย ตอนนี้มีหลักฐานชัดเจนแล้วว่าระบบ AI สามารถทำวิจัยใหม่ที่สร้างมูลค่าเชิงปฏิบัติให้โลกจริงได้ การประหยัด 1% เป็นเพียงจุดเริ่มต้น และเมื่อผลลัพธ์แบบนี้สะสมกันก็น่าจะให้ประโยชน์มหาศาล นอกจากนี้กระบวนการนี้เองก็ถูกใช้เพื่อพัฒนา gemini 2.5 pro ด้วย จึงดูเหมือนกำลังก้าวไปสู่การปรับปรุงตัวเองทีละขั้น แม้ยังไม่อัตโนมัติเต็มรูปแบบ แต่ก็เริ่มเห็นทิศทางแล้ว
    • ระบบ genetic programming ปรับปรุงอัลกอริทึมมานานมากแล้ว ยังไม่รู้ว่า genetic programming ที่อิง LLM จะเป็นการเปลี่ยนแปลงครั้งใหญ่หรือเป็นแค่วิวัฒนาการแบบค่อยเป็นค่อยไป ผมระวังกับแนวคิดเรื่อง self-improvement ไอเดียแบบ “GP ใช้ GP ปรับปรุงตัวเอง!” มีมานานมากแล้ว แต่ก็ยังไม่ประสบความสำเร็จ มีกรณีของบริษัทอื่นและงานวิจัยที่เกี่ยวข้องด้วย
    • สงสัยว่าผลลัพธ์นี้ใหม่จริงหรือไม่ เพราะก็มีข้อมูลว่ามีวิธีที่ใช้การคูณ 48 และ 46 ครั้งเป็นที่รู้กันอยู่แล้ว และก็เห็นความตื่นเต้นแบบ AI ไปถึง singularity แล้วด้วย ถ้ามันเป็น breakthrough ใหญ่มากจริง น่าจะเป็นที่รู้กันเร็วกว่าตีพิมพ์งานวิจัย
  • อยากรู้ว่าความก้าวหน้านี้ค่อยเป็นค่อยไปแค่ไหน ผมยกตัวอย่าง B.2 (อสมการออโตคอรีเลชันตัวที่สอง) แล้วไปดูงานก่อนหน้า (https://arxiv.org/pdf/0907.1379) ซึ่งผู้เขียนบอกว่าใช้ Mathematica ค้นหาเชิงตัวเลขเพื่อหาขอบเขตก่อนหน้า และชี้ว่าการปรับปรุงต่อจากนั้นให้ดีขึ้นอีกไม่คุ้มกับแรงที่ต้องลงไป กล่าวคือความก้าวหน้ารอบนี้ของ AlphaEvolve ก็ถือว่าค่อยเป็นค่อยไปพอสมควร (แม้จะยังเป็นผลลัพธ์ที่เจ๋งมาก)
    • ตอนนี้ “แรง” ที่ต้องใช้ลดลงอย่างมาก จนมาถึงจุดที่ไม่อาจพูดได้อีกแล้วว่า ‘ไม่คุ้มจะพยายาม’ ซึ่งตรงนี้เองที่สำคัญ
    • สิ่งที่ไม่คุ้มค่ากับเวลาสำหรับมนุษย์ เมื่อทำให้เป็นอัตโนมัติด้วย AI แล้ว จะสะสมเป็น “โอกาส” จำนวนมหาศาลและสร้างความแตกต่างอย่างมาก
    • ผมรู้สึกว่านี่แหละคือสัญญาณที่บอกว่า AI จริงกำลังเริ่มทะยานขึ้น
  • สำหรับคำกล่าวที่หนักแน่นแบบนี้ ค่อนข้างยากที่จะตั้งท่าป้องกันไว้ก่อน ถ้ามันเป็นจริงตามที่บรรยาย ก็แทบไม่ต่างจากการมี ‘AI ที่เร่งตัวเองจนควบคุมยาก’ สำเร็จแล้ว ในเชิงปรัชญา ถ้าเราอธิบายการค้นพบใหม่ให้ LLM รุ่นเก่าแบบเป็นขั้นเป็นตอน ข้อมูลนั้นก็เป็นความรู้ ‘ใหม่’ แต่สุดท้ายมันก็ยังเป็นการใส่สติปัญญาของมนุษย์เข้าไปทางอ้อมอยู่ดี
  • มันเจ๋งก็จริง แต่โดยเนื้อแท้แล้วไม่ได้คล้ายกับ Co-Scientist ของ Google หรือ? เป็นโครงสร้างที่มี LLM หลายตัวส่งบริบทให้กันและกันพร้อมตรวจสอบกันเอง ในแง่การลงมือทำก็น่าประทับใจ แต่รู้สึกว่าไม่ได้ใหม่อย่างสิ้นเชิง LLM มีประโยชน์ชัดเจนในการทำ code optimization หรือจับ pattern กับความซ้ำซ้อนที่มนุษย์มองข้ามได้ แต่ข่าวนี้ก็ให้ความรู้สึกเหมือนบล็อกโพสต์หรู ๆ อีกชิ้นของ Google แบรนด์ ‘Alpha’ แต่ก่อนเหมือนจะใช้กับนวัตกรรมชัดเจนอย่าง AlphaGo, AlphaFold เท่านั้น แต่ช่วงนี้ดูเหมือนถูกใช้กับระบบที่มีอิมแพ็กต์น้อยกว่าด้วย อ้างอิงว่า Co-Scientist เองก็มีวิธีประเมินผลด้วยเช่นกัน ( https://research.google/blog/accelerating-scientific-breakth... see reference )
    • บทความวิจัยของ AlphaEvolve พูดถึงประเด็นนี้อยู่ AI Co-Scientist แสดงสมมติฐานทางวิทยาศาสตร์และการประเมินผลในภาษาธรรมชาติ ขณะที่ AlphaEvolve ใช้วิวัฒนาการของโค้ดและฟังก์ชันประเมินผลแบบโปรแกรม ด้วยวิธีนี้จึงหลีกเลี่ยงอาการหลอนของ LLM ได้มาก และสามารถรันกระบวนการวิวัฒนาการอย่างต่อเนื่องได้หลายขั้น
    • สมกับเป็น Google ที่ทีมต่าง ๆ ยังทำผลิตภัณฑ์หน้าที่คล้ายกันแบบคู่ขนานกันอยู่
    • ไม่แน่ใจว่า “Google's Co-Scientist” เป็นชื่อโปรเจกต์เดียวหรือหลายโปรเจกต์
  • คนที่รอ singularity คงสนใจประโยคแบบนี้: “AlphaEvolve เสนอการแก้ไขในภาษามาตรฐานที่วิศวกรออกแบบชิปใช้กัน ทำให้ AI และวิศวกรฮาร์ดแวร์ทำงานร่วมกันได้”
    • หากอ้างส่วนที่เกี่ยวข้องในงานวิจัย AlphaEvolve ได้ตัดบิตที่ไม่จำเป็นออกจากโค้ดหน่วยประมวลผลภายใน matmul unit และการเปลี่ยนแปลงนี้ได้รับการตรวจสอบความถูกต้องโดยนักออกแบบ TPU สาเหตุอาจเป็นเพราะบิตด้านบนของเอาต์พุตวงจร MAC ไม่ได้ถูกใช้ใน accumulator ด้านล่างหรือส่วนอื่น ๆ ที่คล้ายกัน จริง ๆ แล้ว optimization ที่เทียบเท่ากันแบบนี้ก็เกิดขึ้นอัตโนมัติในเครื่องมือ synthesis ขั้นถัดไปอยู่แล้ว และมีการอ้างว่าการตัดบิตตั้งแต่ source RTL มีความหมายมากกว่าการ optimize หลัง synthesis อย่างไรก็ตามเครื่องมือ synthesis รับประกันได้ว่าความหมายของวงจรจะไม่เปลี่ยน แต่การแก้ source RTL ไม่ได้มีหลักประกันแบบนั้น จึงต้องให้มนุษย์ตรวจสอบ ถึงอย่างนั้นก็น่าเสียดายที่จากผลลัพธ์ synthesis ไม่สามารถบอกกลับไปยัง source ได้ว่าส่วนไหนถูก optimize ไปบ้าง ผมคิดว่าวิวัฒนาการโค้ดด้วย LLM มีประโยชน์ต่อการสำรวจช่วงต้นในการออกแบบฮาร์ดแวร์ แต่ความสำเร็จจริงของ AlphaEvolve ถูกพูดเกินจริงไปหน่อย
    • สุดท้ายแล้วเนื้อหานี้หมายความว่ามันทำงานอยู่บน compiler intermediate representation หรือข้อความดีบักนั่นเอง
    • แนวทางนี้ใช้ได้เฉพาะกับปัญหา optimization ที่มีฟังก์ชันประเมินผลชัดเจนหรือวัดได้เท่านั้น เราไม่สามารถเขียนฟังก์ชันประเมินผลสำหรับ ‘ปัญญาทั่วไป’ ได้
    • ประโยคที่ว่า “AlphaEvolve เพิ่มประสิทธิภาพให้กับดาต้าเซ็นเตอร์ การออกแบบชิป และการฝึก AI ของ Google — รวมถึงการฝึก LLM ที่ให้กำเนิด AlphaEvolve เองด้วย” ฟังดูทรงพลังมาก เหมือนกับว่าโลกที่ AI ปรับปรุงตัวเองได้เร็วกว่ามนุษย์จริง ๆ กำลังมาถึงแล้ว
    • singularity มักอยู่ตรงจุดสูงสุดของความมั่นใจเกินจริงเสมอ และ AI ในความเป็นจริงก็เป็นเพียง pseudo-intelligence แบบ ‘chairlift อัตโนมัติ’
  • สิ่งที่น่าสนใจคือ AlphaEvolve ถูกใช้งานมาตั้งแต่หนึ่งปีก่อนและเพิ่งถูกเปิดเผยตอนนี้ ตามบทความวิจัย มันทำงานบน Gemini 2.0 (Pro และ Flash) ทำให้เกิดสถานการณ์แปลก ๆ ที่ Gemini 2.0 ถูกใช้เพื่อช่วยฝึก Gemini 2.5 ถึงจะยังไม่ใช่ ‘วงจรป้อนกลับเพื่อพัฒนาตัวเอง’ แบบเต็มตัว แต่ก็มีบริบทในทิศทางนั้นอยู่บ้าง ยังสงสัยว่าในช่วงหนึ่งปีที่ผ่านมา AlphaEvolve อยู่ในขั้นพัฒนาอย่างเดียว หรือไปไกลถึงใช้งานจริงแล้ว และก็รู้สึกว่าความสำเร็จจากงานวิจัย AI บางอย่างอาจไม่มีความจำเป็นต้องรีบแบ่งปันทันที
    • ถ้ามีทั้งสมอง ทรัพยากรคอมพิวต์ และฮาร์ดแวร์ครบพอ ก็ดูเหมือนไม่มีอะไรจะหยุดวงจรป้อนกลับที่แท้จริงได้ DeepMind อยู่ในตำแหน่งที่โดดเด่นมากในแง่นี้
    • กระบวนการใช้ Gemini 2.0 เพื่อพัฒนา Gemini 2.5 คล้ายกับกลยุทธ์ของ OpenAI ตั้งแต่เริ่มใช้ RLHF ที่มุ่งสร้าง structured data และโมเดลแบบกลั่น
    • ประเด็นสำคัญคือความเป็นอัตโนมัติ การเปลี่ยนแปลงที่มันสร้างขึ้นเองต้องใช้ได้โดยไม่ต้องให้มนุษย์ตรวจสอบจึงจะมีความหมายจริง หากมีโซลูชันที่อธิบายไม่ได้เพิ่มขึ้นเรื่อย ๆ ก็ยังน่าสงสัยว่าจะช่วยได้จริงหรือไม่ ตรงกันข้ามอาจจบลงที่มีโค้ดซับซ้อนเกินจำเป็นสะสมมากขึ้นด้วยซ้ำ ก็เลยสงสัยว่านั่นใช่เป้าหมายหรือไม่
  • ผมแปลกใจที่คำอธิบายเกี่ยวกับกระบวนการวิวัฒนาการของ AlphaEvolve มีน้อยมาก วลีที่ว่า “อัลกอริทึมที่ได้รับแรงบันดาลใจจาก MAP elites algorithm และ island-based population model” คำว่า “ได้รับแรงบันดาลใจจาก” นี่ครอบคลุมความหมายได้กว้างมาก มิติของการกลายพันธุ์ใน MAP-elites ถูกกำหนดอย่างไร สองอัลกอริทึมนี้ถูกผสมกันอย่างไร และขอบเขตของแรงบันดาลใจมีมากน้อยแค่ไหน รายละเอียดไม่ชัดเจนจนรู้สึกว่าแก่นสำคัญของกระบวนการวิวัฒนาการยังเป็นสูตรลับอยู่
    • งานวิจัยเรื่องวิวัฒนาการ LLM แบบ island-based ที่ลงใน Nature ปี 2023 (https://www.nature.com/articles/s41586-023-06924-6) อธิบายเรื่องนี้ละเอียดกว่ามาก การตั้งค่า ‘มิติ/ฟีเจอร์’ หลักแบบนี้สำคัญมาก เอกสาร whitepaper แบบนี้ในเชิงวิทยาศาสตร์อาจน่าผิดหวังด้วยซ้ำ
    • วิธีที่ง่ายที่สุดคือให้โมเดลสร้างเกณฑ์ประเมินผลหลายแบบขึ้นมา แล้วใช้แต่ละเกณฑ์เป็นมิติ
  • ในบทความวิจัยมีคำอธิบายส่วนนิวัฒนาการน้อยเกินไป โดยทั่วไป evolutionary algorithm มักมีองค์ประกอบของการผสมพันธุ์ (crossover) รวมอยู่ด้วย ถ้าไม่มีสิ่งนี้ ก็ควรถูกจัดว่าใกล้กับ hill climbing หรือ beam search มากกว่า
    • มีคำบรรยายภาพหนึ่งที่ระบุว่าต้องใช้ “การกลายพันธุ์” 16 ครั้ง จึงอยากรู้ว่ากระบวนการกลายพันธุ์แบบนี้เป็นอย่างไร
    • ยังมีอัลกอริทึมประเภท ‘evolution strategies’ ที่ใช้กลุ่มผู้สมัครเพื่อประมาณภูมิทัศน์ของความชัน โดยไม่ต้องมีทั้งการกลายพันธุ์แบบทั่วไปและการผสมพันธุ์
    • สิ่งที่น่ากลัวคือ มันอาจไม่ใช่อัลกอริทึมวิวัฒนาการเลย แต่เป็นเพียงวิธีอื่นที่บังเอิญใช้ชื่อคล้ายกันเท่านั้น