LADDER: LLM ที่พัฒนาตัวเองด้วยการแยกปัญหาแบบเรียกซ้ำ

 (arxiv.org)
1 คะแนน โดย GN⁺ 2025-03-08 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • LADDER เป็นเฟรมเวิร์กที่ช่วยเพิ่มความสามารถในการแก้ปัญหาของ LLM โดยให้ลดระดับปัญหายากลงเป็นรูปแบบที่ง่ายกว่า แล้วค่อยไต่กลับขึ้นมา โดยไม่ต้องใช้ฟีดแบ็กจากมนุษย์หรือข้อมูลที่คัดสรร
  • แกนสำคัญคือการสร้าง ความลาดชันของความยาก จนถึงระดับที่โมเดลสามารถแก้ได้ และใช้คำตอบของปัญหาย่อยที่ตรวจสอบได้เป็นฐานรองรับในการแก้ปัญหาที่ยากกว่า
  • ในงานโจทย์อินทิเกรตทางคณิตศาสตร์ Llama 3.2 3B มีความแม่นยำในโจทย์ระดับปริญญาตรีเพิ่มจาก 1% เป็น 82% และในส่วนรายการผลงานยังระบุค่าเริ่มต้นไว้ที่ 2% ด้วย
  • Qwen2.5 7B Deepseek-R1 Distilled ทำคะแนนได้ 73% ในรอบคัดเลือก MIT Integration Bee ด้วย LADDER เพียงอย่างเดียว สูงกว่า GPT-4o ที่ 42% และสมรรถนะมนุษย์ทั่วไปที่ 15–30%
  • TTRL ใช้การปรับรูปโจทย์และ reinforcement learning ในช่วงทดสอบด้วย ทำให้ความแม่นยำในการสอบเดียวกันเพิ่มจาก 73% เป็น 90% และทำผลงานระดับล่าสุดที่สูงกว่า OpenAI o1

คอขวดของการเรียนรู้ที่ LADDER มุ่งแก้

  • Reinforcement learning มีประสิทธิภาพในการฝึก LLM แต่จำเป็นต้องมี งานที่ตรวจสอบได้ ซึ่งเหมาะกับความสามารถปัจจุบันของโมเดลและสามารถยืนยันผลลัพธ์ได้
  • หากปัญหายากเกินความสามารถของโมเดล อาจเกิด การล่มสลาย ที่การเรียนรู้หยุดชะงักหรือประสิทธิภาพแย่ลง
  • ในขอบเขตการให้เหตุผลที่ซับซ้อน ช่องว่างระหว่างงานง่ายกับงานขั้นสูงมีขนาดใหญ่ การจัดระดับความยากให้เรียนรู้แบบค่อยเป็นค่อยไปจึงสำคัญ
  • LADDER เริ่มจากปัญหาซับซ้อน แล้วให้โมเดลสร้างปัญหารูปแบบที่ง่ายกว่าหลายข้อ และแต่ละรูปแบบก็สร้างรูปแบบย่อยต่อไปอีก โดยใช้ การแยกปัญหาแบบเรียกซ้ำ
  • เมื่อไล่ลงไปถึงปัญหาที่โมเดลแก้ได้อย่างเสถียร คำตอบเหล่านั้นจะถูกใช้เป็นฐานรองรับเพื่อแก้รูปแบบที่ยากกว่า

การเรียนรู้แบบขับเคลื่อนด้วยตนเองและเงื่อนไขการตรวจสอบ

  • แทนที่จะใช้ชุดข้อมูลหรือฟีดแบ็กที่มนุษย์สร้างขึ้น โมเดลจะสร้าง ความลาดชันของความยาก ที่เป็นธรรมชาติจากความสามารถเดิมของตัวเอง
  • การเรียนรู้ต้องการรางวัลที่ตรวจสอบได้ และงานวิจัยนี้ใช้ numerical integration ในการตรวจคำตอบ
  • เฟรมเวิร์กทำให้โมเดลประเมินความคืบหน้าของตนเองและปรับเส้นทางการเรียนรู้ได้ จึงนำ reinforcement learning มาใช้ได้โดยไม่ต้องมีมนุษย์แทรกแซง
  • การแยกปัญหาแบบเรียกซ้ำและการเรียนรู้แบบขับเคลื่อนด้วยตนเองถูกรวมเข้ากับ reinforcement learning ที่อิง GRPO
  • โครงสร้างการสร้างและตรวจสอบรูปแบบของปัญหานี้จะทำงานได้เมื่อมีกลไกตรวจสอบที่เชื่อถือได้

เบนช์มาร์กอินทิเกรตและผลลัพธ์ของ TTRL

  • บนเบนช์มาร์กอินทิเกรตทางคณิตศาสตร์ LADDER แสดงให้เห็นการเพิ่มประสิทธิภาพที่เหนือกว่าระดับที่ทำได้ด้วย pass@k sampling มาตรฐาน
  • Llama 3.2 3B เพิ่มความแม่นยำในโจทย์อินทิเกรตระดับปริญญาตรีได้ถึง 82%
    • ในบทคัดย่อระบุความแม่นยำเริ่มต้นไว้ที่ 1%
    • ในส่วนรายการผลงานระบุความแม่นยำเริ่มต้นไว้ที่ 2%
  • Qwen2.5 7B Deepseek-R1 Distilled ทำความแม่นยำได้ 73% หลังใช้ LADDER ในรอบคัดเลือก MIT Integration Bee ปี 2025
    • GPT-4o อยู่ที่ 42%
    • สมรรถนะมนุษย์ทั่วไปอยู่ที่ 15–30%
  • TTRL (Test-Time Reinforcement Learning) เป็นกระบวนการ micro-learning ที่สร้างรูปแบบของปัญหาแบบไดนามิกในช่วงทดสอบ และนำ reinforcement learning ไปใช้กับแต่ละอินสแตนซ์ของการทดสอบ
  • TTRL ใช้กลไกตรวจสอบที่ใช้ในตอนฝึกมาช่วยขัดเกลาคำตอบเพิ่มเติมในช่วงอนุมานด้วย
  • ใน MIT Integration Bee, TTRL เพิ่มผลจาก 73% เมื่อใช้ LADDER เพียงอย่างเดียวเป็น 90% และทำผลงานระดับล่าสุดที่สูงกว่า OpenAI o1
  • ผลลัพธ์นี้แสดงให้เห็นว่า แม้ไม่ขยายสถาปัตยกรรมหรือใช้การกำกับดูแลจากมนุษย์ ก็สามารถเพิ่มประสิทธิภาพได้อย่างมากด้วย การแยกปัญหาเชิงกลยุทธ์ และการเรียนรู้ด้วยตนเองบนฐานการตรวจสอบ

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-03-08
ความคิดเห็นจาก Hacker News

  • น่าทึ่งมากที่สัปดาห์นี้ดูเหมือนจะมี ความก้าวหน้าใน ML โผล่มาเยอะขนาดนี้
    แค่สองวันที่ผ่านมา ผมก็เห็นผลลัพธ์ที่น่าสนใจและมีแววอย่างน้อย 3 อย่างแล้ว และทีมวิจัยของ Google ก็แสดงให้เห็นว่าสามารถเชื่อมโครงข่ายประสาทกับ CLA ผ่าน digital logic gate ได้
    เลยเปิดความเป็นไปได้ที่จะลดปัญหาไม่เชิงเส้นหลายแบบให้กลายเป็น วงจรดิจิทัล ที่เรียบง่ายและมีประสิทธิภาพได้ด้วย และวันนี้ก็ขึ้นหน้าแรกของ HN ด้วย: https://news.ycombinator.com/item?id=43286161
    พอมีผลลัพธ์ชวนปวดหัวเกี่ยวกับโครงข่ายประสาท ตรรกะ และความฉลาดโดยรวมออกมาต่อเนื่อง ก็อดจินตนาการไม่ได้ว่าเราใกล้แค่ไหนกับการเข้าใจจริง ๆ จากหลักการพื้นฐานว่าความฉลาดทำงานอย่างไร

    • เรื่องพวกนี้ตลอดประมาณปีที่ผ่านมาออกจะเป็นเหมือน เคล็ดลับลับ ที่คนเก็บงำกันไว้
      หลัง DeepSeek เปิดซอร์สออกมา มูลค่าของมันก็ดูจะลดลงมาก และบริษัทต่าง ๆ ก็ดูเหมือนเลือกจะรีบเปลี่ยนเป็นแต้มชื่อเสียงก่อนที่จะมีคนชิงทำไปก่อน
      ผมเคยลองทำแบบเดียวกันนี้กับการ fine-tune Llama 2 ตั้งแต่เดือนกันยายน 2023 แต่ไม่ได้รับอนุมัติให้แชร์กับใครเลย
    • น่าสนใจที่ในที่สุดอุตสาหกรรมก็เริ่มตระหนักว่า การสเกลอย่างเดียวพาไปไม่ถึง AGI แล้วจึงได้เห็นแนวทางใหม่ ๆ ใน AI/ML มากขึ้น
      ข้อดีคือผู้เล่นรายเล็กก็ยังแข่งขันและมีส่วนร่วมผ่านนวัตกรรมจริง ๆ ได้ และมันก็ตัดกับบรรยากาศที่ผู้เล่นรายใหญ่อย่าง OpenAI/MS พยายามทำให้คนเชื่อมาหลายปีว่าโอเพนซอร์สไม่มีวันตามทัน
      ตลอดหลายปีที่ผ่านมา ทรัพยากร เวลา และเงินจำนวนมากถูกใช้เปลืองไปกับการขยาย pure GPU compute
      Gary Marcus พูดเรื่องนี้มาหลายปีแล้ว และผลลัพธ์ที่น่าผิดหวังของ GPT-4.5 ที่ฝึกมาราว 2 ปีก็ดูเหมือนเป็นหลักฐานสนับสนุน
    • ตอนนี้เหมือนอยู่ใน สวนผลไม้ใหม่ ที่มีผลไม้ห้อยต่ำเต็มไปหมด
      ไม่ว่าประโยชน์สุดท้ายจะเป็นอย่างไร ตอนนี้ทั้งวิบวับ ทั้ง hype ทั้งน่าตื่นตะลึง และเงินก็ไหลเข้ามาจนตามแทบไม่ทัน
      เลยทำให้คนเก่งมาก ๆ จำนวนไม่น้อยหันมาสนใจ และตามธรรมชาติก็เกิดความพยายามจำนวนมากที่จะสร้าง breakthrough
    • ความก้าวหน้าเรื่อง LLM กำลังเริ่มเหมือน ความก้าวหน้าเรื่องแบตเตอรี่ เข้าไปทุกที
      ตอนนี้แค่เรายังขาดความสามารถในการวัด trade-off ต่าง ๆ ให้เป็นเชิงปริมาณเท่านั้น
    • น่าจะเกี่ยวกับการที่งานประชุมสำคัญ ๆ กำลังจะเริ่มเปิดรับบทความ
      บางงานประชุมห้ามเผยแพร่ preprint ในช่วงไม่กี่สัปดาห์ก่อนส่ง ดังนั้นคนจึงอาจรีบอัปโหลดกัน

  • ทำให้นึกถึงคำพูดของ Hendrik Lenstra นักคณิตศาสตร์ทฤษฎีจำนวนชื่อดัง: “สำหรับทุกปัญหาที่แก้ไม่ได้ จะมีปัญหาที่ง่ายกว่านั้นแต่ก็แก้ไม่ได้อยู่เช่นกัน”

    • สงสัยว่าคำพูดนี้เป็นของจริงไหม
      ผมคุ้นกับคำของ George Pólya ที่ว่า “ถ้าแก้ปัญหาที่เสนอมาไม่ได้ ก็ลองแก้ปัญหาที่ง่ายกว่าและเกี่ยวข้องกันก่อน” แต่หาที่มาของคำพูดของ Lenstra ไม่เจอ
    • อันนี้มันทำอุปนัยต่อได้ไม่สวยเลย
      เว้นแต่ว่าจะพูดเป็นการเหน็บแนม

  • แนวทาง reinforcement learning ตอนทดสอบ ของพวกเขาดูแอบน่าสงสัยนิดหน่อย
    ถ้าผมเข้าใจไม่ผิด TTRL คือให้โมเดลภาษาสร้างเวอร์ชันที่ง่ายกว่าของเคสทดสอบ แล้วใช้ reinforcement learning กับปัญหาที่ถูกทำให้ง่ายลงเหล่านั้น โดยหวังว่าประสิทธิภาพกับปัญหาต้นฉบับจะดีขึ้นด้วย
    ปัญหาคือพวกเขาใช้ numerical integrator ตอนตรวจสอบปัญหาที่ถูกทำให้ง่ายลง
    มันพอจะจินตนาการได้ว่ามีการสร้างปัญหาที่แทบไม่ต่างจากโจทย์เดิม และโมเดลก็ฝึกกับโจทย์ที่ใกล้กับเคสทดสอบในสภาพที่รู้คำตอบอยู่แล้ว
    มันดูคล้ายกับการฝึกบนชุดทดสอบ แต่ส่วนอื่น ๆ ของงานก็ดูโอเค

    • ผมนึกว่าโจทย์ที่โมเดลกำลังแก้คือ อินทิกรัลเชิงสัญลักษณ์ ไม่ใช่เหรอ
      เป็นปัญหาที่ถึงโมเดลจะใช้เครื่องมือ numerical integrator กับโจทย์ต้นฉบับเองได้ ก็ยังแก้ยากอยู่ดี

  • พวกเขาแสดงให้เห็นว่า LADDER มีประสิทธิภาพกับอินทิกรัลทางคณิตศาสตร์ และบอกว่าสามารถเพิ่มความแม่นยำของ Llama 3.2 3B จาก 1% เป็น 82% บนโจทย์ระดับปริญญาตรีได้

    • แต่ก็ควรคำนึงด้วยว่า term rewriting system รุ่นใหม่ ๆ ก็ทำได้ดีมากในงานอินทิกรัลเชิงสัญลักษณ์เช่นกัน: https://rulebasedintegration.org/

  • Frank Herbert รู้เรื่องนี้มาก่อนแล้ว
    โดยพื้นฐานแล้วนี่แทบจะเป็นการทำ การตรวจสอบตนเองแบบเวียนกลับของเมนแทต ใน Dune ให้ออกมาเป็นรูปธรรม

  • การเรียนรู้/การเสริมกำลังตอนทดสอบ ดูเป็นแนวทางที่ใช่มากสำหรับ AI คณิตศาสตร์ในอนาคต
    มันเป็นหนึ่งในไม่กี่วิธีที่สามารถทุ่มทรัพยากรคำนวณปริมาณมหาศาลแบบไร้เหตุผลกับปัญหาเฉพาะข้อหนึ่งได้ เช่น GPU 10^5 ตัวเป็นเวลาหลายวัน และยังพอคาดหวังความก้าวหน้าได้แม้ในสถานการณ์ที่การสเกล inference ตอนทดสอบแบบเดิมเริ่มไม่ค่อยได้ผล
    ลองนึกถึงการรัน MCTS บนกระดานโกะด้วย value/policy network ที่ไม่ดีนัก
    AlphaProof ก็ทำอะไรทำนองนี้มาแล้ว แต่ก็ดีใจที่ได้เห็นผลลัพธ์ดี ๆ อีกครั้ง

    • จุดที่น่าสนใจคือจะ distill ประสิทธิภาพที่ดีขึ้นนี้ลงไปใน LLM ขนาดเล็กได้มากแค่ไหน
      ถ้าทำได้ ก็จะมีตัวปรับปรุงนโยบาย หรือก็คือ reinforcement learning ตอนทดสอบสำหรับปัญหาคล้าย ๆ กัน ซึ่งจะเลียนแบบวิธีที่ AlphaZero ทำงานได้ดียิ่งขึ้น
      และเราก็จะได้เห็นด้วยว่าในทางทฤษฎีแล้วโครงข่ายประสาทขนาดเล็กอย่าง 32B จะทรงพลังขึ้นได้มากแค่ไหน

  • เพื่ออ้างอิงไว้ ทีม Tufa Labs มีทีม MindsAI ที่เป็นที่รู้จักจาก ARC-AGI อยู่ด้วย
    https://tufalabs.ai/team.html

  • บางชื่อนี่ช่างชวนยั่วใจเกินไปจริง ๆ: https://arxiv.org/abs/1507.02672

  • ท้ายบทความพวกเขาพูดถึงโจทย์รอบคัดเลือก 2025 MIT Integration Bee สองข้อที่ระบบยังทำผิดอยู่เรื่อย ๆ
    เขาบอกว่าเป็นแกนที่ซับซ้อนที่สุดของข้อสอบ แต่ข้อแรกมันก็แค่ ∫ ∛(x · ∜(x · ∜(x · √(x · √(x · ⋯ ))))) dx และสุดท้ายก็แค่ต้องคำนวณ 1/3 + 1/(34) + 1/(34*5) + ...
    เพราะงั้นคงเรียกว่าเป็นคณิตศาสตร์ขั้นสูงมากไม่ได้

    • แต่มันก็เป็น โมเดล 7B นะ
      โจทย์อาจไม่ได้ขั้นสูงมาก แต่ตัวโมเดลเองก็ไม่ได้ล้ำมากเช่นกัน

  • แค่การที่สิ่งนี้พอจะได้ผลบ้างก็น่าสนใจมากแล้ว และยิ่งน่าสนใจขึ้นไปอีกตรงที่ดูเหมือนมันจะเวิร์กดีมากกับคณิตศาสตร์
    แต่บทความนี้ก็เป็นส่วนหนึ่งของกระแส เส้นแบ่งระหว่างการฝึกกับการอนุมานที่เริ่มเลือนราง ซึ่งกำลังเกิดขึ้นตอนนี้
    ส่วนหนึ่งของวิธีคือแยกคำถามที่ไม่รู้คำตอบออกเป็นคำถามที่ง่ายกว่า แล้วทำ reinforcement learning กับคำถามเหล่านั้นด้วย GRPO ที่มีตัวตรวจสอบเชิงตัวเลข
    จากนั้นโมเดลที่ผ่านการเสริมกำลังก็จะตอบคำถามได้มากขึ้น
    ผมชอบแนวทางนี้
    มนุษย์เองก็ทำอะไรแบบนี้เยอะเหมือนกัน คือครุ่นคิด พลิกไปพลิกมาในหัว และอาศัยการเทียบเคียง
    ถ้าเพิ่มการเรียนรู้ตอนทดสอบเข้าไป ก็จะคิดได้มากกว่าการเอาแค่โทเคนเพิ่มเข้าไปในบริบทของการอนุมานแบบคงที่มาก
    เหมือนที่ DeepSeek กับ o1/o3 แสดงให้เห็นว่าความสามารถเพิ่มขึ้นได้ด้วยการสร้างและประเมินโทเคนในช่วงอนุมาน การ fine-tune อัตโนมัติในช่วงอนุมานก็ดูเหมือนจะเพิ่มความสามารถได้เช่นกัน
    หวังว่าเมื่อเทคนิคพวกนี้ตกผลึกมากขึ้น เราจะมีวิธีใหม่ในการพูดและคิดเกี่ยวกับมัน
    ในระดับหนึ่งมันทั้งหมดดูเหมือนเป็นส่วนหนึ่งของกระบวนการพื้นฐานเดียวกัน และไม่ว่าอย่างไรก็เจ๋งมากจริง ๆ