[2024/09/16 ~ 09/22] งานวิจัย ML เด่นประจำสัปดาห์ (Top ML Papers of the Week)
(discuss.pytorch.kr)-
เราได้ทดลองแปลอัตโนมัติบทความเกี่ยวกับงานวิจัย ML ที่ DAIR.AI เผยแพร่ทุกสัปดาห์
-
เมื่อพิจารณางานวิจัยที่ได้รับคัดเลือกในสัปดาห์นี้ จะเห็นแนวโน้มเด่นอยู่หลายประการ ประการแรก งานวิจัยเกี่ยวกับ large language model (LLM) มีสัดส่วนค่อนข้างมาก โดยมีงานหลากหลายชิ้น เช่น 'Training LLMs to Self-Correct via RL', 'Qwen2.5 Coder', 'A Comprehensive Evaluation of Quantized Instruction-Tuned LLMs' ที่กล่าวถึงการยกระดับประสิทธิภาพและการประยุกต์ใช้ LLM ซึ่งสะท้อนว่า LLM เป็นหนึ่งในหัวข้อแกนหลักของการวิจัย AI ในปัจจุบัน
-
ประการที่สอง มีงานวิจัยจำนวนมากที่เกี่ยวข้องกับกระบวนการคิดของปัญญาประดิษฐ์ งานอย่าง 'Diagram of Thought (DoT)', 'Iteration of Thought', 'To CoT or not to CoT?' ได้สำรวจวิธีคิดหรือกระบวนการให้เหตุผลของ AI อย่างลึกซึ้ง ซึ่งแสดงให้เห็นถึงความพยายามในการเพิ่มทั้งความแม่นยำและประสิทธิภาพของระบบ AI
-
แนวโน้มเหล่านี้สามารถอธิบายได้จากหลายเหตุผล อย่างแรกคือ large language model ได้รับความสนใจอย่างมากทั้งในภาคอุตสาหกรรมและวงวิชาการ เนื่องจากมีศักยภาพในการประยุกต์ใช้ที่หลากหลายและมีประสิทธิภาพสูง โดยเฉพาะเทคนิคต่าง ๆ สำหรับเพิ่มความสามารถในการแก้ไขตัวเองของโมเดลหรือปรับปรุงประสิทธิภาพที่กำลังถูกศึกษาอย่างคึกคัก นอกจากนี้ งานวิจัยเกี่ยวกับกระบวนการคิดของ AI ยังเกี่ยวข้องกับเป้าหมายสูงสุดในการพัฒนา AI ที่มีความสามารถในการคิดคล้ายมนุษย์ ซึ่งถือเป็นองค์ประกอบสำคัญต่อการทำงานที่ซับซ้อนและชาญฉลาดมากขึ้นให้เป็นอัตโนมัติ
-
โดยสรุป เทรนด์หลักของงานวิจัยในสัปดาห์นี้คือการยกระดับประสิทธิภาพของ large language model และการศึกษากระบวนการคิดของ AI ซึ่งเป็นตัวอย่างที่สะท้อนให้เห็นอย่างชัดเจนว่าการวิจัย AI ในปัจจุบันกำลังพัฒนาไปในทิศทางใด
Moshi
แนะนำงานวิจัย
แนะนำ speech-text foundation model และเฟรมเวิร์กการสนทนาด้วยเสียงแบบ full-duplex รวมถึงองค์ประกอบต่าง ๆ ของระบบ โดย Helium เป็น text LLM ขนาด 7B พารามิเตอร์, Mimi เป็น semantic-acoustic neural audio code ที่มีประสิทธิภาพล้ำสมัยด้านคุณภาพเสียง และมีสถาปัตยกรรม hierarchical multi-stream ที่สามารถสร้างบทสนทนาได้อย่างอิสระในรูปแบบ speech-to-speech
> Introduces a speech-text foundation model and full-duplex spoken dialogue framework; they present several components of the systems; Helium is a 7B parameter text LLM; Mimi is a semantic-acoustic neural audio code with state-of-the-art performance on audio quality; a hierarchical multi-stream architecture that can generate arbitrary conversation in a speech-to-speech manner.
บทคัดย่อ(Abstract)
เราขอแนะนำ Moshi ซึ่งเป็น speech-text foundation model และเฟรมเวิร์กการสนทนาด้วยเสียงแบบ full-duplex ปัจจุบันระบบสำหรับการสนทนาด้วยเสียงยังพึ่งพาไปป์ไลน์ขององค์ประกอบที่แยกจากกัน เช่น การตรวจจับกิจกรรมเสียงพูด การรู้จำเสียงพูด บทสนทนาแบบข้อความ และการแปลงข้อความเป็นเสียงพูด เฟรมเวิร์กลักษณะนี้ไม่สามารถจำลองประสบการณ์ของการสนทนาจริงได้ ประการแรก ความซับซ้อนของระบบทำให้เกิด latency ระดับหลายวินาทีระหว่างการโต้ตอบ ประการที่สอง เมื่อข้อความถูกใช้เป็นรูปแบบตัวกลางของการสนทนา ข้อมูลที่ไม่ใช่ภาษาซึ่งส่งผลต่อความหมาย เช่น อารมณ์หรือเสียงที่ไม่ใช่คำพูด จะสูญหายไประหว่างการโต้ตอบ สุดท้าย ระบบยังอาศัยการแบ่งเป็นลำดับการพูดของผู้พูด ซึ่งไม่สามารถคำนึงถึงการพูดทับกัน การขัดจังหวะ และคำอุทานได้ Moshi แก้ปัญหาเหล่านี้ทั้งหมดพร้อมกันด้วยการมองการสนทนาด้วยเสียงเป็นการสร้างแบบ speech-to-speech โดยเริ่มจาก text language model backbone แล้ว Moshi จะสร้างเสียงพูดเป็นโทเคนจาก residual quantizer ของ neural audio codec พร้อมทั้งแยกแบบจำลองเสียงของตัวเองและเสียงของผู้ใช้ออกเป็นสตรีมขนาน วิธีนี้ช่วยให้ไม่ต้องมีการสลับตาของผู้พูดแบบชัดแจ้ง และสามารถจำลองพลวัตของบทสนทนาได้อย่างอิสระ นอกจากนี้ เรายังขยายการสร้างโทเคนแบบลำดับชั้นจาก semantic ไปสู่ acoustic ของงานก่อนหน้า ให้สามารถทำนายโทเคนข้อความที่จัดแนวตามเวลาก่อนในฐานะคำนำหน้าของโทเคนเสียง วิธี “Inner Monologue” นี้ไม่เพียงช่วยยกระดับคุณภาพทางภาษาของเสียงที่สร้างขึ้นอย่างมาก แต่ยังแสดงให้เห็นว่าสามารถใช้เพื่อการรู้จำเสียงพูดแบบสตรีมมิงและการแปลงข้อความเป็นเสียงพูดได้อีกด้วย ผลลัพธ์ที่ได้คือ spoken large language model แบบ full-duplex ทำงานเรียลไทม์ตัวแรก ที่มี latency ตามทฤษฎี 160ms และ 200ms ในการใช้งานจริง และสามารถดูได้ที่ github.com/kyutai-labs/moshi
> We introduce Moshi, a speech-text foundation model and full-duplex spoken dialogue framework. Current systems for spoken dialogue rely on pipelines of independent components, namely voice activity detection, speech recognition, textual dialogue and text-to-speech. Such frameworks cannot emulate the experience of real conversations. First, their complexity induces a latency of several seconds between interactions. Second, text being the intermediate modality for dialogue, non-linguistic information that modifies meaning— such as emotion or non-speech sounds— is lost in the interaction. Finally, they rely on a segmentation into speaker turns, which does not take into account overlapping speech, interruptions and interjections. Moshi solves these independent issues altogether by casting spoken dialogue as speech-to-speech generation. Starting from a text language model backbone, Moshi generates speech as tokens from the residual quantizer of a neural audio codec, while modeling separately its own speech and that of the user into parallel streams. This allows for the removal of explicit speaker turns, and the modeling of arbitrary conversational dynamics. We moreover extend the hierarchical semantic-to-acoustic token generation of previous work to first predict time-aligned text tokens as a prefix to audio tokens. Not only this “Inner Monologue” method significantly improves the linguistic quality of generated speech, but we also illustrate how it can provide streaming speech recognition and text-to-speech. Our resulting model is the first real-time full-duplex spoken large language model, with a theoretical latency of 160ms, 200ms in practice, and is available at github.com/kyutai-labs/moshi.
ลิงก์งานวิจัย
อ่านเพิ่มเติม
https://github.com/kyutai-labs/moshi
https://x.com/kyutai_labs/status/1836427396959932492
ฝึกให้ language model แก้ไขตัวเองผ่าน reinforcement learning / Training Language Models to Self-Correct via Reinforcement Learning
แนะนำงานวิจัย
พัฒนา multi-turn online reinforcement learning เพื่อปรับปรุงความสามารถในการ self-correct ของ LLM โดยอาศัยข้อมูลที่สร้างขึ้นเองทั้งหมด พบว่า SFT ไม่มีประสิทธิภาพต่อการเรียนรู้การ self-correct และมีปัญหา distribution mismatch ระหว่างข้อมูลฝึกกับคำตอบของโมเดล เสนอแนวทาง 2 ขั้นตอนที่เริ่มจากการปรับ correction behavior ให้เหมาะสมก่อน แล้วจึงใช้ reward bonus เพื่อขยายความสามารถในการ self-correct ระหว่างการฝึก เมื่อนำไปใช้กับ Gemini 1.0 Pro และ 1.5 Flash สามารถทำ self-correction ได้ล้ำสมัย โดยเพิ่มประสิทธิภาพการ self-correct ของโมเดลตั้งต้นได้ 15.6% และ 9.1% ตามลำดับ บนเบนช์มาร์ก MATH และ HumanEval
> Develops a multi-turn online reinforcement learning to improve the capabilities of an LLM to self-correct; it’s based entirely on self-generated data; SFT is shown to be ineffective at learning self-correction and suffers from distribution mismatch between training data and model responses; proposes a two-stage approach that first optimizes correction behavior and then uses a reward bonus to amplify self-correction during training; when applied to Gemini 1.0 Pro and 1.5 Flash models, it achieves state-of-the-art self-correction performance, improving the base models’ self-correction by 15.6% and 9.1% respectively on the MATH and HumanEval benchmarks.
บทคัดย่อของงานวิจัย(Abstract)
การ self-correct เป็นความสามารถที่พึงประสงค์อย่างมากของ large language models (LLMs) แต่ก็มีการพบมาอย่างต่อเนื่องว่าแทบไม่ได้ผลใน LLM สมัยใหม่ แนวทางที่มีอยู่สำหรับการฝึกให้ self-correct นั้นมักต้องใช้หลายโมเดล หรือพึ่งพาโมเดลที่มีความสามารถสูงกว่า หรือการกำกับดูแลในรูปแบบอื่น ด้วยเหตุนี้ ทีมวิจัยจึงพัฒนา SCoRe ซึ่งเป็นแนวทาง multi-turn online reinforcement learning (RL) ที่ช่วยยกระดับความสามารถในการ self-correct ของ LLM ได้อย่างมีนัยสำคัญ โดยใช้ข้อมูลที่โมเดลสร้างขึ้นเองทั้งหมด ในการสร้าง SCoRe ผู้วิจัยแสดงให้เห็นก่อนว่า supervised fine-tuning (SFT) แบบต่าง ๆ บน correction traces ที่โมเดลสร้างแบบออฟไลน์นั้นไม่เพียงพอที่จะปลูกฝังพฤติกรรมการ self-correct ได้ โดยเฉพาะอย่างยิ่ง พบว่าการฝึกด้วย SFT นั้นอาจประสบปัญหา distribution mismatch ระหว่างข้อมูลฝึกกับการตอบสนองของตัวโมเดลเอง หรือโดยนัยแล้วเอนเอียงไปชอบเพียงบางรูปแบบของ correction behavior ที่มักไม่มีประสิทธิภาพในช่วงทดสอบ SCoRe แก้ปัญหาเหล่านี้ด้วยการฝึกภายใต้การกระจายของ correction traces ที่โมเดลสร้างขึ้นเอง และใช้ regularization ที่เหมาะสมเพื่อชี้นำกระบวนการเรียนรู้ให้เรียนรู้กลยุทธ์ self-correction ที่มีประสิทธิภาพในช่วงทดสอบ แทนที่จะเพียงแค่ฟิตกับคำตอบที่ได้รางวัลสูงสำหรับพรอมป์ต์ที่กำหนดเท่านั้น regularization นี้กำหนดให้รัน RL เฟสแรกบน base model เพื่อสร้างการเริ่มต้นนโยบายที่มีโอกาส collapse น้อยกว่า จากนั้นใช้ reward bonus เพื่อขยายการ self-correct ระหว่างการฝึก เมื่อนำไปใช้กับ Gemini 1.0 Pro และ 1.5 Flash พบว่า SCoRe ทำผลงานด้าน self-correction ได้ล้ำสมัย โดยเพิ่มประสิทธิภาพการ self-correct ของ base models ได้ 15.6% และ 9.1% ตามลำดับ บนเบนช์มาร์ก MATH และ HumanEval
> Self-correction is a highly desirable capability of large language models (LLMs), yet it has consistently been found to be largely ineffective in modern LLMs. Existing approaches for training self-correction either require multiple models or rely on a more capable model or other forms of supervision. To this end, we develop a multi-turn online reinforcement learning (RL) approach, SCoRe, that significantly improves an LLM's self-correction ability using entirely self-generated data. To build SCoRe, we first show that variants of supervised fine-tuning (SFT) on offline model-generated correction traces are insufficient for instilling self-correction behavior. In particular, we observe that training via SFT either suffers from a distribution mismatch between the training data and the model's own responses or implicitly prefers only a certain mode of correction behavior that is often not effective at test time. SCoRe addresses these challenges by training under the model's own distribution of self-generated correction traces and using appropriate regularization to steer the learning process into learning a self-correction strategy that is effective at test time as opposed to simply fitting high-reward responses for a given prompt. This regularization prescribes running a first phase of RL on a base model to generate a policy initialization that is less susceptible to collapse and then using a reward bonus to amplify self-correction during training. When applied to Gemini 1.0 Pro and 1.5 Flash models, we find that SCoRe achieves state-of-the-art self-correction performance, improving the base models' self-correction by 15.6% and 9.1% respectively on the MATH and HumanEval benchmarks.
ลิงก์งานวิจัย
https://arxiv.org/abs/2409.12917
อ่านเพิ่มเติม
https://x.com/omarsar0/status/1837228446839361984
เอกสารทางเทคนิค Qwen2.5-Coder / Qwen2.5-Coder Technical Report
แนะนำงานวิจัย
ชุดของโมเดลที่มีพารามิเตอร์ 1.5B และ 7B สร้างขึ้นบนสถาปัตยกรรม Qwen2.5 ซึ่งผ่านการ pretrain อย่างต่อเนื่องบนโทเคน 5.5 ล้านล้านโทเคน ทำผลงานได้ล้ำสมัยในมากกว่า 10 เบนช์มาร์ก และมีความสามารถเด่นด้านการสร้างโค้ด การเติมโค้ด การให้เหตุผล และการซ่อมแซมโค้ด
> A series of models including 1.5B and 7B parameters; it’s built upon the Qwen2.5 architecture which is continuously pretrained on 5.5 trillion tokens; achieves state-of-the-art performance across more than 10 benchmarks; includes strong capabilities in code generation, completion, reasoning, and repairing.
บทคัดย่อของงานวิจัย(Abstract)
รายงานฉบับนี้แนะนำซีรีส์ Qwen2.5-Coder ซึ่งอัปเกรดครั้งใหญ่จากเวอร์ชันก่อนหน้าอย่าง CodeQwen1.5 ซีรีส์นี้มีโมเดล 2 รุ่น ได้แก่ Qwen2.5-Coder-1.5B และ Qwen2.5-Coder-7B โดย Qwen2.5-Coder เป็นโมเดลเฉพาะทางด้านโค้ดที่สร้างขึ้นบนสถาปัตยกรรม Qwen2.5 และฝึกพรีเทรนต่อบนคอร์ปัสขนาดมหาศาลที่มีโทเคนมากกว่า 5.5 ล้านล้านรายการ ด้วยการทำความสะอาดข้อมูลอย่างพิถีพิถัน การสร้างข้อมูลสังเคราะห์ที่ขยายขนาดได้ และการผสมข้อมูลอย่างสมดุล Qwen2.5-Coder จึงแสดงความสามารถในการสร้างโค้ดได้อย่างน่าประทับใจ ขณะเดียวกันก็ยังคงความอเนกประสงค์โดยรวมไว้ โมเดลนี้ได้รับการประเมินในงานที่เกี่ยวข้องกับโค้ดอย่างกว้างขวาง และทำผลงานระดับแนวหน้าของวงการในมากกว่า 10 เบนช์มาร์ก รวมถึงการสร้างโค้ด การเติมโค้ด การให้เหตุผล และการซ่อมแซมโค้ด โดยเอาชนะโมเดลขนาดใหญ่กว่าที่มีขนาดโมเดลเท่ากันได้อย่างสม่ำเสมอ Unity เชื่อว่าการเปิดตัวซีรีส์ Qwen2.5-Coder จะไม่เพียงขยายขอบเขตการวิจัยด้าน code intelligence เท่านั้น แต่ยังจะช่วยส่งเสริมให้นักพัฒนานำไปใช้ในแอปพลิเคชันจริงได้กว้างขวางยิ่งขึ้นผ่านไลเซนส์ที่เปิดกว้าง
> In this report, we introduce the Qwen2.5-Coder series, a significant upgrade from its predecessor, CodeQwen1.5. This series includes two models: Qwen2.5-Coder-1.5B and Qwen2.5-Coder-7B. As a code-specific model, Qwen2.5-Coder is built upon the Qwen2.5 architecture and continues pretrained on a vast corpus of over 5.5 trillion tokens. Through meticulous data cleaning, scalable synthetic data generation, and balanced data mixing, Qwen2.5-Coder demonstrates impressive code generation capabilities while retaining general versatility. The model has been evaluated on a wide range of code-related tasks, achieving state-of-the-art (SOTA) performance across more than 10 benchmarks, including code generation, completion, reasoning, and repair, consistently outperforming larger models of the same model size. We believe that the release of the Qwen2.5-Coder series will not only push the boundaries of research in code intelligence but also, through its permissive licensing, encourage broader adoption by developers in real-world applications.
ลิงก์งานวิจัย
https://arxiv.org/abs/2409.12186
อ่านเพิ่มเติม
https://x.com/huybery/status/1837170643563073960
On the Diagram of Thought / แผนภาพของความคิด (DoT)
แนะนำงานวิจัย
ด้วยความเข้มงวดทางคณิตศาสตร์เพื่อยกระดับความสามารถในการให้เหตุผลของ LLM นั้น DAT ได้จำลองการให้เหตุผลแบบวนซ้ำของ LLM ให้เป็นการสร้างกราฟมีทิศทางแบบไม่มีวงจร (DAG) และรวมข้อเสนอ การวิจารณ์ การปรับปรุง และการตรวจสอบเข้าไว้ในโครงสร้าง DAG เดียวกัน ทำให้สามารถจับการอนุมานเชิงตรรกะที่ซับซ้อนซึ่งก้าวข้ามแนวทางแบบเชิงเส้นหรือแบบต้นไม้ได้
> Enhances the reasoning capabilities of LLMs through mathematical rigor; DAT models iterative reasoning in LLM as the construction of a directed acyclic graph; it integrates propositions, critiques, refinement, and verification into a unified DAG structure; this allows DoT to capture complex logical deduction beyond linear or tree-based approaches.
บทคัดย่อ(Abstract)
เราแนะนำ Diagram of Thought (DoT) ซึ่งเป็นเฟรมเวิร์กที่จำลองการให้เหตุผลแบบวนซ้ำใน large language models (LLMs) ให้เป็นการสร้างกราฟมีทิศทางแบบไม่มีวงจร (DAG) ภายในโมเดลเดียว แตกต่างจากแนวทางดั้งเดิมที่แทนการให้เหตุผลเป็นสายโซ่เชิงเส้นหรือต้นไม้ โดย DoT จะจัดระเบียบข้อเสนอ การวิจารณ์ การปรับปรุง และการตรวจสอบให้อยู่ในโครงสร้าง DAG ที่เป็นเอกภาพ ทำให้โมเดลสามารถสำรวจเส้นทางการให้เหตุผลที่ซับซ้อนได้ พร้อมทั้งรักษาความสอดคล้องเชิงตรรกะไว้ แต่ละโหนดในแผนภาพสอดคล้องกับข้อเสนอที่ถูกเสนอ วิจารณ์ ปรับปรุง หรือตรวจสอบแล้ว ซึ่งช่วยให้ LLM ปรับปรุงการให้เหตุผลของตนซ้ำ ๆ ผ่านฟีดแบ็กภาษาธรรมชาติได้ ด้วยการใช้การทำนายโทเคนถัดไปแบบออโตรีเกรสซีฟร่วมกับโทเคนเฉพาะบทบาท DoT ช่วยให้การเปลี่ยนผ่านระหว่างการเสนอแนวคิดกับการประเมินเชิงวิพากษ์เป็นไปอย่างราบรื่น และให้ฟีดแบ็กที่สมบูรณ์กว่าสัญญาณแบบไบนารี นอกจากนี้ เรายังทำให้เฟรมเวิร์ก DoT เป็นทางการด้วยการใช้ Topos Theory เพื่อมอบรากฐานทางคณิตศาสตร์ที่รับประกันความสอดคล้องและความสมเหตุสมผลเชิงตรรกะในกระบวนการให้เหตุผล แนวทางนี้ช่วยยกระดับทั้งกระบวนการฝึกและการอนุมานภายใน LLM เดียว โดยไม่จำเป็นต้องใช้หลายโมเดลหรือกลไกควบคุมภายนอก DoT มอบกรอบแนวคิดสำหรับการออกแบบโมเดลเฉพาะทางด้านการให้เหตุผลรุ่นถัดไป โดยเน้นประสิทธิภาพในการฝึก ความสามารถในการให้เหตุผลที่แข็งแกร่ง และรากฐานทางทฤษฎี สามารถดูโค้ดได้ที่ https://github.com/diagram-of-thought/diagram-of-thought
> We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.
ลิงก์งานวิจัย
https://arxiv.org/abs/2409.10038
อ่านเพิ่มเติม
https://github.com/diagram-of-thought/diagram-of-thought
https://x.com/omarsar0/status/1835882277563179512
เอเจนต์ด้านวิศวกรรมซอฟต์แวร์: บทสำรวจ ภูมิทัศน์ และวิสัยทัศน์ / Agents in Software Engineering: Survey, Landscape, and Vision
แนะนำงานวิจัย
นำเสนอภาพรวมอย่างครอบคลุมของเฟรมเวิร์กสำหรับเอเจนต์ที่อิงกับ LLM ในงานวิศวกรรมซอฟต์แวร์
> Provides a comprehensive overview of frameworks of LLM-based agents in software engineering.
บทคัดย่อ(Abstract)
ในช่วงไม่กี่ปีที่ผ่านมา Large Language Models (LLMs) ประสบความสำเร็จอย่างโดดเด่นและถูกนำไปใช้อย่างแพร่หลายในงานดาวน์สตรีมหลากหลายประเภท โดยเฉพาะงานในสาขาวิศวกรรมซอฟต์แวร์ (SE) เราพบว่างานวิจัยจำนวนมากที่ผสาน LLMs เข้ากับ SE ได้นำแนวคิดของเอเจนต์มาใช้ไม่ว่าจะโดยชัดแจ้งหรือโดยนัย อย่างไรก็ตาม ยังขาดงานสำรวจเชิงลึกที่จัดระเบียบบริบทการพัฒนาของงานเดิม วิเคราะห์ว่างานเดิมผสานเทคโนโลยีเอเจนต์ที่อิงกับ LLM เพื่อเพิ่มประสิทธิภาพงานหลากหลายประเภทอย่างไร และอธิบายเฟรมเวิร์กของเอเจนต์ที่อิงกับ LLM ใน SE ให้ชัดเจน ในบทความนี้ เราได้ทำการสำรวจงานวิจัยเกี่ยวกับการผสานเอเจนต์ที่อิงกับ LLM เข้ากับ SE เป็นครั้งแรก และนำเสนอเฟรมเวิร์กของเอเจนต์ที่อิงกับ LLM ใน SE ซึ่งประกอบด้วย 3 โมดูลหลัก ได้แก่ การรับรู้ ความจำ และการกระทำ นอกจากนี้ เรายังสรุปความท้าทายในปัจจุบันของการผสานสองสาขานี้เข้าด้วยกัน และเสนอแนวทางโอกาสในอนาคตเพื่อตอบรับต่อความท้าทายที่มีอยู่ เราดูแล GitHub repository ของงานวิจัยที่เกี่ยวข้องไว้ที่ https://github.com/DeepSoftwareAnalytics/Awesome-Agent4SE
> In recent years, Large Language Models (LLMs) have achieved remarkable success and have been widely used in various downstream tasks, especially in the tasks of the software engineering (SE) field. We find that many studies combining LLMs with SE have employed the concept of agents either explicitly or implicitly. However, there is a lack of an in-depth survey to sort out the development context of existing works, analyze how existing works combine the LLM-based agent technologies to optimize various tasks, and clarify the framework of LLM-based agents in SE. In this paper, we conduct the first survey of the studies on combining LLM-based agents with SE and present a framework of LLM-based agents in SE which includes three key modules: perception, memory, and action. We also summarize the current challenges in combining the two fields and propose future opportunities in response to existing challenges. We maintain a GitHub repository of the related papers at: https://github.com/DeepSoftwareAnalytics/Awesome-Agent4SE.
ลิงก์งานวิจัย
https://arxiv.org/abs/2409.09030
อ่านเพิ่มเติม
https://github.com/DeepSoftwareAnalytics/Awesome-Agent4SE
https://x.com/omarsar0/status/1835705359723319702
ควรใช้ CoT หรือไม่? Chain-of-thought ช่วยได้หลัก ๆ กับคณิตศาสตร์และการให้เหตุผลเชิงสัญลักษณ์ / To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning
แนะนำงานวิจัย
งานนี้ศึกษาว่างานประเภทใดได้รับประโยชน์จากการพรอมป์ตแบบ chain-of-thought (CoT) มากที่สุด โดยผ่านเมตาอะนาลิซิสของงานวิจัยกว่า 100 ฉบับและการประเมินหลายชุด พบว่า CoT ให้ประโยชน์ด้านประสิทธิภาพอย่างชัดเจนเป็นหลักกับงานที่เกี่ยวข้องกับคณิตศาสตร์และตรรกะ อีกทั้งยังพบว่าประโยชน์ส่วนใหญ่ของ CoT มาจากการปรับปรุง symbolic execution แต่ symbolic solver กลับทำผลงานได้ดีกว่า
> Investigates what kinds of tasks benefit the most from chain-of-thought (CoT) prompting; after a meta-analysis on 100+ papers and several evaluations, it finds that CoT produces strong performance benefits primarily on tasks involving math and logic; they find that most of the CoT gain comes from improving symbolic execution, but a symbolic solver outperforms it.
บทคัดย่อ(Abstract)
การใช้ Chain-of-thought (CoT) ผ่านพรอมป์ต์ถือเป็นวิธีหลักโดยพฤตินัยในการดึงความสามารถด้านการให้เหตุผลจากโมเดลภาษาขนาดใหญ่ (LLM) แต่ "การคิด" เพิ่มเติมนี้ช่วยงานประเภทใดได้จริงบ้าง? เพื่อวิเคราะห์เรื่องนี้ ผู้วิจัยได้ทำการวิเคราะห์อภิมานเชิงปริมาณครอบคลุมงานวิจัยมากกว่า 100 ฉบับที่ใช้ CoT และประเมินเพิ่มเติมด้วยตนเองบนชุดข้อมูล 20 ชุด ครอบคลุม 14 โมเดล ผลลัพธ์แสดงให้เห็นว่า CoT ให้ประโยชน์ด้านประสิทธิภาพอย่างชัดเจนเป็นหลักกับงานที่เกี่ยวข้องกับคณิตศาสตร์หรือตรรกะ และให้ประโยชน์น้อยกว่ามากกับงานประเภทอื่น บน MMLU การให้โมเดลสร้างคำตอบโดยตรงโดยไม่ใช้ CoT ให้ความแม่นยำแทบไม่ต่างจากการใช้ CoT เว้นแต่คำถามหรือคำตอบของโมเดลจะมีเครื่องหมายเท่ากับ ซึ่งบ่งชี้ถึงการดำเนินการเชิงสัญลักษณ์และการให้เหตุผล จากผลค้นพบนี้ ผู้วิจัยจึงวิเคราะห์พฤติกรรมของ CoT ต่อโจทย์เหล่านี้โดยแยกการวางแผนออกจากการปฏิบัติ และเปรียบเทียบกับ LLM ที่เสริมด้วยเครื่องมือ ประโยชน์ส่วนใหญ่ของ CoT มาจากการปรับปรุงการประมวลผลเชิงสัญลักษณ์ แต่ยังด้อยกว่าการใช้ symbolic solver โดยตรง ผลการวิจัยชี้ว่า CoT สามารถนำไปใช้แบบเลือกเฉพาะกรณีได้ เพื่อคงประสิทธิภาพไว้พร้อมลดต้นทุนการอนุมาน นอกจากนี้ยังชี้ให้เห็นถึงความจำเป็นในการก้าวข้าม CoT ที่อาศัยพรอมป์ต์ ไปสู่กระบวนทัศน์ใหม่ที่ใช้ประโยชน์จากการคำนวณระหว่างทางได้ดียิ่งขึ้นตลอดทั้งช่วงของแอปพลิเคชัน LLM
> Chain-of-thought (CoT) via prompting is the de facto method for eliciting reasoning capabilities from large language models (LLMs). But for what kinds of tasks is this extra ``thinking'' really helpful? To analyze this, we conducted a quantitative meta-analysis covering over 100 papers using CoT and ran our own evaluations of 20 datasets across 14 models. Our results show that CoT gives strong performance benefits primarily on tasks involving math or logic, with much smaller gains on other types of tasks. On MMLU, directly generating the answer without CoT leads to almost identical accuracy as CoT unless the question or model's response contains an equals sign, indicating symbolic operations and reasoning. Following this finding, we analyze the behavior of CoT on these problems by separating planning and execution and comparing against tool-augmented LLMs. Much of CoT's gain comes from improving symbolic execution, but it underperforms relative to using a symbolic solver. Our results indicate that CoT can be applied selectively, maintaining performance while saving inference costs. Furthermore, they suggest a need to move beyond prompt-based CoT to new paradigms that better leverage intermediate computation across the whole range of LLM applications.
ลิงก์งานวิจัย
https://arxiv.org/abs/2409.12183
อ่านเพิ่มเติม
https://x.com/omarsar0/status/1836599280477299013
การประเมินอย่างครอบคลุมของโมเดลภาษาขนาดใหญ่แบบ instruction-tuned ที่ผ่านการ quantization: การวิเคราะห์เชิงทดลองสูงสุดถึง 405B / A Comprehensive Evaluation of Quantized Instruction-Tuned Large Language Models: An Experimental Analysis up to 405B
แนะนำงานวิจัย
จากการประเมินประสิทธิภาพของ instruction-tuned LLM ภายใต้วิธี quantization ที่หลากหลายบนโมเดลตั้งแต่ 7B ถึง 405B พบว่า 1) โดยทั่วไปการทำ quantization ให้ LLM ขนาดใหญ่มีขนาดใกล้เคียงกับ LLM แบบ FP16 ที่เล็กกว่านั้น มักให้ประสิทธิภาพดีกว่าในเกณฑ์ทดสอบส่วนใหญ่ 2) ประสิทธิภาพแตกต่างกันอย่างมากตามวิธี quantization ขนาดโมเดล และ bit-width โดยวิธีแบบ weight-only มักให้ผลลัพธ์ที่ดีกว่าในโมเดลขนาดใหญ่ และ 3) ความยากของงานไม่ได้ส่งผลอย่างมีนัยสำคัญต่อการลดลงของความแม่นยำจาก quantization
> Evaluates the performance of instruction-tuned LLMs across various quantization methods on models ranging from 7B to 405B; the key findings are 1) quantizing a larger LLM to a similar size as a smaller FP16 LLM generally performs better across most benchmarks, 2) performance varies significantly with different quantization methods, model size, and bit-width, with weight-only methods often yielding better results in larger models, and 3) task difficulty does not significantly impact accuracy degradation due to quantization.
บทคัดย่อ (Abstract)
งานวิจัยก่อนหน้านี้ประเมิน LLM ที่ผ่านการควอนไทซ์ด้วยตัวชี้วัดที่ค่อนข้างจำกัด เช่น perplexity หรืองานความรู้พื้นฐานเพียงไม่กี่แบบ รวมถึงชุดข้อมูลที่ค่อนข้างเก่า นอกจากนี้ โมเดลขนาดใหญ่รุ่นใหม่อย่าง Llama 3.1 ที่มีขนาดสูงสุดถึง 405B ก็ยังไม่ได้รับการตรวจสอบอย่างละเอียด บทความนี้ประเมินประสิทธิภาพของ instruction-tuned LLM ภายใต้วิธีการควอนไทซ์หลายแบบ (GPTQ, AWQ, SmoothQuant, FP8) กับโมเดลที่มีขนาดตั้งแต่ 7B ถึง 405B โดยใช้เบนช์มาร์ก 13 รายการเพื่อประเมินประสิทธิภาพในงาน 6 ประเภท ได้แก่ การตอบคำถามเชิงสามัญสำนึก ความรู้และความเข้าใจภาษา การทำตามคำสั่ง การตรวจจับอาการหลอน การคำนวณคณิตศาสตร์ และบทสนทนา ผลการศึกษาหลักพบว่า (1) โดยทั่วไปการควอนไทซ์ LLM ที่ใหญ่กว่าให้มีขนาดใกล้เคียงกับ LLM แบบ FP16 ที่เล็กกว่าจะให้ผลดีกว่าในเบนช์มาร์กส่วนใหญ่ ยกเว้นการตรวจจับอาการหลอนและการทำตามคำสั่ง (2) ประสิทธิภาพแตกต่างกันอย่างมากตามวิธีการควอนไทซ์ ขนาดโมเดล และ bit-width โดยวิธีแบบ weight-only มักให้ผลลัพธ์ดีกว่าในโมเดลขนาดใหญ่ และ (3) ความยากของงานไม่ได้ส่งผลอย่างมีนัยสำคัญต่อการลดลงของความแม่นยำจากการควอนไทซ์ ขณะที่วิธีประเมิน MT-Bench มีข้อจำกัดด้านความสามารถในการแยกความแตกต่างระหว่าง LLM ประสิทธิภาพสูงรุ่นใหม่
> Prior research works have evaluated quantized LLMs using limited metrics such as perplexity or a few basic knowledge tasks and old datasets. Additionally, recent large-scale models such as Llama 3.1 with up to 405B have not been thoroughly examined. This paper evaluates the performance of instruction-tuned LLMs across various quantization methods (GPTQ, AWQ, SmoothQuant, and FP8) on models ranging from 7B to 405B. Using 13 benchmarks, we assess performance across six task types: commonsense Q&A, knowledge and language understanding, instruction following, hallucination detection, mathematics, and dialogue. Our key findings reveal that (1) quantizing a larger LLM to a similar size as a smaller FP16 LLM generally performs better across most benchmarks, except for hallucination detection and instruction following; (2) performance varies significantly with different quantization methods, model size, and bit-width, with weight-only methods often yielding better results in larger models; (3) task difficulty does not significantly impact accuracy degradation due to quantization; and (4) the MT-Bench evaluation method has limited discriminatory power among recent high-performing LLMs.
ลิงก์งานวิจัย
https://arxiv.org/abs/2409.11055
อ่านเพิ่มเติม
https://x.com/omarsar0/status/1836479309390995790
การวนซ้ำของความคิด: การใช้บทสนทนาภายในเพื่อการให้เหตุผลแบบอัตโนมัติของโมเดลภาษาขนาดใหญ่ / Iteration of Thought: Leveraging Inner Dialogue for Autonomous Large Language Model Reasoning
แนะนำงานวิจัย
งานนี้เสนอเฟรมเวิร์ก Iteration of Thought (IoT) เพื่อยกระดับความสามารถในการตอบสนองและการให้เหตุผลของ LLM ด้วยเส้นทางการให้เหตุผลแบบปรับตัวได้ โดยใช้งานเอเจนต์บทสนทนาภายในที่ทำหน้าที่เป็นผู้ชี้นำเพื่อปรับเส้นทางการให้เหตุผลอย่างไดนามิก ทำให้สามารถสำรวจข้ามเส้นทางแบบปรับตัวได้และเพิ่มความแม่นยำของคำตอบ อีกทั้งยังแตกต่างจาก CoT และ ToT (ซึ่งเป็นกระบวนการแบบตายตัวทั้งคู่) ตรงที่การสร้างพรอมป์ต์เป็นกระบวนการแบบไดนามิกที่สามารถปรับตัวได้
> Proposes the Iteration of Thought (IoT) framework to enhance the LLM responses and reasoning capabilities with adaptive reasoning paths; it leverages an inner dialogue agent, acting as a guide, to dynamically adjust reasoning paths which allows adaptive cross-path exploration and enhance response accuracy; it's different from CoT and ToT (both rigid processes) in that its prompt generation is a dynamic process that allows it to adapt.
บทคัดย่องานวิจัย (Abstract)
การมีส่วนร่วมของมนุษย์แบบวนซ้ำเป็นวิธีที่พบได้ทั่วไปและมีประสิทธิภาพในการดึงศักยภาพด้านการประมวลผลภาษาขั้นสูงของ large language models (LLM) มาใช้ ด้วยการใช้พรอมป์ตเชิงสนทนาที่มีโครงสร้างอย่างดี ผู้ใช้ที่เป็นมนุษย์สามารถชี้นำให้ LLM พัฒนาคำตอบที่รอบคอบและแม่นยำยิ่งขึ้นได้อย่างมีประสิทธิภาพ จากแนวคิดนี้ เราจึงเสนอเฟรมเวิร์ก Iteration of Thought (IoT) เพื่อปรับปรุงคำตอบของ LLM โดยสร้างพรอมป์ตที่กระตุ้นให้เกิด “ความคิด” โดยพิจารณาจากคำถามอินพุตและคำตอบของ LLM ในรอบปัจจุบัน ต่างจากแนวทางแบบคงที่หรือกึ่งคงที่ เช่น Chain of Thought (CoT) หรือ Tree of Thoughts (ToT) นั้น IoT จะปรับเส้นทางการให้เหตุผลแบบไดนามิกตามบริบทที่เปลี่ยนไป และไม่สร้างความคิดเชิงสำรวจทางเลือกที่ท้ายที่สุดแล้วถูกทิ้งไป องค์ประกอบ 3 ส่วนของเฟรมเวิร์ก IoT ได้แก่ (1) IDA (Inner Dialogue Agent) ซึ่งทำหน้าที่สร้างพรอมป์ตที่เป็นประโยชน์และเฉพาะตามบริบท (2) LLMA (LLM Agent) ซึ่งประมวลผลพรอมป์ตเหล่านี้เพื่อขัดเกลาคำตอบ และ (3) ลูปพรอมป์ตแบบวนซ้ำที่ทำให้เกิดบทสนทนาระหว่างสององค์ประกอบแรก เราแนะนำเฟรมเวิร์กนี้ใน 2 รูปแบบ ได้แก่ Autonomous Iteration of Thought (AIoT) ที่ให้ LLM ตัดสินใจเองว่าจะหยุดการวนซ้ำเมื่อใด และ Guided Iteration of Thought (GIoT) ที่บังคับให้วนซ้ำตามจำนวนครั้งคงที่เสมอ เราศึกษาประสิทธิภาพของ IoT บนชุดข้อมูลที่หลากหลาย เช่น งานให้เหตุผลซับซ้อนจากชุดข้อมูล GPQA การแก้ปัญหาเชิงสำรวจใน Game of 24 การแก้ปริศนาใน Mini Crosswords และการตอบคำถามแบบ multi-hop จากชุดข้อมูล HotpotQA ผลการวิจัยชี้ให้เห็นว่า IoT เป็นกระบวนทัศน์ที่ใช้งานได้จริงสำหรับการปรับปรุงคำตอบของ LLM แบบอัตโนมัติ โดยแสดงให้เห็นถึงการพัฒนาที่โดดเด่นเมื่อเทียบกับ CoT และเปิดทางไปสู่ระบบการให้เหตุผลที่ปรับตัวได้และมีประสิทธิภาพมากขึ้น โดยลดการแทรกแซงของมนุษย์ให้น้อยที่สุด
> Iterative human engagement is a common and effective means of leveraging the advanced language processing power of large language models (LLMs). Using well-structured prompts in a conversational manner, human users can effectively influence an LLM to develop more thoughtful and accurate responses. Motivated by this insight, we propose the Iteration of Thought (IoT) framework for enhancing LLM responses by generating "thought"-provoking prompts vis a vis an input query and the current iteration of an LLM's response. Unlike static or semi-static approaches, e.g. Chain of Thought (CoT) or Tree of Thoughts (ToT), IoT adapts its reasoning path dynamically, based on evolving context, and without generating alternate explorative thoughts which are ultimately discarded. The three components of the IoT framework are (1) an Inner Dialogue Agent (IDA) responsible for generating instructive, context-specific prompts; (2) an LLM Agent (LLMA) that processes these prompts to refine its responses; and (3) an iterative prompting loop that implements a conversation between the former two components. We introduce two variants of our framework: Autonomous Iteration of Thought (AIoT), where an LLM decides when to stop iterating, and Guided Iteration of Thought (GIoT), which always forces a fixed number iterations. We investigate the performance of IoT across various datasets, spanning complex reasoning tasks from the GPQA dataset, explorative problem-solving in Game of 24, puzzle solving in Mini Crosswords, and multi-hop question answering from the HotpotQA dataset. Our results show that IoT represents a viable paradigm for autonomous response refinement in LLMs, showcasing significant improvements over CoT and thereby enabling more adaptive and efficient reasoning systems that minimize human intervention.
ลิงก์งานวิจัย
https://arxiv.org/abs/2409.12618
อ่านเพิ่มเติม
https://x.com/omarsar0/status/1836977595847692671
ความทรงจำของชโรดิงเงอร์: large language models / Schrodinger's Memory: Large Language Models
แนะนำงานวิจัย
งานวิจัยนี้อธิบายกลไกความจำของ LLM โดยใช้ Universal Approximation Theorem นอกจากนี้ยังเสนอแนวทางใหม่ในการประเมินประสิทธิภาพของ LLM ด้วยการเปรียบเทียบความจุความจำของโมเดลต่าง ๆ และชี้ว่าสถาปัตยกรรม Transformer ทำงานเป็นโมเดล UAT แบบฟิตเชิงไดนามิกที่มีความสามารถสูงในการปรับให้เข้ากับอินพุต จึงสามารถเรียกคืนเนื้อหาทั้งหมดได้จากข้อมูลอินพุตเพียงเล็กน้อย
> Uses the Universal Approximation Theorem to explain the memory mechanism of LLMs. It also proposes a new approach to evaluate LLM performance by comparing the memory capacities of different models; the Transformer architecture functions as a dynamic fitting UAT model, with a strong ability to adaptively fit inputs; this enables LLMs to recall entire content based on minimal input information.
บทคัดย่อ(Abstract)
ความทรงจำเป็นรากฐานของกิจกรรมทั้งหมดของมนุษย์ และหากไม่มีความทรงจำ การทำสิ่งใด ๆ ในชีวิตประจำวันก็คงแทบเป็นไปไม่ได้ ด้วยการพัฒนาของโมเดลภาษาขนาดใหญ่ (LLM) ความสามารถด้านภาษาของมันก็ยิ่งใกล้เคียงกับมนุษย์มากขึ้นเรื่อย ๆ แต่ LLM มีหน่วยความจำหรือไม่? จากประสิทธิภาพในปัจจุบัน LLM ดูเหมือนจะแสดงให้เห็นว่ามีความทรงจำอยู่ แล้วกลไกพื้นฐานของความทรงจำนี้คืออะไร? งานวิจัยก่อนหน้านี้ยังขาดการสำรวจเชิงลึกเกี่ยวกับความสามารถด้านความทรงจำของ LLM และทฤษฎีที่รองรับ ในงานนี้ ผู้วิจัยใช้ Universal Approximation Theorem (UAT) เพื่ออธิบายกลไกความทรงจำใน LLM นอกจากนี้ยังทำการทดลองเพื่อตรวจสอบความสามารถด้านความทรงจำของ LLM หลายรุ่น และเสนอวิธีใหม่ในการประเมินความสามารถของพวกมันโดยอิงจากความสามารถด้านความทรงจำดังกล่าว ผู้วิจัยโต้แย้งว่าความทรงจำของ LLM ทำงานคล้ายความทรงจำแบบ Schr"odinger กล่าวคือจะสังเกตได้ก็ต่อเมื่อมีการ query ความทรงจำเฉพาะนั้นเท่านั้น เราสามารถตรวจสอบได้เพียงว่าโมเดลเก็บความทรงจำนั้นไว้หรือไม่จากผลลัพธ์ที่ตอบกลับต่อ query มิฉะนั้นมันจะยังคงอยู่ในสถานะไม่แน่นอน สุดท้าย ผู้วิจัยขยายแนวคิดนี้ด้วยการเปรียบเทียบความสามารถด้านความทรงจำของสมองมนุษย์กับ LLM โดยเน้นให้เห็นทั้งความเหมือนและความแตกต่างของกลไกการทำงาน
> Memory is the foundation of all human activities; without memory, it would be nearly impossible for people to perform any task in daily life. With the development of Large Language Models (LLMs), their language capabilities are becoming increasingly comparable to those of humans. But do LLMs have memory? Based on current performance, LLMs do appear to exhibit memory. So, what is the underlying mechanism of this memory? Previous research has lacked a deep exploration of LLMs' memory capabilities and the underlying theory. In this paper, we use Universal Approximation Theorem (UAT) to explain the memory mechanism in LLMs. We also conduct experiments to verify the memory capabilities of various LLMs, proposing a new method to assess their abilities based on these memory ability. We argue that LLM memory operates like Schr"odinger's memory, meaning that it only becomes observable when a specific memory is queried. We can only determine if the model retains a memory based on its output in response to the query; otherwise, it remains indeterminate. Finally, we expand on this concept by comparing the memory capabilities of the human brain and LLMs, highlighting the similarities and differences in their operational mechanisms.
ลิงก์บทความวิจัย
https://arxiv.org/abs/2409.10482
อ่านเพิ่มเติม
https://x.com/omarsar0/status/1835882330323554321
การ jailbreak โมเดลภาษาขนาดใหญ่ด้วยคณิตศาสตร์เชิงสัญลักษณ์ / Jailbreaking Large Language Models with Symbolic Mathematics
แนะนำงานวิจัย
ใช้ GPT-4o เพื่อสร้างพรอมต์ที่เข้ารหัสด้วยคณิตศาสตร์ซึ่งใช้เป็นเทคนิค jailbreak ที่มีประสิทธิภาพ โดยแสดงอัตราความสำเร็จของการโจมตีเฉลี่ย 73.6% บนโมเดลล้ำสมัย 13 ตัว ซึ่งเน้นให้เห็นว่ากลไกการฝึกด้านความปลอดภัยที่มีอยู่ไม่สามารถทำให้ครอบคลุมถึงอินพุตที่เข้ารหัสด้วยคณิตศาสตร์ได้
> Uses GPT-4o to generate mathematically encoded prompts that serve as an effective jailbreaking technique; shows an average attack success rate of 73.6% across 13 state-of-the-art; this highlights the inability of existing safety training mechanisms to generalize to mathematically encoded inputs.
บทคัดย่อ(Abstract)
จากความก้าวหน้าล่าสุดด้านความปลอดภัยของ AI ทำให้มีความพยายามเพิ่มขึ้นในการฝึกและทำ red-teaming กับโมเดลภาษาขนาดใหญ่ (LLM) เพื่อลดการสร้างเนื้อหาที่ไม่ปลอดภัย อย่างไรก็ตาม กลไกด้านความปลอดภัยเหล่านี้อาจยังไม่ครอบคลุม และอาจปล่อยให้มีช่องโหว่ที่ยังไม่ได้รับการสำรวจอยู่ ในบทความนี้ ผู้วิจัยนำเสนอ MathPrompt ซึ่งเป็นเทคนิค jailbreak แบบใหม่ที่ใช้ประโยชน์จากความสามารถขั้นสูงของ LLM ในคณิตศาสตร์เชิงสัญลักษณ์เพื่อหลบเลี่ยงกลไกความปลอดภัยของมัน ด้วยการเข้ารหัสพรอมต์ภาษาธรรมชาติที่เป็นอันตรายให้กลายเป็นโจทย์คณิตศาสตร์ ผู้วิจัยแสดงให้เห็นถึงช่องโหว่สำคัญในมาตรการความปลอดภัยของ AI ในปัจจุบัน ผลการทดลองกับ LLM ล้ำสมัย 13 ตัวพบว่า มีอัตราความสำเร็จของการโจมตีเฉลี่ยสูงถึง 73.6% ซึ่งชี้ให้เห็นว่ากลไกการฝึกด้านความปลอดภัยที่มีอยู่ไม่สามารถทำให้ครอบคลุมถึงอินพุตที่เข้ารหัสด้วยคณิตศาสตร์ได้ การวิเคราะห์ embedding vector แสดงให้เห็นว่ามีการเปลี่ยนแปลงเชิงความหมายอย่างมีนัยสำคัญระหว่างพรอมต์ต้นฉบับกับพรอมต์ที่เข้ารหัส ซึ่งช่วยอธิบายความสำเร็จของการโจมตีนี้ งานนี้เน้นย้ำถึงความสำคัญของการใช้แนวทางแบบองค์รวมต่อความปลอดภัยของ AI และเรียกร้องให้ขยายความพยายามด้าน red-teaming เพื่อพัฒนากลไกป้องกันที่แข็งแกร่งสำหรับอินพุตที่เป็นไปได้ทุกรูปแบบและความเสี่ยงที่เกี่ยวข้อง
> Recent advancements in AI safety have led to increased efforts in training and red-teaming large language models (LLMs) to mitigate unsafe content generation. However, these safety mechanisms may not be comprehensive, leaving potential vulnerabilities unexplored. This paper introduces MathPrompt, a novel jailbreaking technique that exploits LLMs' advanced capabilities in symbolic mathematics to bypass their safety mechanisms. By encoding harmful natural language prompts into mathematical problems, we demonstrate a critical vulnerability in current AI safety measures. Our experiments across 13 state-of-the-art LLMs reveal an average attack success rate of 73.6%, highlighting the inability of existing safety training mechanisms to generalize to mathematically encoded inputs. Analysis of embedding vectors shows a substantial semantic shift between original and encoded prompts, helping explain the attack's success. This work emphasizes the importance of a holistic approach to AI safety, calling for expanded red-teaming efforts to develop robust safeguards across all potential input types and their associated risks.
ลิงก์บทความวิจัย
https://arxiv.org/abs/2409.11445
อ่านเพิ่มเติม
https://x.com/omarsar0/status/1836603922405806501
ต้นฉบับ
https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-277
- บทความนี้สรุปด้วยโมเดล GPT จึงอาจมีส่วนที่คลาดเคลื่อนได้ โปรดดูต้นฉบับด้านล่างของบทความประกอบไปด้วย! หากพบเนื้อหาที่ดูแปลกหรือไม่ถูกต้องระหว่างอ่าน รบกวนแจ้งในคอมเมนต์ด้วยนะครับ/ค่ะ* 🤗
⚠️โฆษณา⚠️: บทความนี้ที่ 🔥ชุมชนผู้ใช้ PyTorch เกาหลี🇰🇷 เป็นผู้สรุป มีประโยชน์สำหรับคุณไหม? หากสมัครสมาชิก เราจะส่งบทความสำคัญทางอีเมล💌ให้คุณ! (ค่าเริ่มต้นคือ Weekly แต่เปลี่ยนเป็น Daily ได้)
3 ความคิดเห็น
ชื่อเรื่องเป็นเดือนมิถุนายน แต่โพสต์ที่ลิงก์ไว้เป็นเดือนกันยายน เป็นเพราะการเติมข้อความอัตโนมัติหรือเปล่าครับ
อ๊ะ จริงด้วยครับ/ค่ะ;;; ขอบคุณที่แจ้งนะครับ/ค่ะ T_T
หัวข้อควรจะเป็น '[2024/09/16 ~ 09/22] บทความวิจัย ML เด่นประจำสัปดาห์ (Top ML Papers of the Week)' แต่ผม/ฉันพลาดตอนใช้เทมเพลตไปครับ/ค่ะ ถ้า xguru มาเห็น รบกวนช่วยเปลี่ยนให้ด้วยนะครับ/คะ 🙇♂️
ขอบคุณครับ!!