[2023/09/25 ~ 10/01] บทความวิจัย ML เด่นประจำสัปดาห์นี้ (Top ML Papers of the Week)

ภาพรวม

• ได้ลองแปลอัตโนมัติบทความเกี่ยวกับงานวิจัย ML ที่ DAIR.AI เผยแพร่ทุกสัปดาห์
• งานวิจัยในสัปดาห์นี้ดูเหมือนจะเน้นไปที่ LLM (Large Language Models) เป็นหลัก โดยครอบคลุมหัวข้อที่หลากหลาย เช่น การปรับปรุงอัลกอริทึมด้านประสิทธิภาพของกระบวนการ LLM ในหลายสภาพแวดล้อม, Graph Neural Prompting สำหรับ LLM, และการประยุกต์ใช้กระบวนการคิดเชิงตรรกะ
• ในบรรดางานวิจัยที่ถูกคัดเลือกในสัปดาห์นี้ ยังมีงานอย่าง 'Boolformer' และ 'Vision Transformers Need Registers' ที่แสดงให้เห็นแนวโน้มของการวิจัยที่ผสานเข้ากับสาขา AI อื่น ๆ
• จากสิ่งนี้จะเห็นได้ว่า ความก้าวหน้าของเทคโนโลยี AI ไม่ได้เป็นเพียงการค้นคว้าในแต่ละสาขาแยกกันเท่านั้น แต่ยังเป็นส่วนสำคัญของการผสานหลายสาขาเข้าด้วยกันเพื่อค้นหาแนวทางและวิธีแก้ปัญหาใหม่ ๆ

คำสาปแห่งการกลับทิศ / The Reversal Curse

แนะนำงานวิจัย

• ค้นพบข้อเท็จจริงว่าโครงข่ายประสาทเทียมที่เรียนรู้จากประโยคในรูปแบบ 'a คือ b' จะไม่ทำการ generalize ไปยังทิศทางกลับกันอย่างอัตโนมัติเป็น 'b คือ a' หรือที่เรียกว่า reversal curse และแสดงให้เห็นผลดังกล่าวผ่านการ fine-tuning โครงข่ายประสาทเทียมด้วยประโยคสมมติ พร้อมยืนยันความคงทนของผลลัพธ์นี้ในหลายขนาดโมเดลและหลายตระกูลโมเดล #llm-reasoning
  > พบว่า llms ที่ฝึกด้วยประโยคในรูปแบบ “a is b” จะไม่สามารถ generalize ไปยังทิศทางกลับกัน “b is a” ได้โดยอัตโนมัติ หรือก็คือ reversal curse; แสดงให้เห็นผลนี้ผ่านการ finetuning llms ด้วยข้อความสมมติ และสาธิตความคงทนของผลลัพธ์นี้ในหลายขนาดโมเดลและหลายตระกูลโมเดล

ลิงก์งานวิจัย

https://owainevans.github.io/reversal_curse.pdf

อ่านเพิ่มเติม

https://x.com/OwainEvans_UK/status/1705285631520407821

การขยาย long-context ของ Foundation Models อย่างมีประสิทธิภาพ / Effective Long-Context Scaling of Foundation Models

แนะนำงานวิจัย

• เสนอรุ่นย่อย 70b ที่สามารถทำผลงานโดยรวมเหนือกว่า gpt-3.5-turbo-16k บนชุดงาน long-context ได้แล้ว ซึ่งรวมถึงกระบวนการ instruction tuning ที่คุ้มค่าและไม่ต้องใช้ข้อมูลคำสั่งแบบยาวที่มีการใส่คำอธิบายประกอบโดยมนุษย์ #1b-context-window #100k-context-window
  > เสนอรุ่นย่อย 70b ที่สามารถทำผลงานโดยรวมเหนือกว่า gpt-3.5-turbo-16k บนชุดงาน long-context ได้แล้ว กระบวนการนี้รวมถึงการทำ instruction tuning ที่คุ้มค่าโดยไม่ต้องใช้ข้อมูลคำสั่งแบบยาวที่มีการใส่คำอธิบายประกอบโดยมนุษย์

บทคัดย่อ

• เรานำเสนอชุด LLM แบบ long-context ที่รองรับ effective context window ได้สูงสุด 32,768 โทเค็น โมเดลชุดนี้ถูกสร้างขึ้นผ่าน continual pretraining จาก Llama 2 โดยใช้ลำดับการฝึกที่ยาวขึ้น และบนชุดข้อมูลที่มีการ upsample ข้อความยาว เราทำการประเมินอย่างครอบคลุมทั้งด้าน language modeling, งาน synthetic context probing และ research benchmark ที่หลากหลาย บน research benchmark โมเดลของเราแสดงการปรับปรุงอย่างสม่ำเสมอในงานทั่วไปส่วนใหญ่ และปรับปรุงอย่างมีนัยสำคัญในงาน long-context เมื่อเทียบกับ Llama 2 โดยเฉพาะอย่างยิ่ง ด้วยกระบวนการ instruction tuning ที่คุ้มค่าและไม่ต้องใช้ข้อมูลคำสั่งแบบยาวที่มีการใส่คำอธิบายประกอบโดยมนุษย์ รุ่น 70B สามารถทำผลงานโดยรวมเหนือกว่า gpt-3.5-turbo-16k บนชุดงาน long-context ได้แล้ว นอกเหนือจากผลลัพธ์เหล่านี้ เรายังนำเสนอการวิเคราะห์เชิงลึกขององค์ประกอบแต่ละส่วนในวิธีการของเรา เราศึกษา position encoding ของ Llama อย่างละเอียด และอภิปรายข้อจำกัดของมันในการสร้างแบบจำลองความสัมพันธ์ระยะไกล นอกจากนี้ เรายังตรวจสอบผลกระทบของตัวเลือกการออกแบบต่าง ๆ ในกระบวนการ pretraining รวมถึงส่วนผสมของข้อมูลและ training curriculum ของความยาวลำดับ โดยการทดลอง ablation ของเราชี้ให้เห็นว่า การมีข้อความยาวจำนวนมากในชุดข้อมูล pretrain ไม่ใช่กุญแจสำคัญในการบรรลุประสิทธิภาพที่แข็งแกร่ง และเรายืนยันเชิงประจักษ์ว่า long context continual pretraining มีประสิทธิภาพมากกว่าและให้ผลใกล้เคียงกันเมื่อเทียบกับการ pretraining จากศูนย์ด้วยลำดับที่ยาว
  > เรานำเสนอชุด LLM แบบ long-context ที่รองรับ effective context window ได้สูงสุด 32,768 โทเค็น โมเดลชุดนี้สร้างขึ้นผ่าน continual pretraining จาก Llama 2 ด้วยลำดับการฝึกที่ยาวขึ้น และบนชุดข้อมูลที่มีการ upsample ข้อความยาว เราทำการประเมินอย่างครอบคลุมทั้งในด้าน language modeling, งาน synthetic context probing และ research benchmark ที่หลากหลาย บน research benchmark โมเดลของเราทำได้ดีขึ้นอย่างสม่ำเสมอในงานทั่วไปส่วนใหญ่ และดีขึ้นอย่างมีนัยสำคัญในงาน long-context เมื่อเทียบกับ Llama 2 โดยเฉพาะอย่างยิ่ง ด้วยกระบวนการ instruction tuning ที่คุ้มค่าและไม่ต้องใช้ข้อมูลคำสั่งแบบยาวที่มีการใส่คำอธิบายประกอบโดยมนุษย์ รุ่น 70B สามารถทำผลงานโดยรวมเหนือกว่า gpt-3.5-turbo-16k บนชุดงาน long-context ได้แล้ว ควบคู่ไปกับผลลัพธ์เหล่านี้ เรายังนำเสนอการวิเคราะห์เชิงลึกขององค์ประกอบแต่ละส่วนในวิธีการของเรา เราเจาะลึกไปที่ position encoding ของ Llama และอภิปรายข้อจำกัดของมันในการสร้างแบบจำลองการพึ่งพาระยะไกล นอกจากนี้ เรายังตรวจสอบผลกระทบของตัวเลือกการออกแบบต่าง ๆ ในกระบวนการ pretraining รวมถึงส่วนผสมของข้อมูลและ training curriculum ของความยาวลำดับ — การทดลอง ablation ของเราชี้ว่า การมีข้อความยาวจำนวนมากในชุดข้อมูล pretrain ไม่ใช่ปัจจัยสำคัญในการบรรลุประสิทธิภาพที่แข็งแกร่ง และเรายืนยันเชิงประจักษ์ว่า long context continual pretraining มีประสิทธิภาพมากกว่าและให้ผลใกล้เคียงกันเมื่อเทียบกับการ pretraining จากศูนย์ด้วยลำดับที่ยาว

ลิงก์งานวิจัย

https://arxiv.org/abs/2309.16039

อ่านเพิ่มเติม

https://x.com/omarsar0/status/1707780482178400261

Graph Neural Prompting ด้วย Large Language Models / Graph Neural Prompting with Large Language Models

แนะนำงานวิจัย

• เสนอวิธีแบบ plug-and-play เพื่อช่วยให้ LLM ที่ผ่านการ pretrain แล้วสามารถเรียนรู้ความรู้ที่เป็นประโยชน์จาก knowledge graph (KG) โดยมีการออกแบบหลากหลายองค์ประกอบ เช่น standard graph neural network encoder, cross-modality pooling module, domain projector และเป้าหมายการทำนายลิงก์แบบ self-supervised #knowledge-graph
  > เสนอวิธีแบบ plug-and-play เพื่อช่วย llms ที่ผ่านการ pre-train แล้วในการเรียนรู้ความรู้ที่เป็นประโยชน์จาก knowledge graphs (kgs); รวมการออกแบบหลายอย่าง เช่น standard graph neural network encoder, cross-modality pooling module, domain projector และเป้าหมายการทำนายลิงก์แบบ self-supervised

บทคัดย่อ

• โมเดลภาษาขนาดใหญ่ (LLM) ได้แสดงความสามารถในการทำให้เป็นทั่วไปที่น่าทึ่ง พร้อมประสิทธิภาพอันยอดเยี่ยมในงานสร้างแบบจำลองภาษาหลากหลายประเภท อย่างไรก็ตาม โมเดลเหล่านี้ยังคงมีข้อจำกัดโดยเนื้อแท้ในการจับและส่งคืนความรู้ที่มีหลักฐานอ้างอิงได้อย่างแม่นยำ งานวิจัยก่อนหน้านี้ได้สำรวจวิธีใช้กราฟความรู้เพื่อปรับปรุงการสร้างแบบจำลองภาษาผ่านการฝึกร่วมและสถาปัตยกรรมโมเดลแบบปรับแต่งเฉพาะ แต่การนำแนวทางนี้ไปใช้กับ LLM นั้นทำได้ยากเนื่องจากมีจำนวนพารามิเตอร์มากและมีต้นทุนการคำนวณสูง นอกจากนี้ วิธีใช้ประโยชน์จาก LLM ที่ผ่านการพรีเทรนแล้วโดยหลีกเลี่ยงการฝึกโมเดลแบบปรับแต่งเฉพาะตั้งแต่ต้นก็ยังเป็นคำถามที่ยังไม่มีคำตอบ ในงานวิจัยนี้ ผู้วิจัยเสนอ Graph Neural Prompting (GNP) ซึ่งเป็นวิธีแบบ plug-and-play รูปแบบใหม่ เพื่อช่วยให้ LLM ที่ผ่านการพรีเทรนแล้วเรียนรู้ความรู้ที่เป็นประโยชน์จาก KG ได้ GNP ประกอบด้วยการออกแบบหลายส่วน ได้แก่ ตัวเข้ารหัสกราฟนิวรัลเน็ตเวิร์กมาตรฐาน โมดูล pooling แบบ cross-modality ตัวฉายโดเมน และวัตถุประสงค์การทำนายลิงก์แบบ self-supervised การทดลองอย่างครอบคลุมบนหลายชุดข้อมูลแสดงให้เห็นถึงความเหนือกว่าของ GNP ทั้งในงานให้เหตุผลเชิงสามัญสำนึกและชีวการแพทย์ ครอบคลุม LLM หลายขนาดและหลายการตั้งค่า
  > Large Language Models (LLMs) have shown remarkable generalization capability with exceptional performance in various language modeling tasks. However, they still exhibit inherent limitations in precisely capturing and returning grounded knowledge. While existing work has explored utilizing knowledge graphs to enhance language modeling via joint training and customized model architectures, applying this to LLMs is problematic owing to their large number of parameters and high computational cost. In addition, how to leverage the pre-trained LLMs and avoid training a customized model from scratch remains an open question. In this work, we propose Graph Neural Prompting (GNP), a novel plug-and-play method to assist pre-trained LLMs in learning beneficial knowledge from KGs. GNP encompasses various designs, including a standard graph neural network encoder, a cross-modality pooling module, a domain projector, and a self-supervised link prediction objective. Extensive experiments on multiple datasets demonstrate the superiority of GNP on both commonsense and biomedical reasoning tasks across different LLM sizes and settings.

ลิงก์บทความวิจัย

https://arxiv.org/abs/2309.15427

อ่านเพิ่มเติม

https://x.com/omarsar0/status/1707211751354212382

Vision Transformers Need Registers / Vision Transformers Need Registers

แนะนำบทความวิจัย

• งานนี้ระบุอาร์ติแฟกต์ใน feature map ของเครือข่าย vision transformer ที่ถูกนำไปใช้ใหม่เพื่อการคำนวณภายใน และเสนอวิธีแก้โดยเพิ่มโทเค็นเข้าไปในลำดับอินพุตเพื่อทำหน้าที่ดังกล่าว วิธีนี้ช่วยแก้ปัญหา ทำให้ feature map และ attention map เรียบลื่นขึ้น และสร้างผลลัพธ์ล้ำสมัยใหม่ในงานทำนายภาพแบบหนาแน่น #vision-transformer #transformer
  > Identifies artifacts in feature maps of vision transformer networks that are repurposed for internal computations; this work proposes a solution to provide additional tokens to the input sequence to fill that role; the solution fixes the problem, leads to smoother feature and attention maps, and sets new state-of-the-art results on dense visual prediction tasks.

บทคัดย่อ

• ทรานส์ฟอร์เมอร์ได้ก้าวขึ้นมาเป็นเครื่องมือทรงพลังสำหรับการเรียนรู้ตัวแทนเชิงภาพในช่วงไม่นานมานี้ บทความนี้ระบุและวิเคราะห์ลักษณะของอาร์ติแฟกต์ใน feature map ของเครือข่าย ViT ทั้งแบบมีผู้สอนและแบบ self-supervised อาร์ติแฟกต์เหล่านี้สอดคล้องกับโทเค็นที่มี norm สูงซึ่งปรากฏระหว่างการอนุมาน โดยส่วนใหญ่อยู่ในบริเวณพื้นหลังของภาพที่มีข้อมูลน้อย และถูกนำไปใช้ใหม่สำหรับการคำนวณภายใน ผู้วิจัยเสนอวิธีแก้ที่เรียบง่ายแต่มีประสิทธิภาพ โดยเพิ่มโทเค็นเพิ่มเติมให้กับลำดับอินพุตของ Vision Transformer เพื่อทำหน้าที่นี้ ผลการทดลองแสดงให้เห็นว่าวิธีนี้แก้ปัญหาดังกล่าวได้อย่างสมบูรณ์ทั้งในโมเดลแบบมีผู้สอนและแบบ self-supervised สร้างผลงานล้ำสมัยใหม่สำหรับโมเดลภาพแบบ self-supervised ในงานทำนายภาพแบบหนาแน่น เปิดทางให้วิธีการค้นหาวัตถุใช้กับโมเดลขนาดใหญ่ขึ้นได้ และที่สำคัญที่สุดคือทำให้ได้ feature map และ attention map ที่เรียบลื่นขึ้นสำหรับการประมวลผลภาพปลายทาง
  > Transformers have recently emerged as a powerful tool for learning visual representations. In this paper, we identify and characterize artifacts in feature maps of both supervised and self-supervised ViT networks. The artifacts correspond to high-norm tokens appearing during inference primarily in low-informative background areas of images, that are repurposed for internal computations. We propose a simple yet effective solution based on providing additional tokens to the input sequence of the Vision Transformer to fill that role. We show that this solution fixes that problem entirely for both supervised and self-supervised models, sets a new state of the art for self-supervised visual models on dense visual prediction tasks, enables object discovery methods with larger models, and most importantly leads to smoother feature maps and attention maps for downstream visual processing.

ลิงก์บทความวิจัย

https://arxiv.org/abs/2309.16588

อ่านเพิ่มเติม

https://x.com/TimDarcet/status/1707769575981424866

Boolformer: Symbolic Regression of Logic Functions with Transformers / Boolformer: Symbolic Regression of Logic Functions with Transformers

แนะนำบทความวิจัย

• นำเสนอสถาปัตยกรรมทรานส์ฟอร์เมอร์ตัวแรกที่ได้รับการฝึกให้ทำ symbolic regression ของฟังก์ชันบูลีนแบบ end-to-end โดยสามารถทำนายสูตรที่กระชับสำหรับฟังก์ชันที่ซับซ้อน และประยุกต์ใช้กับการสร้างแบบจำลองพลวัตของเครือข่ายควบคุมยีนได้ #transformer
  > Presents the first transformer architecture trained to perform end-to-end symbolic regression of boolean functions; it can predict compact formulas for complex functions and be applied to modeling the dynamics of gene regulatory networks.

บทคัดย่อ

• งานวิจัยนี้แนะนำ Boolformer ซึ่งเป็นสถาปัตยกรรม Transformer ตัวแรกที่ได้รับการฝึกให้ทำ symbolic regression ของฟังก์ชันบูลีนแบบ end-to-end โดยเริ่มจากแสดงให้เห็นว่าสามารถทำนายสูตรที่กระชับสำหรับฟังก์ชันที่ซับซ้อนซึ่งไม่เคยเห็นระหว่างการฝึกได้ เมื่อได้รับ truth table ที่สะอาด จากนั้นยังแสดงความสามารถในการหา expression แบบประมาณค่าเมื่อได้รับข้อมูลสังเกตที่ไม่สมบูรณ์และมี noise ผู้วิจัยประเมิน Boolformer บนชุดข้อมูล binary classification จากโลกจริงที่หลากหลาย แสดงให้เห็นถึงศักยภาพในฐานะทางเลือกที่ตีความได้แทนวิธี machine learning แบบดั้งเดิม สุดท้ายยังนำไปประยุกต์ใช้กับงานที่แพร่หลายอย่างการจำลองพลวัตของเครือข่ายควบคุมยีน จาก benchmark ล่าสุด แสดงให้เห็นว่า Boolformer สามารถแข่งขันกับ genetic algorithm ระดับ state-of-the-art ได้ พร้อมความเร็วที่เพิ่มขึ้นหลายลำดับขั้น โค้ดและโมเดลเปิดให้ใช้งานสาธารณะ
  > In this work, we introduce Boolformer, the first Transformer architecture trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions which were not seen during training, when provided a clean truth table. Then, we demonstrate its ability to find approximate expressions when provided incomplete and noisy observations. We evaluate the Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modelling the dynamics of gene regulatory networks. Using a recent benchmark, we show that Boolformer is competitive with state-of-the art genetic algorithms with a speedup of several orders of magnitude. Our code and models are available publicly.

ลิงก์บทความ

https://arxiv.org/abs/2309.12207

อ่านเพิ่มเติม

https://x.com/stephanedascoli/status/1706235856778834015

จัดแนวโมเดลมัลติโหมดขนาดใหญ่ด้วย RLHF ที่เสริมข้อเท็จจริง / Aligning Large Multimodal Models with Factually Augmented RLHF

แนะนำบทความ

• นำ factually augmented RLHF มาใช้เพื่อจัดแนวโมเดลมัลติโหมดขนาดใหญ่ แนวทางนี้ช่วยบรรเทา reward hacking ใน RLHF และปรับปรุงประสิทธิภาพบนชุดข้อมูล llava-bench ไปถึงระดับ 94% ของ GPT-4 แบบข้อความล้วน #llm-alignment #multimodal #rlhf
  > Adapts factually augmented rlhf to aligning large multimodal models; this approach alleviates the reward hacking in rlhf and improves performance on the llava-bench dataset with the 94% performance level of the text-only gpt-4.

บทคัดย่อ

• โมเดลมัลติโหมดขนาดใหญ่ (LMM) ถูกสร้างขึ้นครอบคลุมหลายโมดาลิตี และเมื่อการจัดแนวระหว่างสองโมดาลิตีคลาดเคลื่อน อาจทำให้เกิด “ภาพหลอน” (hallucination) ซึ่งสร้างผลลัพธ์ข้อความที่ไม่ได้มีรากฐานจากข้อมูลมัลติโหมดในบริบท เพื่อแก้ปัญหาการจัดแนวมัลติโหมดที่คลาดเคลื่อนนี้ ผู้วิจัยได้นำ Reinforcement Learning from Human Feedback (RLHF) จากโดเมนข้อความมาปรับใช้กับงาน vision-language alignment โดยให้ผู้ให้คำอธิบายประกอบที่เป็นมนุษย์เปรียบเทียบคำตอบสองแบบและระบุว่าคำตอบใดมี hallucination มากกว่า จากนั้นฝึกโมเดล vision-language ให้เพิ่มรางวัลมนุษย์จำลองให้สูงสุด พวกเขาเสนออัลกอริทึมการจัดแนวใหม่ชื่อ Factually Augmented RLHF ซึ่งเสริม reward model ด้วยข้อมูลข้อเท็จจริงเพิ่มเติม เช่น image caption และตัวเลือกแบบ multiple-choice ที่เป็น ground truth เพื่อบรรเทาปรากฏการณ์ reward hacking ใน RLHF และเพิ่มประสิทธิภาพให้ดียิ่งขึ้น นอกจากนี้ยังเสริมข้อมูลฝึกที่ GPT-4 สร้างขึ้น (สำหรับ vision instruction tuning) ด้วยคู่ภาพ-ข้อความที่มนุษย์เขียนไว้ก่อนหน้านี้ เพื่อปรับปรุงความสามารถโดยรวมของโมเดล เพื่อประเมินแนวทางที่เสนอในสถานการณ์จริง ผู้วิจัยได้พัฒนา benchmark ประเมินใหม่ชื่อ MMHAL-BENCH ที่มุ่งเน้นเป็นพิเศษต่อการลงโทษ hallucination ในฐานะ LMM ตัวแรกที่ฝึกด้วย RLHF แนวทางนี้ทำให้เกิดการปรับปรุงอย่างโดดเด่นบนชุดข้อมูล LLaVA-Bench โดยทำผลงานได้ถึงระดับ 94% ของ GPT-4 แบบข้อความล้วน (ขณะที่วิธีที่ดีที่สุดก่อนหน้านี้ทำได้เพียงระดับ 87%) และมีประสิทธิภาพดีขึ้น 60% บน MMHAL-BENCH เมื่อเทียบกับ baseline อื่น ๆ โค้ด โมเดล และข้อมูลเปิดโอเพนซอร์สที่ https://llava-rlhf.github.io
  > Large Multimodal Models (LMM) are built across modalities and the misalignment between two modalities can result in "hallucination", generating textual outputs that are not grounded by the multimodal information in context. To address the multimodal misalignment issue, we adapt the Reinforcement Learning from Human Feedback (RLHF) from the text domain to the task of vision-language alignment, where human annotators are asked to compare two responses and pinpoint the more hallucinated one, and the vision-language model is trained to maximize the simulated human rewards. We propose a new alignment algorithm called Factually Augmented RLHF that augments the reward model with additional factual information such as image captions and ground-truth multi-choice options, which alleviates the reward hacking phenomenon in RLHF and further improves the performance. We also enhance the GPT-4-generated training data (for vision instruction tuning) with previously available human-written image-text pairs to improve the general capabilities of our model. To evaluate the proposed approach in real-world scenarios, we develop a new evaluation benchmark MMHAL-BENCH with a special focus on penalizing hallucinations. As the first LMM trained with RLHF, our approach achieves remarkable improvement on the LLaVA-Bench dataset with the 94% performance level of the text-only GPT-4 (while previous best methods can only achieve the 87% level), and an improvement by 60% on MMHAL-BENCH over other baselines. We opensource our code, model, data at https://llava-rlhf.github.io.

ลิงก์บทความ

https://arxiv.org/abs/2309.14525

อ่านเพิ่มเติม

https://x.com/arankomatsuzaki/status/1706839311306621182

การจัดแนวโมเดลภาษาขนาดใหญ่: บทสำรวจ / Large Language Model Alignment: A Survey

แนะนำบทความ

• เป็นรายงานสำรวจอย่างครอบคลุมเกี่ยวกับการจัดแนว LLM โดยครอบคลุมหัวข้ออย่างการจัดแนวภายนอก การจัดแนวภายใน ความสามารถในการตีความเชิงกลไก การโจมตีต่อ LLM ที่ผ่านการจัดแนวแล้ว การประเมินการจัดแนว ทิศทางในอนาคต และการอภิปราย #survey-paper #llm-alignment
  > A comprehensive survey paper on llm alignment; topics include outer alignment, inner alignment, mechanistic interpretability, attacks on aligned llms, alignment evaluation, future directions, and discussions.

บทคัดย่อ

• ในช่วงไม่กี่ปีที่ผ่านมา โมเดลภาษาขนาดใหญ่ (LLM) ได้ก้าวหน้าอย่างน่าทึ่ง ความก้าวหน้าเหล่านี้แม้จะได้รับความสนใจอย่างมาก แต่ก็ได้ก่อให้เกิดความกังวลหลากหลายประการไปพร้อมกันด้วย ศักยภาพของโมเดลเหล่านี้นั้นกว้างใหญ่จนยากจะปฏิเสธ อย่างไรก็ตาม โมเดลอาจสร้างข้อความที่ไม่แม่นยำ ทำให้เข้าใจผิด หรือแม้แต่เป็นอันตรายได้ ดังนั้น การใช้เทคนิคการจัดแนวจึงมีความสำคัญอย่างยิ่งเพื่อให้แน่ใจว่าโมเดลเหล่านี้จะแสดงพฤติกรรมที่สอดคล้องกับคุณค่าของมนุษย์ บทสำรวจนี้มุ่งนำเสนอการสำรวจอย่างกว้างขวางเกี่ยวกับระเบียบวิธีการจัดแนวที่ออกแบบมาสำหรับ LLM ควบคู่ไปกับงานวิจัยด้านความสามารถที่มีอยู่ในสาขานี้ โดยใช้มุมมองของการจัดแนว AI เราจัดหมวดหมู่วิธีการที่ใช้กันโดยทั่วไปและข้อเสนอใหม่สำหรับการจัดแนว LLM ออกเป็นการจัดแนวภายนอกและการจัดแนวภายใน นอกจากนี้ยังสำรวจประเด็นสำคัญต่าง ๆ เช่น ความสามารถในการตีความของโมเดล และความเปราะบางที่อาจมีต่อการโจมตีแบบปฏิปักษ์ เพื่อประเมินการจัดแนวของ LLM เรานำเสนอ benchmark และระเบียบวิธีการประเมินที่หลากหลาย หลังจากอภิปรายสถานะปัจจุบันของงานวิจัยด้านการจัดแนวสำหรับ LLM แล้ว เราจึงนำเสนอวิสัยทัศน์สู่อนาคต โดยพิจารณาถึงแนวทางการวิจัยที่มีแนวโน้มสดใสรออยู่ข้างหน้า ความมุ่งหวังของเราสำหรับบทสำรวจนี้ไม่ได้จำกัดอยู่เพียงการกระตุ้นความสนใจด้านการวิจัยในพื้นที่นี้เท่านั้น แต่ยังรวมถึงการเชื่อมช่องว่างระหว่างชุมชนนักวิจัยด้านการจัดแนว AI กับนักวิจัยที่มุ่งสำรวจความสามารถของ LLM เพื่อให้ได้ LLM ที่ทั้งมีความสามารถและปลอดภัย
  > Recent years have witnessed remarkable progress made in large language models (LLMs). Such advancements, while garnering significant attention, have concurrently elicited various concerns. The potential of these models is undeniably vast; however, they may yield texts that are imprecise, misleading, or even detrimental. Consequently, it becomes paramount to employ alignment techniques to ensure these models to exhibit behaviors consistent with human values. This survey endeavors to furnish an extensive exploration of alignment methodologies designed for LLMs, in conjunction with the extant capability research in this domain. Adopting the lens of AI alignment, we categorize the prevailing methods and emergent proposals for the alignment of LLMs into outer and inner alignment. We also probe into salient issues including the models' interpretability, and potential vulnerabilities to adversarial attacks. To assess LLM alignment, we present a wide variety of benchmarks and evaluation methodologies. After discussing the state of alignment research for LLMs, we finally cast a vision toward the future, contemplating the promising avenues of research that lie ahead. Our aspiration for this survey extends beyond merely spurring research interests in this realm. We also envision bridging the gap between the AI alignment research community and the researchers engrossed in the capability exploration of LLMs for both capable and safe LLMs.

ลิงก์บทความ

https://arxiv.org/abs/2309.15025

อ่านเพิ่มเติม

https://x.com/omarsar0/status/1706845285064818905

รายงานทางเทคนิค Qwen / Qwen Technical Report

แนะนำบทความ

• เสนอชุดของ LLM ที่แสดงให้เห็นถึงจุดแข็งของ RLHF ในงานที่เกี่ยวข้องกับการใช้เครื่องมือและความสามารถด้านการวางแผนสำหรับการสร้าง language agents #qwen-vl #rlhf
  > Proposes a series of llms demonstrating the strength of rlhf on tasks involving tool use and planning capabilities for creating language agents.

บทคัดย่อ

• โมเดลภาษาขนาดใหญ่ (LLM) ได้ปฏิวัติวงการปัญญาประดิษฐ์ ทำให้งานประมวลผลภาษาธรรมชาติที่ก่อนหน้านี้เชื่อกันว่าเป็นความสามารถเฉพาะของมนุษย์กลายเป็นสิ่งที่ทำได้ ในบทความนี้ เราขอแนะนำ Qwen ซึ่งเป็นผลงานลำดับแรกในซีรีส์โมเดลภาษาขนาดใหญ่ของเรา Qwen เป็นซีรีส์โมเดลภาษาที่ครอบคลุมหลายโมเดลซึ่งมีจำนวนพารามิเตอร์แตกต่างกัน ซึ่งรวมถึง Qwen ที่เป็นโมเดลภาษาพื้นฐานที่ผ่านการพรีเทรน และ Qwen-Chat ที่เป็นโมเดลแชตซึ่งปรับจูนละเอียดด้วยเทคนิคการจัดแนวให้สอดคล้องกับมนุษย์ โมเดลภาษาพื้นฐานแสดงประสิทธิภาพที่โดดเด่นอย่างสม่ำเสมอในงานปลายน้ำหลากหลายประเภท และโมเดลแชต โดยเฉพาะรุ่นที่ฝึกด้วย Reinforcement Learning from Human Feedback (RLHF) ก็มีความสามารถในการแข่งขันสูงมาก โมเดลแชตมีความสามารถขั้นสูงด้านการใช้เครื่องมือและการวางแผนสำหรับการสร้างแอปพลิเคชันแบบเอเจนต์ โดยแสดงผลงานที่น่าประทับใจแม้เมื่อนำไปเทียบกับโมเดลขนาดใหญ่กว่าบนงานที่ซับซ้อน เช่น การใช้ code interpreter นอกจากนี้ เรายังได้พัฒนาโมเดลเฉพาะทางด้านโค้ด ได้แก่ Code-Qwen และ Code-Qwen-Chat รวมถึงโมเดลเฉพาะทางด้านคณิตศาสตร์อย่าง Math-Qwen-Chat ซึ่งสร้างขึ้นบนพื้นฐานของโมเดลภาษาพื้นฐาน โมเดลเหล่านี้แสดงประสิทธิภาพที่ดีขึ้นอย่างชัดเจนเมื่อเทียบกับโมเดลโอเพนซอร์ส และตามหลังโมเดลแบบ proprietary อยู่เพียงเล็กน้อย
  > Large language models (LLMs) have revolutionized the field of artificial intelligence, enabling natural language processing tasks that were previously thought to be exclusive to humans. In this work, we introduce Qwen, the first installment of our large language model series. Qwen is a comprehensive language model series that encompasses distinct models with varying parameter counts. It includes Qwen, the base pretrained language models, and Qwen-Chat, the chat models finetuned with human alignment techniques. The base language models consistently demonstrate superior performance across a multitude of downstream tasks, and the chat models, particularly those trained using Reinforcement Learning from Human Feedback (RLHF), are highly competitive. The chat models possess advanced tool-use and planning capabilities for creating agent applications, showcasing impressive performance even when compared to bigger models on complex tasks like utilizing a code interpreter. Furthermore, we have developed coding-specialized models, Code-Qwen and Code-Qwen-Chat, as well as mathematics-focused models, Math-Qwen-Chat, which are built upon base language models. These models demonstrate significantly improved performance in comparison with open-source models, and slightly fall behind the proprietary models.

ลิงก์บทความวิจัย

https://arxiv.org/abs/2309.16609

อ่านเพิ่มเติม

https://x.com/omarsar0/status/1707776749042364729

MentalLLaMA: การวิเคราะห์สุขภาพจิตบนโซเชียลมีเดียแบบตีความได้ด้วยโมเดลภาษาขนาดใหญ่ / MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models

แนะนำบทความวิจัย

• เป็นซีรีส์โอเพนซอร์ส llm สำหรับการวิเคราะห์สุขภาพจิตแบบตีความได้ที่มีความสามารถในการทำตามคำสั่ง พร้อมทั้งเสนอชุดข้อมูลคำสั่งด้านสุขภาพจิตแบบตีความได้บนโซเชียลมีเดียที่รองรับหลายงานและหลายแหล่งข้อมูล โดยมีตัวอย่างข้อมูล 105,000 รายการ #medical #llm-for-clinical-task #llama
  > An open-source llm series for interpretable mental health analysis with instruction-following capability; it also proposes a multi-task and multi-source interpretable mental health instruction dataset on social media with 105k data samples.

บทคัดย่อ

• ด้วยความก้าวหน้าของเทคโนโลยีเว็บ ข้อความบนโซเชียลมีเดียกำลังกลายเป็นแหล่งข้อมูลที่อุดมสมบูรณ์สำหรับการวิเคราะห์สุขภาพจิตแบบอัตโนมัติ เนื่องจากวิธีจำแนกแบบดั้งเดิมมีปัญหาเรื่องความสามารถในการตีความต่ำ จึงมีการศึกษาการใช้โมเดลภาษาขนาดใหญ่สำหรับการวิเคราะห์สุขภาพจิตบนโซเชียลมีเดียที่ตีความได้ ซึ่งมีเป้าหมายเพื่อให้คำอธิบายอย่างละเอียดควบคู่ไปกับการคาดการณ์ ผลลัพธ์แสดงให้เห็นว่า ChatGPT สามารถสร้างคำอธิบายที่ใกล้เคียงมนุษย์สำหรับการจำแนกที่ถูกต้องได้ อย่างไรก็ตาม LLM ยังคงให้ประสิทธิภาพการจำแนกที่ไม่น่าพอใจในรูปแบบ zero-shot/few-shot การปรับจูนเฉพาะโดเมนเป็นวิธีแก้ที่มีประสิทธิภาพ แต่เผชิญกับความท้าทาย 2 ประการ: 1) ขาดข้อมูลฝึกคุณภาพสูง 2) ยังไม่มีการเผยแพร่ LLM โอเพนซอร์สสำหรับการวิเคราะห์สุขภาพจิตแบบตีความได้เพื่อลดต้นทุนการปรับจูน เพื่อบรรเทาปัญหาเหล่านี้ Facebook ได้สร้างชุดข้อมูล interpretable mental health instruction (IMHI) บนโซเชียลมีเดียชุดแรกแบบหลายงานและหลายแหล่งข้อมูล ซึ่งประกอบด้วยตัวอย่างข้อมูล 105 万รายการ ข้อมูลโซเชียลมีเดียดิบถูกรวบรวมจาก 10 แหล่งข้อมูลที่มีอยู่เดิม ครอบคลุมงานวิเคราะห์สุขภาพจิต 8 งาน โดยใช้พรอมป์ few-shot ที่เขียนโดยผู้เชี่ยวชาญและเลเบลที่รวบรวมไว้เพื่อป้อนให้ ChatGPT และรับคำอธิบายจากคำตอบของมัน เพื่อให้มั่นใจในความน่าเชื่อถือของคำอธิบาย จึงมีการประเมินทั้งแบบอัตโนมัติและโดยมนุษย์อย่างเข้มงวดในด้านความถูกต้อง ความสอดคล้อง และคุณภาพของข้อมูลที่สร้างขึ้น บนพื้นฐานของชุดข้อมูล IMHI และโมเดลตั้งต้น LLaMA2 จึงได้ฝึก MentalLLaMA ซึ่งเป็นซีรีส์ LLM โอเพนซอร์สชุดแรกสำหรับการวิเคราะห์สุขภาพจิตแบบตีความได้ที่มีความสามารถในการทำตามคำสั่ง นอกจากนี้ยังประเมินประสิทธิภาพของ MentalLLaMA บนเกณฑ์มาตรฐานการประเมิน IMHI ที่ประกอบด้วยชุดทดสอบ 10 ชุด โดยตรวจสอบทั้งความถูกต้องของการคาดการณ์และคุณภาพของคำอธิบาย ผลลัพธ์แสดงให้เห็นว่า MentalLLaMA มีความแม่นยำเข้าใกล้วิธีจำแนกแบบล้ำสมัยและสร้างคำอธิบายคุณภาพสูงได้
  > With the development of web technology, social media texts are becoming a rich source for automatic mental health analysis. As traditional discriminative methods bear the problem of low interpretability, the recent large language models have been explored for interpretable mental health analysis on social media, which aims to provide detailed explanations along with predictions. The results show that ChatGPT can generate approaching-human explanations for its correct classifications. However, LLMs still achieve unsatisfactory classification performance in a zero-shot/few-shot manner. Domain-specific finetuning is an effective solution, but faces 2 challenges: 1) lack of high-quality training data. 2) no open-source LLMs for interpretable mental health analysis were released to lower the finetuning cost. To alleviate these problems, we build the first multi-task and multi-source interpretable mental health instruction (IMHI) dataset on social media, with 105K data samples. The raw social media data are collected from 10 existing sources covering 8 mental health analysis tasks. We use expert-written few-shot prompts and collected labels to prompt ChatGPT and obtain explanations from its responses. To ensure the reliability of the explanations, we perform strict automatic and human evaluations on the correctness, consistency, and quality of generated data. Based on the IMHI dataset and LLaMA2 foundation models, we train MentalLLaMA, the first open-source LLM series for interpretable mental health analysis with instruction-following capability. We also evaluate the performance of MentalLLaMA on the IMHI evaluation benchmark with 10 test sets, where their correctness for making predictions and the quality of explanations are examined. The results show that MentalLLaMA approaches state-of-the-art discriminative methods in correctness and generates high-quality explanations.

ลิงก์บทความวิจัย

https://arxiv.org/abs/2309.13567

อ่านเพิ่มเติม

https://x.com/SAnaniadou/status/1707668936634794442

เสริมการให้เหตุผลแบบ chain-of-thought zero-shot ในโมเดลภาษาขนาดใหญ่ผ่านตรรกะ / Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic

แนะนำบทความวิจัย

• เฟรมเวิร์ก neurosymbolic ใหม่เพื่อปรับปรุงการให้เหตุผลแบบ chain-of-thought zero-shot ของ LLM โดยอาศัยหลักการของตรรกะเชิงสัญลักษณ์เพื่อตรวจสอบและแก้ไขกระบวนการให้เหตุผล เพื่อยกระดับความสามารถในการให้เหตุผลของ LLM #chain-of-thought
  > A new neurosymbolic framework to improve zero-shot chain-of-thought reasoning in llms; leverages principles from symbolic logic to verify and revise reasoning processes to improve the reasoning capabilities of llms.

บทคัดย่อ

• ความก้าวหน้าล่าสุดของโมเดลภาษาขนาดใหญ่ได้แสดงให้เห็นถึงความสามารถในการทำให้ทั่วไปได้อย่างน่าทึ่งในหลากหลายโดเมน อย่างไรก็ตาม ความสามารถด้านการให้เหตุผลของโมเดลยังมีพื้นที่ให้พัฒนาได้อีกมาก โดยเฉพาะเมื่อเผชิญกับสถานการณ์ที่ต้องอาศัยการให้เหตุผลหลายขั้นตอน แม้ว่าโมเดลภาษาขนาดใหญ่จะมีความรู้กว้างขวาง แต่พฤติกรรมของมัน โดยเฉพาะในด้านการให้เหตุผล มักไม่สามารถนำความรู้นี้มาใช้ได้อย่างมีประสิทธิภาพเพื่อสร้างกรอบการคิดที่สอดคล้องกัน โมเดลภาษากำเนิดบางครั้งยังเกิดอาการ hallucination เนื่องจากกระบวนการให้เหตุผลไม่ได้ถูกจำกัดด้วยหลักการเชิงตรรกะ เพื่อยกระดับความสามารถในการให้เหตุผลแบบ zero-shot chain-of-thought ของโมเดลภาษาขนาดใหญ่ เราจึงเสนอ Logical Chain-of-Thought (LogiCoT) ซึ่งเป็นเฟรมเวิร์กแบบ neuro-symbolic ที่อาศัยหลักการจาก symbolic logic เพื่อตรวจสอบและปรับแก้กระบวนการให้เหตุผลตามความเหมาะสม การประเมินเชิงทดลองกับงานภาษาจากหลายโดเมน เช่น เลขคณิต commonsense symbolic การอนุมานเชิงสาเหตุ และปัญหาสังคม ได้แสดงให้เห็นถึงประสิทธิภาพของกระบวนทัศน์การให้เหตุผลที่ได้รับการเสริมด้วยตรรกะ
  > ความก้าวหน้าล่าสุดของโมเดลภาษาขนาดใหญ่ได้แสดงให้เห็นถึงความสามารถในการทำให้ทั่วไปได้อย่างน่าทึ่งในหลากหลายโดเมน อย่างไรก็ตาม ความสามารถด้านการให้เหตุผลของโมเดลยังมีพื้นที่ให้พัฒนาได้อีกมาก โดยเฉพาะเมื่อเผชิญกับสถานการณ์ที่ต้องอาศัยการให้เหตุผลหลายขั้นตอน แม้ว่าโมเดลภาษาขนาดใหญ่จะมีความรู้กว้างขวาง แต่พฤติกรรมของมัน โดยเฉพาะในด้านการให้เหตุผล มักไม่สามารถนำความรู้นี้มาใช้ได้อย่างมีประสิทธิภาพเพื่อสร้างกรอบการคิดที่สอดคล้องกัน โมเดลภาษากำเนิดบางครั้งยังเกิดอาการ hallucination เนื่องจากกระบวนการให้เหตุผลไม่ได้ถูกจำกัดด้วยหลักการเชิงตรรกะ เพื่อยกระดับความสามารถในการให้เหตุผลแบบ zero-shot chain-of-thought ของโมเดลภาษาขนาดใหญ่ เราขอเสนอ Logical Chain-of-Thought (LogiCoT) ซึ่งเป็นเฟรมเวิร์กแบบ neuro-symbolic ที่อาศัยหลักการจาก symbolic logic เพื่อตรวจสอบและปรับแก้กระบวนการให้เหตุผลตามความเหมาะสม การประเมินเชิงทดลองที่ดำเนินการกับงานภาษาจากหลายโดเมน รวมถึงเลขคณิต commonsense symbolic การอนุมานเชิงสาเหตุ และปัญหาสังคม แสดงให้เห็นถึงประสิทธิผลของกระบวนทัศน์การให้เหตุผลที่ได้รับการเสริมด้วยตรรกะ

ลิงก์บทความ

https://arxiv.org/abs/2309.13339

อ่านเพิ่มเติม

https://x.com/omarsar0/status/1706711389803287019

ต้นฉบับ

https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-c24

[alstjr7375]

ว้าว..อ่านบทความที่เขียนอย่างตั้งใจแล้วสนุกมากครับ

[ninebow]

ขอบคุณครับ ^^;