แนะนำ
ในปีนี้ มีบทความจำนวนหกเรื่องที่ได้รับรางวัลบทความยอดเยี่ยม โดยกระบวนการคัดเลือกมีดังนี้
ก่อนอื่น บทความต่าง ๆ ถูกกรองล่วงหน้าเพื่อคัดเลือกเป็นบทความผู้เข้าชิงรางวัลจำนวน 32 เรื่อง ในกระบวนการนี้ ได้เลือกบทความที่มีคะแนนเฉลี่ยสูงและบทความที่ได้รับการเสนอชื่อจากคณะกรรมการโปรแกรม ส่งผลให้ชุดบทความนี้ครอบคลุมหัวข้อ 16 หัวข้อที่นำเสนอในเซสชันบรรยายปากเปล่า บทความเหล่านี้ถูกส่งต่อให้คณะกรรมการรางวัลบทความยอดเยี่ยมพิจารณา
คณะกรรมการได้พิจารณาบทความเหล่านี้ และคัดเลือกบทความที่ได้รับรางวัลตามความชัดเจนอย่างยอดเยี่ยม ความลุ่มลึก ความคิดสร้างสรรค์ และอิทธิพลที่ยั่งยืน
แน่นอนว่าไม่มีขั้นตอนใดที่สมบูรณ์แบบในการคัดเลือกบทความที่ได้รับรางวัล แต่เราเชื่อว่าชุมชน ICML จะยอมรับถึงคุณูปการอันโดดเด่นอย่างยิ่งของบทความเหล่านี้
- คณะกรรมการรางวัลบทความยอดเยี่ยม: Danqi Chen, Bohyung Han, Samuel Kaski, Mengdi Wang, Tong Zhang
ผู้ได้รับรางวัลมีดังต่อไปนี้ (เรียงตามลำดับ ID บทความ):
-
D-Adaptation โดยการเรียนรู้แบบไม่ต้องใช้อัตราการเรียนรู้ (Learning-Rate-Free Learning by D-Adaptation)
Aaron Defazio (FAIR), Konstantin Mishchenko (Samsung AI Center)
https://openreview.net/forum?id=GXZ6cT5cvY
บทความนี้นำเสนอแนวทางที่น่าสนใจในการแก้ความท้าทายของการหาขอบเขตเชิงเหมาะที่สุดแบบไม่ต้องใช้อัตราการเรียนรู้สำหรับการหาค่าเหมาะที่สุดแบบสโตแคสติกเชิงนูนจำนวนมหาศาล ผู้เขียนเสนอวิธีใหม่เพื่อเอาชนะข้อจำกัดของการเลือกอัตราการเรียนรู้แบบดั้งเดิมในการปรับปัญหาเหล่านี้ให้เหมาะที่สุด งานวิจัยนี้เป็นคุณูปการที่มีคุณค่าและใช้งานได้จริงต่อสาขาการหาค่าเหมาะที่สุด -
ลายน้ำสำหรับโมเดลภาษาขนาดใหญ่ (A Watermark for Large Language Models)
John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein (University of Maryland)
https://openreview.net/forum?id=aX8ig9X2a7
บทความนี้เสนอวิธีใส่ลายน้ำให้กับผลลัพธ์ของโมเดลภาษาขนาดใหญ่ กล่าวคือการฝังสัญญาณที่มนุษย์มองไม่เห็นแต่สามารถตรวจจับได้ด้วยอัลกอริทึมลงในข้อความที่สร้างขึ้น ลายน้ำสามารถสร้างได้โดยไม่ต้องฝึกโมเดลภาษาใหม่ และสามารถตรวจจับได้โดยไม่ต้องเข้าถึง API หรือพารามิเตอร์ของโมเดล บทความยังเสนอการทดสอบทางสถิติที่มีค่า p ซึ่งตีความได้ เพื่อใช้ตรวจจับลายน้ำ และนำเสนอกรอบงานเชิงทฤษฎีสารสนเทศสำหรับวิเคราะห์ความไวของมัน วิธีที่เสนอมีทั้งความเรียบง่ายและความใหม่ พร้อมการวิเคราะห์เชิงทฤษฎีอย่างรอบด้านและการทดลองที่แข็งแรง เมื่อพิจารณาถึงความท้าทายสำคัญในการตรวจจับและตรวจสอบข้อความสังเคราะห์ที่สร้างโดย LLM บทความนี้มีแนวโน้มที่จะสร้างผลกระทบสำคัญต่อชุมชน -
การทั่วไปไปยังสิ่งที่ไม่เคยเห็น การให้เหตุผลเชิงตรรกะ และหลักสูตรตามดีกรี (Generalization on the Unseen, Logic Reasoning and Degree Curriculum)
Emmanuel Abbe (EPFL, Apple) , Samy Bengio (Apple), Aryo Lotfi (EPFL), Kevin Rizk (EPFL)
https://openreview.net/forum?id=3dqwXb1te4
งานชิ้นนี้มอบความก้าวหน้าสำคัญในการเรียนรู้ฟังก์ชันบูลีน โดยเฉพาะในบริบทของการทั่วไปไปยังสิ่งที่ไม่เคยเห็น (GOTU) ซึ่งเป็นปัญหาที่ท้าทายและก่อให้เกิดประเด็นเรื่องการทั่วไปนอกการกระจาย บทความเจาะลึกหัวข้อสำคัญนี้อย่างจริงจัง และนำเสนอแนวทางที่มีโครงสร้างดี พร้อมทั้งได้รับการสนับสนุนจากการวิเคราะห์เชิงทฤษฎีและการทดลองอย่างกว้างขวาง งานวิจัยนี้ช่วยยกระดับความเข้าใจเชิงทฤษฎีต่อการเรียนรู้ฟังก์ชันบูลีน และแสดงให้เห็นวิธีนำไปใช้กับอัลกอริทึมจริง -
การออกแบบกลยุทธ์สำรวจ-ใช้ประโยชน์ด้วยอัตราส่วนสารสนเทศเชิงอัลกอริทึม (Designing Exploration-Exploitation Strategies Using the Algorithmic Information Ratio)
Yonathan Efroni (Technion), Gal Dalal (Technion), Shie Mannor (Technion), Ofer Shayevitz (Tel Aviv University)
https://openreview.net/forum?id=tRhQsHnoFw
บทความนี้ว่าด้วยปัญหาทั่วไปอย่างมากในการออกแบบกลยุทธ์ bandit และกลยุทธ์การตัดสินใจแบบลำดับอื่น ๆ โดยเสนอวิธีใช้ปริมาณใหม่ที่เรียกว่าอัตราส่วนสารสนเทศเชิงอัลกอริทึม เพื่อจำกัด regret ของกลยุทธ์ และอนุมานวิธีเพิ่มประสิทธิภาพขอบเขตดังกล่าว ขอบเขตนี้แน่นกว่าปริมาณเชิงทฤษฎีสารสนเทศที่คล้ายกันก่อนหน้า และวิธีการเหล่านี้ทำงานได้ดีทั้งในบริบท bandit แบบสโตแคสติกและแบบปรปักษ์ พร้อมบรรลุประสิทธิภาพดีที่สุดในทุกโลก สิ่งที่น่าสนใจเป็นพิเศษคือ บทความนี้ชี้ให้เห็นความเป็นไปได้ในการเปิดแนวทางใหม่ทั้งสายสำหรับกลยุทธ์สำรวจ-ใช้ประโยชน์ที่นอกเหนือจาก Thompson sampling และ UCB ซึ่งเป็นวิธีที่รู้จักกันดีสำหรับ bandit การขยายหลักการนี้ไปสู่การเรียนรู้แบบเสริมกำลังมีแนวโน้มที่น่าจับตามองอย่างมาก บทความนี้ได้รับการสนับสนุนอย่างหนักแน่นและสอดคล้องกันจากผู้รีวิวผู้เชี่ยวชาญ
เอกสารอ้างอิง
นี่คือเว็บไซต์ทางการของ ICML 2023 คุณสามารถดูบทความและผลงานที่ได้รับรางวัลต่าง ๆ ได้ที่:
https://icml.cc/Conferences/2023
นี่คือแพลตฟอร์มสำหรับดูรีวิวและการอภิปรายของบทความต่าง ๆ คุณสามารถดูรายละเอียดเพิ่มเติมและการอภิปรายผ่านลิงก์ของแต่ละบทความได้:
https://openreview.net/
- บทความนี้เป็นคำอธิบายที่สร้างขึ้นอัตโนมัติโดยใช้ GPT-4 และอาจมีข้อมูลที่ไม่ถูกต้อง
- หากคุณพบข้อมูลที่ไม่ถูกต้อง กรุณาแจ้งผ่านคอมเมนต์!
1 ความคิดเห็น
อ่านเพิ่มเติม