Word2Vec ถูกตัดสินว่า 'ปฏิเสธอย่างหนัก' ถึงสี่ครั้งที่ ICLR2013
(openreview.net)การประมาณพื้นที่เวกเตอร์ของตัวแทนคำอย่างมีประสิทธิภาพ
- นักวิจัยได้นำเสนอสถาปัตยกรรมโมเดลใหม่ 2 แบบสำหรับคำนวณตัวแทนเวกเตอร์ต่อเนื่องของคำจากชุดข้อมูลขนาดใหญ่มาก
- คุณภาพของตัวแทนเหล่านี้วัดจากงานด้านความคล้ายคลึงของคำ และถูกนำไปเปรียบเทียบกับเทคนิคที่อิงโครงข่ายประสาทเทียมหลายประเภทซึ่งก่อนหน้านี้ทำผลงานได้ดีที่สุด
- ทีมวิจัยสังเกตเห็นว่าความแม่นยำดีขึ้นอย่างมากด้วยต้นทุนการคำนวณที่ต่ำกว่ามาก กล่าวคือ สามารถสร้างเวกเตอร์ 300 มิติคุณภาพสูงสำหรับคำศัพท์ 1 ล้านคำจากชุดข้อมูล 1.6 พันล้านคำได้ภายในเวลาไม่ถึงหนึ่งวันด้วย CPU เพียงตัวเดียว
- นอกจากนี้ยังแสดงให้เห็นว่าเวกเตอร์เหล่านี้ให้ผลลัพธ์ล้ำสมัยบนชุดทดสอบสำหรับวัดความคล้ายคลึงของคำในหลากหลายรูปแบบ
- มีแผนจะเปิดเผยชุดทดสอบนี้เพื่อให้ชุมชนวิจัยนำไปใช้งานได้
ความเห็น
- ผู้รีวิวชี้ว่าบทความขาดแรงจูงใจที่ชัดเจนว่าโมเดลที่เสนอแตกต่างจากโมเดลเดิมอย่างไร และเหตุใดจึงเหนือกว่า
- คำอธิบายของโมเดลมีเพียงเล็กน้อย ทำให้ยากต่อการตัดสินว่าแตกต่างจากงานวิจัยก่อนหน้าอย่างไร
- ผู้รีวิวเน้นว่าบทความมีการเปรียบเทียบที่ไม่สอดคล้องกันระหว่างโมเดลที่ฝึกด้วยชุดข้อมูลหลายแบบและมิติต่างกัน ซึ่งเป็นสิ่งจำเป็นหากต้องการให้ข้ออ้างของบทความน่าเชื่อถือ
ความเห็นของ GN⁺
- งานวิจัยนี้เสนอเทคนิคใหม่ในการประมาณเวกเตอร์คำอย่างมีประสิทธิภาพ ซึ่งถือเป็นความก้าวหน้าสำคัญในวงการประมวลผลภาษาธรรมชาติ
- โมเดลที่เสนอสามารถฝึกได้เร็วกว่าโมเดลโครงข่ายประสาทเทียมที่ซับซ้อนแบบเดิมมาก ซึ่งอาจเป็นประโยชน์ต่อการวิจัยที่ต้องจัดการกับข้อมูลภาษาขนาดใหญ่
- บทความนี้ยังนำเสนอวิธีใหม่ในการประเมินคุณภาพของเวกเตอร์คำ ซึ่งมีแนวโน้มจะกลายเป็นมาตรฐานสำหรับการวัดความคล้ายคลึงของคำในงานวิจัยอนาคต
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
โพสต์ FB ล่าสุดของ Tomas Mikolov (ผู้เขียน word2vec) มีรายละเอียดเพิ่มเติม: https://www.facebook.com/share/p/kXYaYaRvRCr5K2Ze
จุดที่ทั้งน่าสนใจและขมขื่นคือ ผู้เชี่ยวชาญก็ผิดพลาดได้ มีตั้งแต่ปฏิกิริยาแบบ Geoff Hinton ที่ว่าเรื่องการอนุมานคำ “ผมก็รู้อยู่แล้ว แต่ลืมนำเสนอ” ไปจนถึงคนที่ไม่ได้อ่านเปเปอร์หรือทดลองเอง แต่บอกว่า “เป็นลูกเล่นล้วน ๆ ไม่มีทางใช้ได้จริง” มีการกล่าวถึงด้วยว่า Ian Goodfellow ก็โกรธบน Twitter
แต่ Quoc บอกว่าไม่เป็นความจริง: https://twitter.com/quocleix/status/1736523075943125029
ฝั่ง Quoc จำได้ว่า Tomas ไม่ได้เสนอไอเดียนั้น ตรงกันข้าม เมื่อพวกเขาแชร์ไอเดียการแปลแบบ end-to-end Tomas กลับกังขาอย่างมาก และพวกเขาพยายามทำให้มันใช้งานได้แม้จะมีความกังขานั้นอยู่ก็ตาม ดูเหมือนไม่ใช่ว่าใครโกหก แต่ฝ่ายหนึ่งอาจจำผิด ทว่าก็ยังทิ้งความรู้สึกไม่ดีไว้
การให้น้ำหนัก tf-idf กับคำบางคำช่วยได้เล็กน้อย แต่ชุดคำที่ใส่น้ำหนัก tf-idf ก็ทรงพลังใกล้เคียงกัน วิธีใช้ cosine similarity กับผลรวมของเวกเตอร์หลายคำ พอมองตอนนี้แล้วฟังดูโง่มากจริง ๆ
ถ้านี่คือสิ่งที่ว่า พูดตรง ๆ มันทำให้ Mikolov ดู ไม่ค่อยมั่นคงทางอารมณ์
อย่างไรก็ตาม ก็เชื่อได้ว่านักวิจัยส่วนใหญ่ก็เป็นมนุษย์ และได้รับอิทธิพลจากอัตตาและเงินมากกว่าจะให้ความสำคัญสูงสุดกับการพัฒนาความรู้ร่วมกัน แค่ก OpenAI แค่ก
ไม่อย่างนั้นมันก็ฟังเหมือนเป็นแค่ โพสต์บ่น
ผมว่าผู้รีวิวทำได้ค่อนข้างดี เนื้อหารีวิวก็สมเหตุสมผลมาก การรีวิวควรเป็นกระบวนการที่ดู คุณภาพของเปเปอร์ ไม่ใช่ว่าเปเปอร์นั้นจะมีอิทธิพลมากแค่ไหนในอนาคต
เปเปอร์ที่มีอิทธิพลไม่ได้หมายความว่าทุกชิ้นจะเป็นเปเปอร์ที่ดีจริง ๆ
แรงจูงใจไม่เพียงพอ การมีส่วนสนับสนุนไม่ได้ถูกนำเสนออย่างชัดเจน และวิธีอธิบายก็สับสนมาก แก่นของไอเดียแทบไม่เปลี่ยน แต่เปเปอร์ที่ได้ตีพิมพ์ในที่สุดดีขึ้นมาก และนั่นเป็นเพราะรีวิวแรกค่อนข้างรุนแรง ตัวรีวิวเองไม่ได้มี insight พิเศษอะไร เป็นแค่ระดับ “สับสน ไม่รู้ว่ากำลังทำอะไรและทำไปทำไม” แต่บางครั้ง มุมมองจากภายนอก แบบนั้นก็จำเป็นจริง ๆ
ผมเองก็เคยรีวิวและปฏิเสธเปเปอร์ที่เห็นเมล็ดพันธุ์ของไอเดียยอดเยี่ยม แต่ตัวเปเปอร์ที่เขียนออกมาเองยังไม่ดี พอเห็นเปเปอร์เหล่านั้นได้ตีพิมพ์ในรูปแบบที่ดีขึ้นมากในภายหลัง ก็รู้สึกดีใจเสมอ
ควรดูว่า “เปเปอร์นี้ขับเคลื่อนสาขาให้ก้าวหน้า จึงควรถูกเผยแพร่ให้เห็นมากขึ้นหรือไม่” ไม่ใช่ “เปเปอร์นี้ติ๊กครบทุกช่องหรือไม่” การที่อย่างแรกไม่ได้นำไปสู่อย่างหลังได้ดีขึ้น คือความล้มเหลวของระบบ
คล้ายค่านิยมการจ้างงานที่เลือกผู้สมัครที่ทรงผมเรียบร้อยและพูดรหัสลับที่ถูกต้อง แต่พลาดคนที่ส่งผลต่อรายได้จริง ๆ
เปเปอร์ที่ ‘ดี’ ซึ่งเข้มงวดมากแต่ไม่ก่อให้เกิดอะไรเลย เป็น เปเปอร์ที่ดี จริงหรือ? ถ้ามองความก้าวหน้าทางวิทยาศาสตร์ว่าเปเปอร์ที่เข้มงวดคือการทอยลูกเต๋าที่มีโอกาสสำเร็จสูง ส่วนเปเปอร์ที่เข้มงวดน้อยคือการทอยลูกเต๋าที่มีโอกาสต่ำ ก็แค่หาแต่เปเปอร์ที่เข้มงวดก็พอ ถ้าเช่นนั้น การที่ word2vec ซึ่งมีความเข้มงวดต่ำสร้างความก้าวหน้าได้ ก็จะสรุปได้ว่าเป็น “โชคดีจริง ๆ” และไม่จำเป็นต้องได้รับการประเมินที่ดี
แต่ word2vec ก็ สร้างสรรค์เชิงนวัตกรรม มากด้วย และจุดนั้นควรเป็นปัจจัยบวกในการรีวิวด้วย ผมกลับคิดว่าเปเปอร์ที่มีนวัตกรรมมักทำให้เข้มงวดมากได้ยาก เพราะนิยามของความเข้มงวดในสาขานั้นยังไม่ลงตัวด้วยซ้ำ ในขอบเขตสุดโต่ง ผมอยากโต้แย้งว่าความเข้มงวดกับนวัตกรรมมีสหสัมพันธ์เชิงลบ
https://en.wikipedia.org/wiki/Eight-legged_essay#Viewpoints
หากถามคนที่ให้ทุนวิจัย พวกเขาน่าจะอยากลงทุนกับไอเดียที่มีอิทธิพล มากกว่าการผลิตเปเปอร์ ‘คุณภาพสูง’ ที่ไม่มีอิทธิพล
มาดูภายหลังแล้ว คอมเมนต์ของรีวิวเวอร์ f5bf น่าสนใจ เขาบอกว่าน่าจะอธิบายว่าโมเดลเหล่านี้จัดการกับ ความคล้ายคลึงทางความหมายแบบไม่ถ่ายทอด อย่าง “river”, “bank”, “bailout” ได้อย่างไร และบอกว่าคนอย่าง Tversky เคยวิจารณ์ว่าโมเดล semantic space ไม่สามารถโมเดลความคล้ายคลึงเช่นนี้ได้อย่างเหมาะสม
สิ่งที่เห็นเด่นชัดในโมเดลสมัยใหม่ (เช่น GPT, โมเดล diffusion สำหรับภาพ ฯลฯ) คือความสามารถในการเล่นกับคำเมื่อมีความหมายกำกวม เมื่อก่อนดูเหมือนเป็นความสามารถที่เป็นมนุษย์มาก ๆ แต่ตอนนี้ดูเหมือนมันเข้ามาอยู่ในกล่องเครื่องมือของโมเดลเชิงสร้างแล้ว คาดว่าส่วนใหญ่คงใช้บางอย่างที่คล้าย word2vec เพื่อให้ได้ embedding vector จากพรอมป์
ไม่รู้ว่าความกำกวมของ word2vec มีส่วนช่วยต่อความสามารถในการเล่นคำหรือไม่ แต่สิ่งนี้แสดงสถานการณ์แบบ ฟีเจอร์กับบั๊ก คือความกำกวมแบบนี้เป็นฟีเจอร์สำหรับวัตถุประสงค์เชิงสร้างสรรค์ แต่เป็นบั๊กถ้าต้องการโมเดล semantic space ให้เป็น vector space อย่างเคร่งครัด
ผมตีความว่า embedding ของคำ/พรอมป์ในโมเดลปัจจุบันใหญ่เกินไปจนถูกอัดแน่นเกินด้วยมิติที่ซ้ำซ้อน และคงไม่เป็นไปตาม formalism ทางคณิตศาสตร์ใด ๆ แบบ vector space ที่ทำงานได้ดี
แต่โมเดลรุ่นหลัง ๆ เช่น ตระกูล Transformer, BERT, GPT ฯลฯ จะกำหนด vector ที่ต่างกันโดยสิ้นเชิงตามบริบทของคำรอบ ๆ “bank” นั้น
ดูเหมือนเวอร์ชันแรก ๆ ของเปเปอร์ถูกปฏิเสธ และภายหลังมีการอัปเดตกับเสริมคำอธิบายตามรีวิว สุดท้ายก็เป็นประโยชน์ และดูเหมือนเป็น วิธีที่กระบวนการรีวิวควรทำงาน
โดยเฉพาะเพราะเปเปอร์นี้เป็นงานพลิกวงการ จึงสมเหตุสมผลที่จะทุ่มแรงอธิบายให้มากขึ้นว่ามันทำงานได้อย่างไร แทนที่จะพึ่งพาแค่ผล benchmark ที่ดี
มองย้อนกลับไปตอนนี้ รีวิวเวอร์นิรนามที่เคยดูฉลาดน่าจะรู้สึกค่อนข้างโง่
peer review ใช้ได้ไม่ดีกับไอเดียใหม่ ๆ เพราะไม่มีใครมีเวลาหรือพลังพอจะใช้เวลาหลายชั่วโมงแล้วหลายชั่วโมงอีกเพื่อทำความเข้าใจสิ่งใหม่
เคยอ่านบทความหนึ่ง แต่ตอนนี้หาเจอได้ไม่ง่าย เป็นบทความที่สรุปประวัติของระบบ peer review ปัจจุบันคร่าว ๆ peer review อย่างที่เรารู้จักกันทุกวันนี้เกิดขึ้นหลัก ๆ ในทศวรรษ 1970 และเป็นการตอบสนองต่อวิกฤตเงินทุนหลายอย่างในแวดวงวิชาการ กล่าวคือมันเป็นกลยุทธ์เพื่อทำให้งานวิจัยดูน่าเชื่อถือมากขึ้น
คำวิจารณ์ที่ร้ายแรงที่สุดต่อ peer review แน่นอนว่าคือมันล้มเหลวโดยสิ้นเชิงในการป้องกันวิกฤต reproducibility และบางทีมันอาจช่วยให้เกิดด้วยซ้ำ แวดวงวิชาการเป็นระบบที่แรงจูงใจหลักคือการหาเงินทุนผ่านภาพลักษณ์ของความน่าเชื่อถือ และในเชิงหลักการแล้ว นั่นคือสูตรสำเร็จของการฉ้อโกงในวงกว้าง
ตัวอย่างเช่น รีวิวของ f5bf สรุป CBOW และ skip-gram และชี้ว่าคำอธิบายโมเดลมีน้อยมากจนตัดสินได้ยากว่าต่างจากโมเดลเดิมแค่ไหน เขาเห็นว่าควรเพิ่มการนำเสนอด้วยภาพหรือรายละเอียดทางคณิตศาสตร์ และเนื่องจากใช้พื้นที่ไปมากกับสมการที่ค่อนข้างไม่จำเป็นเกี่ยวกับจำนวนพารามิเตอร์ จึงน่าจะทำได้สบายด้วยพื้นที่ที่เหลือเกือบหนึ่งหน้า
รีวิวเหล่านี้นำไปสู่การแก้ไขเปเปอร์อย่างมาก เพียงแต่ดูเหมือนยังไม่มากพอ: https://openreview.net/forum?id=idpCdOWtqXd60¬eId=C8Vn84f...
เป็น รีวิวคุณภาพค่อนข้างดี และโดยส่วนตัวคิดว่าเปเปอร์ได้ประโยชน์จากกระบวนการรีวิวนี้
ผมได้รับรีวิวที่เหลวไหลจริง ๆ และมีบาปที่ขัดต่อจิตวิญญาณของวิทยาศาสตร์ด้วย เช่น มีรีวิวเวอร์ที่แทบจะยืนกรานว่าถ้าไม่มีไอเดียสถาปัตยกรรมใหม่กับผลลัพธ์ระดับ state-of-the-art ก็ไม่ควรตีพิมพ์ ราวกับว่าการเข้าใจและทำให้เครื่องมือที่มีอยู่แล้วเรียบง่ายขึ้นนั้นทำไม่ได้เด็ดขาด
แน่นอนว่าบางครั้งรีวิวเวอร์ก็ไปโฟกัสประเด็นอื่นแทนที่จะเป็น “สิ่งนี้จะปฏิวัติ A, B, C หรือไม่”
word2vec ไม่ได้มีแนวคิดใหม่มากมายขนาดนั้น จุดที่ต่างคือมันเรียบง่าย เร็ว และมีคุณภาพดี ซอฟต์แวร์กับเวกเตอร์ที่ pretrain ไว้เข้าถึงและใช้ง่ายกว่าวิธีเดิม
มี “strong reject” อยู่สี่อันก็จริง แต่ดูเหมือนทั้งหมดเขียนโดยรีวิวเวอร์คนเดียวกัน เวลาเดียวกัน และเนื้อหาเดียวกัน แบบนี้ไม่ใช่แค่ การปฏิเสธหนึ่งครั้ง หรอกหรือ?
แล้วก็สงสัยด้วยว่าทำไมเห็นคะแนนของรีวิวเวอร์คนนั้นแค่คนเดียว
ผมสงสัยว่าคนที่พูดอย่างหนักแน่นเกี่ยวกับคุณค่าหรือความไร้ค่าของ peer review ในที่นี้ มีสักกี่คนที่เคยมีส่วนร่วมทั้งในฐานะ ผู้เขียนและรีวิวเวอร์ จริง ๆ ยิ่งอยากรู้ว่ามีใครบ้างที่เคยทำหน้าที่บรรณาธิการที่ต้องรวมและสังเคราะห์รีวิวหลายฉบับให้เป็นข้อเสนอแนะเดียว
มีเวทีมากมายที่สามารถแชร์งานวิจัยหรือไอเดียได้โดยไม่ต้องมี peer review แบบเป็นทางการ ตัวอย่างเด่นคือ arXiv/bioRxiv ถ้าปฏิเสธ peer review เอง ทางเลือกก็ดูมีอยู่เพียงพอ
เพราะเป็น HN ก็อาจดีกว่าค่าเฉลี่ยนิดหน่อย แต่ขณะเดียวกันก็น่าจะเอนเอียงไปทางคนที่กำลังผัดวันประกันพรุ่งด้วย รู้ไว้แล้วก็ปรับน้ำหนักเองก็พอ
ตอนเป็นนักศึกษา ผมเคยทำระบบง่าย ๆ สำหรับแก้ไขข้อความโดยอิงจากฮิวริสติกบางอย่างเป็นงานในชั้นเรียน
อาจารย์วิชานั้นเสนอให้ส่งบทความอธิบายระบบและผลลัพธ์ไปยังงานประชุมท้องถิ่นช่วงฤดูร้อน และผมก็เขียนโดยได้รับความช่วยเหลือ แต่ถูกปฏิเสธทันทีด้วยเหตุผลทำนองว่า ไวยากรณ์แย่ งานประชุมจัดที่บราซิล แต่กำหนดให้บทความเป็นภาษาอังกฤษ ตอนนั้นผมยังเป็นนักศึกษาและคิดว่าภาษาอังกฤษของตัวเองแย่มากจริง ๆ
อาจารย์บอกให้ส่งอีเมลไปถามรีวิวเวอร์เพื่อขอฟีดแบ็ก แล้วแก้ไขและส่งใหม่ ผมจึงถามเจาะจงว่าย่อหน้าไหนที่ทำให้สับสน เขาก็ส่งชิ้นส่วนประโยคที่ผิดชัดเจนกลับมา แต่สิ่งนั้นคือ ประโยคก่อนแก้ไข ในตัวอย่างที่แสดงก่อน/หลังการแก้ไขโดยระบบของผม
ผมพยายามอธิบายว่านั่นเป็นส่วนที่ตั้งใจให้ไวยากรณ์ผิด แต่คำตอบคือ “แก้ข้อผิดพลาดภาษาอังกฤษแล้วส่งมาใหม่” หลังจากพยายามอีกสองสามครั้ง สุดท้ายก็ยอมแพ้
https://southerncrossreview.org/81/feynman-brazil.html
ถ้าไม่มีสิทธิ์เข้าถึง arXiv ก็หา endorser ได้: <https://info.arxiv.org/help/endorsement.html>. ส่งอีเมลสั้น ๆ สุภาพ และให้ความกระชับมาก่อนมารยาทเกินจำเป็น ประมาณว่า “เมื่อปี yyyy ผมเขียนบทความเรื่องการแก้ไวยากรณ์อัตโนมัติที่มหาวิทยาลัย และถูก Venue ปฏิเสธเพราะข้อผิดพลาดไวยากรณ์ในรูปภาพ ผมยังอยากตีพิมพ์อยู่ คุณช่วย endorse บัญชี arXiv ให้ได้ไหม และช่วยแนะนำที่ส่งที่เหมาะสมได้ไหม” ก็พอ เวลาขอ endorsement ให้ทำตามคำแนะนำบนเว็บไซต์ arXiv
บทความวิชาการคือการฝึกถ่ายทอดข้อมูลให้ผู้อ่าน ถ้างานเขียนทำให้ผู้อ่านเข้าใจข้อมูลนั้นได้ยากมาก ไม่ว่าไอเดียข้างในจะมีคุณภาพแค่ไหน บทความก็แทบไม่มีประโยชน์และไม่เหมาะแก่การตีพิมพ์
หน้าที่ของรีวิวเวอร์ไม่ใช่การเขียนบทความใหม่ให้เข้าใจได้ พวกเขาไม่มีเวลา และนั่นก็ไม่ใช่งานของพวกเขา
การเขียนไม่ใช่เรื่องง่าย และการเขียนบทความเชิงเทคนิคเป็นทักษะที่เรียนรู้ได้ยากจริง ๆ แต่จำเป็นหากต้องการให้งานวิจัยมีประโยชน์
พูดตามตรง ฟังดูเหมือนอาจารย์ที่แนะนำให้ลองเขียนบทความไม่ได้ทำหน้าที่ของตนให้ดี จนทำให้เสียเวลาเปล่า ถ้างานนั้นมีคุณค่าพอจะตีพิมพ์ ก็ควรใช้เวลาแก้ให้เป็นรูปแบบที่ตีพิมพ์ได้ และถ้าไม่คิดจะทำเช่นนั้น ก็ไม่ควรเสนอให้ส่งตั้งแต่แรก
ชื่อเรื่องทำให้เข้าใจผิด จึงกด flag ไว้ strong reject ทั้งสี่รายการมาจาก ผู้เขียนคนเดียว
ด้วยเหตุผลที่ไม่ทราบ มันถูกแสดงเรียงสี่ครั้ง แต่อาจเป็นพฤติกรรมแปลก ๆ ของ OpenReview สถานะจริงที่หน้าเว็บแสดงคือ unknown 2 รายการที่มีข้อความยาว, weak reject 1 รายการ และ strong reject 1 รายการ
เธรดรีวิวดูเหมือน เธรด Show HN ที่ถ้าเริ่มอ่านจากด้านล่างขึ้นบนแล้วจะไหลไปในทางลบ
ตอนแรกบทความได้รับคำถามและฟีดแบ็กเชิงลบ จากนั้นผู้เขียนอัปเดตพร้อมกับเหน็บรีวิวเวอร์เล็กน้อย โดยตอบว่า “ยินดีรับการอภิปราย… contribution สำคัญที่บางรีวิวดูเหมือนจะพลาดไปคือ แม้ใช้โมเดลที่ตื้นมากก็สามารถคำนวณ representation ของเวกเตอร์คำที่ดีได้”
คำตอบต่อการอัปเดตนั้นคือ “การแก้ไขและคำโต้แย้งไม่ได้แก้ปัญหาที่รีวิวเวอร์ยกขึ้นมา ในรูปแบบปัจจุบัน ผมเห็นว่าไม่ควรรับบทความนี้ การประเมินคุณภาพ: Strong reject. ความมั่นใจ: รีวิวเวอร์มีความรู้”