มีงานวิจัยทุนสาธารณะที่ยอดเยี่ยมมากมายก็จริง แต่ Attention Is All You Need และบทความสำคัญหลายชิ้นของ OpenAI ถูกสร้างขึ้นด้วยทุนเอกชน และในแวดวงวิจัย OpenAI ก็มีจำนวนการอ้างอิงเป็นอันดับหนึ่งด้วย สมมติฐานเกี่ยวกับงานวิจัยแบบเปิดเผยอาจไม่สอดคล้องกับหลักฐาน
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
เมื่อไม่นานมานี้ผมสมัครเข้า YC batch ด้วย ไอเดียการทำให้ AI ลงมือทำเชิงรุก แทนที่จะเอาแต่ตอบสนอง และก่อนหน้านั้นก็เผยแพร่บทความ recursive self-improvement ที่ปรับให้เข้ากับข้อมูลของ Epoch AI
ผมติดต่ออาจารย์มหาวิทยาลัยในสหราชอาณาจักรที่ทำงานวิจัยคล้ายกัน และคุยกันราวหนึ่งชั่วโมงถึงสมมติฐานและวิธีการที่ต่างกัน รวมถึงผลลัพธ์ที่ทับซ้อนกัน
ต่อให้เป็นนักศึกษาปริญญาตรีฟิสิกส์ หากทำวิจัยอิสระและคุยกับผู้เชี่ยวชาญ ก็อาจเชื่อมต่อกับคนที่ปกติคงพบได้ยาก ดังนั้นไม่ว่าคนหนุ่มสาวจะลงมือทำธุรกิจอะไร งานวิจัยก็เป็นเครื่องมือสร้างเครือข่ายที่ดี
เรื่องแบบนี้เกิดขึ้นทุกครั้งที่วิทยาศาสตร์กลายเป็นอุตสาหกรรม นักเคมีก็เคยเผยแพร่งานอย่างเสรี แต่พอสีย้อมทำเงินได้ งานวิจัยที่น่าสนใจก็ย้ายเข้าไปอยู่ในแล็บของบริษัทและไม่ถูกเปิดเผยอีก
ผมเคยทำงานในสตาร์ทอัพสองแห่งที่ทำวิจัยพื้นฐานเป็นรายแรกของโลกจริงๆ บริษัทแรกพยายามอยู่ 3 ปีเพื่อให้ผลลัพธ์ใหม่ได้ลงวารสารชั้นนำ สุดท้ายจึงเผยแพร่เป็น preprint และยอมแพ้เรื่องวารสาร
บริษัทที่สองในปัจจุบันไม่เผยแพร่อะไรเลยเพราะประสบการณ์นั้น และยังพยายามหลีกเลี่ยงไม่ให้ OpenAI หรือ Anthropic คัดลอกผลลัพธ์จนทำให้งาน 6 เดือนสูญเปล่า บทความวิจัยจะให้ไปพร้อมกับเอกสารนำเสนอสำหรับนักลงทุนเท่านั้น
แดกดันที่ LLM ทำเรื่องนี้ได้ค่อนข้างดี จนบทความดีจริงๆ ที่คนนอกเขียนอาจมีโอกาสได้รับการประเมินต่ำกว่าบทความคุณภาพต่ำที่ AI สร้างขึ้น
การที่งานวิจัย AI กลายเป็น บล็อก ทำให้เกิดและแพร่กระจายข้ออ้างและศัพท์ต่างๆ แบบเดียวกับโซเชียลมีเดีย ซึ่งไม่ดีต่อสุขภาพของวงการ
ในสภาพแวดล้อมแบบเกมมิฟาย แค่ใส่ตัวเลขจากการทดลองหลายชุดก็สนับสนุนอะไรก็ได้ และเรากำลังก้าวอย่างรวดเร็วไปสู่ขั้นที่แทบไม่สนใจว่ามันมีความหมายจริงหรือไม่ ขยะพวกนี้จะกลายเป็นข้อมูลฝึกของโมเดลรุ่นถัดไป แล้วโมเดลนั้นก็กลับมาสร้างโมเดล บล็อก และบทความอีก เป็นวงจรอุบาทว์ที่คล้ายกับการปล่อยปลวกเข้าไปในห้องสมุด
ถึงอย่างนั้นก็ไม่ได้เลวร้ายไปเสียทั้งหมด ช่วงที่มีผู้เข้าร่วมใหม่เข้ามาเรื่อยๆ แม้จะน่ารำคาญ แต่พอผ่านไปแล้วก็อาจทำให้นึกถึงได้
บทความกล่าวถึงบริษัทที่ปรากฏใน论文อย่างคลุมเครือ จำนวนการอ้างอิงสะสมสูงสุดคือ OpenAI ตามด้วย MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks, Aibee
ผู้เขียนระบุว่าเป็นจำนวนการอ้างอิง ไม่ใช่จำนวนสิ่งพิมพ์ และแม้จะไม่สมบูรณ์แต่ใช้เป็นตัวแทนของความสำคัญ บริษัทอย่าง Google ถูกตัดออกเพราะไม่ใช่สตาร์ทอัพยูนิคอร์น
ดูเหมือนบทความวิจัยไม่ได้ระบุจริงๆ ว่าบริษัทไหนคือ บริษัทที่ไม่เปิดเผย论文 OpenAI, Anthropic, Hugging Face กลับถูกระบุว่าเป็นบริษัทที่ตีพิมพ์ด้วยซ้ำ ดังนั้นเห็นคำว่า “สตาร์ทอัพ AI ชั้นนำ” แล้วไม่ควรนึกถึง OpenAI กับ Anthropic ทันที
หลังจากเปลี่ยนทิศทางในยุค Altman ก็ยังไม่รู้ว่ายังมีส่วนร่วมในตอนนี้หรือไม่ และบทความหลังปี 2025 ถูกตัดออกอย่างชัดเจน จึงยากจะเห็นการเข้าถึงงานวิจัยแนวหน้าล่าสุดที่เป็นประเด็นสนใจจริงๆ คลังอยู่ที่ https://github.com/q5loisel/unicorn-AI-startup-publications
การเป็นบริษัท AI ไม่ได้ทำให้เป็นบริษัทวิจัยโดยอัตโนมัติ สตาร์ทอัพส่วนใหญ่ที่เกิดขึ้นในช่วงไม่กี่ปีที่ผ่านมาใช้โมเดลที่คนอื่นสร้างขึ้นเพื่อ วัตถุประสงค์ทางพาณิชย์ จึงไม่มีเหตุผลให้คาดหวังบทความวิทยาศาสตร์
ตรงกันข้าม ถ้าสตาร์ทอัพ 50% มีส่วนร่วมกับงานวิจัยสาธารณะ ก็ถือว่าเป็นผลลัพธ์ที่ยอดเยี่ยมกว่าที่คาดไว้มาก
บทความวิชาการที่ดีซึ่งวิเคราะห์อุตสาหกรรมในวงกว้าง ยังอธิบายด้วยว่าทำไมงานวิจัยเดิมที่บอกว่าการหาไอเดียดี ๆ ยากขึ้นเรื่อย ๆ จึงดูเป็นเช่นนั้น
ต่างจากปรากฏการณ์ที่จำนวนผู้วิจัยในสหรัฐฯ เพิ่มขึ้นแต่การเติบโตของการผลิตกลับชะงักงัน หากติดตามสิทธิบัตรของบริษัทสหรัฐฯ ตลอด 45 ปี จะพบว่าจำนวนสิทธิบัตรเฉลี่ยต่อเงินลงทุนด้าน R&D เพิ่มขึ้น และความยืดหยุ่นของสิทธิบัตรต่อเงินลงทุนก็ทรงตัวหรือเพิ่มขึ้นด้วย ระหว่างการเพิ่มขึ้นของสิทธิบัตรซึ่งเป็นไอเดีย กับผลิตภาพแรงงาน มีความสัมพันธ์เชิงบวกอย่างต่อเนื่อง แต่เมื่อควบคุมการเพิ่มขึ้นของไอเดียแล้ว อัตราการเติบโตของบริษัทกลับลดลง กล่าวคือ ข้อสรุปคือ บทบาทของกิจกรรมนวัตกรรมในการค้ำจุนการเติบโต ไม่ได้อ่อนแรงลงในช่วง 40 ปีที่ผ่านมา
https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
เป็นเรื่องย้อนแย้งที่ถ้า Google ไม่เผยแพร่ Attention Is All You Need สตาร์ทอัพ AI ในปัจจุบันก็คงไม่มีสักแห่งที่ได้ถือกำเนิดขึ้น
Google อาจมองว่าการแข่งขันสะสมอาวุธโมเดล frontier อย่างเป็นอิสระนั้นไม่สมเหตุสมผลทางเศรษฐกิจ แต่ในขณะเดียวกันก็เห็นว่าขีดความสามารถนั้นจำเป็นเชิงยุทธศาสตร์ อาจเป็นกลยุทธ์ระยะยาวที่สร้างโมเดลขนาดใหญ่ที่สุดเพียงเท่าที่จำเป็นเพื่อใช้เป็นโรงงานผลิตขีดความสามารถ แล้วเปลี่ยนสติปัญญานั้นให้กลายเป็นโมเดลเฉพาะงานราคาถูกจำนวนมากกว่าเดิมมาก
หาก Google รู้เรื่องนี้อยู่แล้ว เหตุผลที่ไม่ได้เก็บไว้เป็นอาวุธลับตั้งแต่แรก อาจเป็นเพราะคาดการณ์การแข่งขันสะสมอาวุธได้ และรู้วิธีทำกำไรจากกระบวนการนั้นด้วย เมื่อเห็นว่าบทความเรื่อง distillation ออกมาก่อนบทความ Transformer นี่อาจไม่ใช่ความย้อนแย้ง แต่เป็นผลลัพธ์ที่เป็นธรรมดาอยู่แล้วก็ได้
อุตสาหกรรม AI ทั้งหมดถูกสร้างขึ้นบนงานวิจัยแบบเปิดเผย แต่กระแสในปัจจุบันกลับสวนทางกับสิ่งนั้น และดูเหมือนถูกขับเคลื่อนด้วย ความโลภ โดยอ้างการแข่งขันสะสมอาวุธเป็นข้อแก้ตัว
จำเป็นต้องมีนโยบาย ESG แบบใหม่ที่ยอมรับบทบาทของงานวิจัยแบบเปิดเผย แต่ในสภาพแวดล้อมอันมืดมนตอนนี้ ดูเหมือนว่า ESG และบรรทัดฐานอื่น ๆ ก็ถูกเบียดตกไปหมดแล้ว
อย่างไรก็ตาม ในกรณีของฉันมันตรงข้ามกับความโลภอย่างสิ้นเชิง หากต้องการแบ่งปันหลักการทำงาน ผลลัพธ์จากการแก้ปัญหา และเนื้อหาการสอน ก็แค่เผยแพร่เองโดยตรงได้ แต่การทำภายใต้กรอบของสถาบันที่วงวิชาการรับรองนั้นสิ้นเปลืองแรงและทำให้เสียสมาธิ
ในที่นี้ “การตีพิมพ์งานวิจัย” ไม่ได้หมายถึงการเอาหน้า HTML กับซอร์สโค้ดขึ้นเว็บ แต่หมายถึงกระบวนการสื่อสารที่เฉพาะทางและมีการเมืองสูงมาก มันมีความหมายเฉพาะในช่วงอาชีพที่ต้องแข่งกันเรื่องชื่อเสียง และบางส่วนก็ใกล้เคียงกับ ลัทธิบูชาสินค้า ที่เลียนแบบกระบวนการทางวิทยาศาสตร์จริง
กระบวนการตีพิมพ์แบบ peer review ยุ่งยาก ไม่ได้เพิ่มประสิทธิภาพการถ่ายทอดความรู้ให้สูงสุด และใกล้เคียงกับการรับรองคุณสมบัติและอำนาจมากกว่าการสื่อสาร ขณะที่ผลประโยชน์ด้านชื่อเสียงนั้นก็ตกกับบุคคลมากกว่าบริษัท
สิ่งพิมพ์แบบบล็อกมีขยะที่ไม่ผ่านการตรวจสอบอยู่มาก แต่งานวิจัยแบบ peer review ก็มีผลงานคุณภาพต่ำจำนวนมากเช่นกัน ไม่ว่าแหล่งความรู้จะเป็นแบบใด อัตราส่วนสัญญาณต่อสัญญาณรบกวนก็ย่ำแย่มาหลายสิบปีแล้ว
หากเปิดเผยงานวิจัยที่ดี คู่แข่งจะนำไปใช้ได้หลายทาง และแทบเป็นไปไม่ได้ที่จะบังคับใช้สิทธิ์ทรัพย์สินทางปัญญา จึงกลายเป็นแผนกที่มีแต่ต้นทุนล้วน ๆ ในบางสาขาของวิทยาการคอมพิวเตอร์ เทคโนโลยีล้ำสมัยถูกฝังไว้เป็นความลับทางการค้ามาหลายสิบปี จนวรรณกรรมวิชาการล้าหลังอย่างน่าอับอาย
การตีพิมพ์ต้องใช้เวลาและเงิน แต่นักวิจัยอยากแก้ปัญหาที่น่าสนใจ ส่วนบริษัทก็ต้องการเพิ่มประโยชน์ใช้สอยของงานวิจัยให้สูงสุด ดังนั้นการตีพิมพ์จึงไม่ช่วยฝ่ายใดเลย งานวิจัยพื้นฐานจำนวนมากก็ไม่ได้มีเป้าหมายเพื่อออกบทความ แต่เพื่อแก้ปัญหา และเมื่อแก้ได้แล้วก็ย้ายไปปัญหาถัดไป
งานวิจัยแนวหน้าเกี่ยวข้องกับข้อพิจารณาด้านความมั่นคงแห่งชาติอยู่เสมอด้วย ทั้งหมดนี้เป็น ผลจากโครงสร้างแรงจูงใจ และงานวิจัยพื้นฐานจำนวนมากก็ไม่ได้เกิดขึ้นในแวดวงวิชาการอีกต่อไป ตัวฉันเองก็เคยสนุกกับโปรแกรมวิจัยแบบไม่เปิดเผย และงานวิจัยพื้นฐานที่น่าสนใจซึ่งทำเองก็ไม่คุ้มค่าจะตีพิมพ์ เพราะเป้าหมายไม่ใช่ชื่อเสียง แต่เป็นปัญหาที่ต้องแก้