- หลังจากมีการเผยแพร่ preprint ของบทความ “Artificial Intelligence, Scientific Discovery, and Product Innovation” บน arXiv ในเดือนพฤศจิกายน 2024 ก็เกิดข้อกังขาเกี่ยวกับ ความถูกต้อง และ ความน่าเชื่อถือ ของงานวิจัยฉบับนี้
- MIT ได้ดำเนินการ สอบสวนภายในแบบไม่เปิดเผยต่อสาธารณะ และตัดสินว่างานวิจัยนี้ขาดความน่าเชื่อถือ จึงได้ ส่งคำร้องอย่างเป็นทางการถึง arXiv และ The Quarterly Journal of Economics เพื่อขอให้ถอนบทความ
- ตามจดหมายเปิดผนึกในนามของ คณะกรรมการวินัย (Committee on Discipline) ของ MIT ระบุว่า สถาบันไม่มีความเชื่อมั่นใด ๆ ต่อ แหล่งที่มา ความน่าเชื่อถือ และความถูกต้อง ของข้อมูลในบทความ และไม่มั่นใจในผลการวิจัยเองด้วย
- ตามนโยบายของ arXiv นั้น มีเพียงผู้เขียนเท่านั้นที่สามารถยื่นคำขอถอนบทความได้ แต่เนื่องจากผู้เขียนไม่ได้ดำเนินการ MIT จึงยื่นคำร้องอย่างเป็นทางการแทน และต้องการให้มีการถอนบทความพร้อมระบุสถานะอย่างชัดเจนโดยเร็วที่สุด
อิทธิพลของบทความและการตอบสนองของ MIT
- บทความ preprint คือผลงานวิจัยที่ยังไม่ผ่าน peer review
- บทความดังกล่าวกำลังมี อิทธิพล อย่างมากต่อการถกเถียงเชิงวิชาการในสาขา AI และวิทยาศาสตร์
- MIT ผลักดันการถอนบทความอย่างเป็นทางการเพื่อบรรเทา ผลกระทบด้านลบ จากเนื้อหาที่ไม่ถูกต้องของบทความต่อการอภิปรายเหล่านี้
- ผู้เขียนไม่ได้สังกัด MIT อีกต่อไป
ความสำคัญของความซื่อสัตย์ในงานวิจัย
- ความซื่อสัตย์ในการวิจัย เป็นคุณค่าหลักของ MIT และเป็นส่วนหนึ่งของ พันธกิจหลัก ของสถาบัน
- MIT มีขั้นตอนที่ไม่เปิดเผยต่อสาธารณะและนโยบายที่เกี่ยวข้องเพื่อรับมือกับปัญหา การประพฤติมิชอบในการวิจัย อย่างรวดเร็ว
- สามารถตรวจสอบนโยบายและขั้นตอนที่เกี่ยวข้องได้จากเว็บไซต์ทางการของ MIT
แถลงการณ์อย่างเป็นทางการของคณาจารย์
- ศาสตราจารย์ Daron Acemoglu และศาสตราจารย์ David Autor ถูกกล่าวถึงในเชิงอรรถของบทความนี้ และได้ออกแถลงการณ์อย่างเป็นทางการดังนี้
- บทความนี้เป็นผลงานของอดีตนักศึกษาปริญญาเอกชั้นปีที่ 2 ของภาควิชาเศรษฐศาสตร์ แม้ยังไม่ได้ตีพิมพ์ในวารสารวิชาการที่ผ่านการพิจารณา แต่ก็ถูกพูดถึงอย่างกว้างขวางแล้วใน วรรณกรรมด้าน AI และวิทยาศาสตร์
- เมื่อเวลาผ่านไป ก็มีข้อสงสัยเกี่ยวกับ ความสมเหตุสมผล ของงานวิจัย และเรื่องดังกล่าวถูกรายงานไปยังหน่วยงานที่เกี่ยวข้อง
- ในเดือนกุมภาพันธ์ 2024 MIT ได้ดำเนินการ สอบสวนภายในแบบไม่เปิดเผยต่อสาธารณะ ตามนโยบายภายใน
- แม้จะไม่สามารถเปิดเผยผลการสอบสวนได้เนื่องจากข้อจำกัดด้านการเปิดเผยข้อมูล แต่ขอย้ำอีกครั้งว่าไม่มีความเชื่อมั่นใด ๆ ต่อแหล่งที่มา ความน่าเชื่อถือ และความซื่อสัตย์ของข้อมูลและงานวิจัยนี้
- เหตุผลที่เปิดเผยข้อมูลนี้ก็เพราะ แม้บทความดังกล่าวจะยังไม่ได้รับการตีพิมพ์ แต่ก็ส่งอิทธิพลต่อการถกเถียงเรื่อง ผลกระทบของ AI ต่อวิทยาศาสตร์ อยู่แล้ว
- MIT ให้ความสำคัญกับการรักษา บันทึกงานวิจัยที่ถูกต้อง และยืนยันอย่างชัดเจนว่า การอภิปรายในแวดวงวิชาการและสาธารณะโดย อาศัยผลลัพธ์จากบทความนี้เป็นฐานนั้นไม่เหมาะสม
บทสรุปและข้อแนะนำ
- MIT แนะนำต่อ แวดวงวิชาการและสาธารณชน ว่าไม่ควร ใช้บทความนี้เป็นแหล่งอ้างอิงทางวิชาการ
- การรับประกัน ความถูกต้องและความน่าเชื่อถือ ของงานวิจัยเป็นภารกิจที่สำคัญที่สุด
1 ความคิดเห็น
ความเห็นจาก Hacker News
กำลังอธิบายว่าเข้าใจว่าการขอถอนบทความจาก arXiv ทำได้โดยผู้เขียนเท่านั้น และ MIT อยู่ในจุดยืนแบบแถลงการณ์ที่ระบุว่าได้ขอให้ผู้เขียนถอนแล้ว แต่ยังไม่เกิดขึ้นจริง คิดว่าวิธีสื่อสารข้อมูลของ MIT ที่ปกป้องความเป็นส่วนตัวพอสมควรแต่ก็เปิดเผยพัฒนาการของเหตุการณ์ในระดับหนึ่งนั้นใช้ได้ดี และยังคาดเดาด้วยว่าผู้เขียนน่าจะหวังปล่อยบทความค้างไว้พร้อมออกจาก MIT ไปโดยสมัครใจให้ดูเป็นการไปหาโอกาสใหม่ และอาจไม่คิดว่า MIT จะออกแถลงการณ์อย่างเป็นทางการเกี่ยวกับเรื่องนี้
มองว่า MIT กำลังโยนความรับผิดทั้งหมดให้กับนักศึกษาเพื่อปกปิดความบกพร่องของตนเอง ผู้เขียนได้รับคำแนะนำจากศาสตราจารย์ MIT ที่มีชื่อเสียงและมีอิทธิพล และยากจะเชื่อว่านักศึกษาปริญญาเอกปี 2 จะก่อการวิจัยหลอกลวงขนาดใหญ่แบบนี้ได้ลำพังโดยไม่มีคอนเน็กชันในอุตสาหกรรม ความเห็นยังชี้ว่าตัวเลขในบทคัดย่ออย่าง "AI ค้นพบวัสดุใหม่ได้มากขึ้น 44%, การยื่นจดสิทธิบัตรเพิ่มขึ้น 39%, และนวัตกรรมปลายน้ำเพิ่มขึ้น 17%" นั้นดูน่าสงสัยตั้งแต่เห็นตัวเลขแล้วเมื่อเทียบกับสภาพการวิจัยจริงในภาคอุตสาหกรรม ระดับนี้แค่มีสามัญสำนึกพื้นฐานก็น่าจะรู้ว่าเป็นงานปลอม
ยังยืนยันด้วยว่าผู้เขียนสร้างเว็บไซต์ปลอมและถึงขั้นจดโดเมนให้ดูเหมือนเคยทำงานที่บริษัทชื่อ Corning เพื่อกลบร่องรอยของตัวเอง ส่งผลให้ Corning ต้องดำเนินการผ่าน WIPO เพื่อบังคับโอนโดเมนนั้น
มีการแชร์วิดีโอที่ผู้เขียนจัดสัมมนาเกี่ยวกับบทความของตนผ่าน Zoom ย้อนดูแล้วพบว่านิสัยไม่มองหน้าจอหรือกล้องเวลาพูดโกหกนั้นเด่นชัด และยังแสดงความกังวลว่าการโกหกสด ๆ แบบนี้อาจกลายเป็นนิสัยในชีวิตประจำวันไปแล้ว
แชร์ความรู้สึกแรกว่าข้อมูลในกราฟของบทความดูสะอาดเกินไปจนให้ความรู้สึกเหมือนถูกแต่งขึ้นมากกว่าจะเป็นข้อมูลจริง โดยเฉพาะในเดือนพฤษภาคม 2022 ซึ่งเป็นเพียง 6 เดือนก่อนที่ chatGPT จะออกสู่โลก ผู้เขียนซึ่งเป็นนักศึกษาปริญญาเอกปี 2 ยังอธิบายไม่ได้เลยว่าอะไรทำให้บริษัทวัสดุขนาดใหญ่ยอมให้ทำการทดลองระดับคนเป็นพันในห้องแล็บได้ คำอธิบายโมเดลก็ผ่าน ๆ เช่น GAN+diffusion โดยไม่มีรายละเอียด และจากประสบการณ์ทำงานจริงในบริษัทยักษ์ใหญ่ก็ยืนยันว่าการนำระบบขนาดใหญ่มาใช้แบบนี้ในระยะสั้นไม่มีทางเกิดขึ้นได้
ชี้ว่าการออกแบบการทดลองในบทความนั้นแทบเป็นไปไม่ได้ในโลกจริง จึงคล้ายกับคดีปลอมงานวิจัยของ Michael LaCour ในตอนนั้นทั้งอัตราการตอบแบบสอบถามและการตอบซ้ำก็ผิดธรรมดาจนนอกกรอบความเป็นจริง และแม้แต่บริษัทที่มีความสามารถทำการทดลองจริงก็ยังตอบว่าไม่สามารถทำตามขั้นตอนแบบนั้นได้
ยังชี้ว่าผู้เขียนอ้างว่าได้รับอนุมัติการทดลองในมนุษย์จาก MIT IRB พร้อมระบุหมายเลขไว้ด้วย ทั้งที่ในช่วงเวลานั้นยังไม่ได้เข้าเรียนปริญญาเอกเสียด้วยซ้ำ
ในช่วง Q&A ผู้เขียนอ้างว่าไม่ได้ใช้ GAN แต่ใช้ GNN (graph neural network) ทว่าผู้ฟังในงานก็ยังอยู่ในบรรยากาศที่ไม่ได้ซักถามความน่าเชื่อถือของบทความอย่างจริงจัง
เมื่อบทความทำซ้ำได้ยากและตัวสาขาเองก็กว้างมาก ก็เกิดคำถามว่าบทความแบบนี้จะได้รับการตรวจสอบจริงเมื่อไร และควรคิดให้มากขึ้นด้วยว่าในสาขานี้มีบทความปลอมอยู่มากแค่ไหน ผู้แสดงความเห็นยังเล่าประสบการณ์ส่วนตัวว่าในวงการ ML มีคนแต่งตัวเลขขึ้นมาจริงอยู่พอสมควร
มองว่าการอ้างว่าสามารถใช้การวิเคราะห์ข้อความอัตโนมัติเพื่อได้ข้อมูลการจัดสรรเวลาทำงานรายเดือนของนักวิทยาศาสตร์อย่างคงที่เกือบทั้งปีนั้นเป็นไปไม่ได้ตั้งแต่ต้น ถ้าเป็นข้อมูลลักษณะนั้นคุณภาพต้องดีเกินจินตนาการ แต่ในโลกจริงเป็นระดับที่ทำไม่ได้
นักเศรษฐศาสตร์ชื่อดังของ MIT ยืนอยู่ฝั่งที่ตั้งข้อสงสัยต่อความน่าเชื่อถือของบทความ และหลังจากพยายามตรวจสอบกรณีนวัตกรรมของบริษัทวัสดุรายใหญ่ที่มีอยู่จริงแต่ไม่สามารถคลี่คลายความเห็นต่างได้ จึงส่งเรื่องให้ MIT สอบสวน มองว่าไม่ควรจบเพียงแค่ไล่นักศึกษาออก และถ้าศาสตราจารย์ที่ช่วยผลักดันบทความมีส่วนร่วมกับงานวิจัยจริง ก็ควรตรวจสอบพื้นฐานอย่างน้อยว่ามีห้องแล็บลึกลับระดับคนพันอยู่จริงหรือไม่ และมีการใช้เครื่องมือ AI จริงหรือไม่
ตั้งข้อสังเกตว่าในรายชื่อขอบคุณ 21 คน ไม่มีใครสักคนสงสัยแหล่งที่มาของข้อมูลเลย หนึ่งในนั้นถึงกับเขียนเธรด Twitter ยอดนิยมเกี่ยวกับงานวิจัยนี้ และเมื่อมีคนไปแจ้งข่าวเหตุการณ์ล่าสุดก็ได้รับคำตอบสั้น ๆ แค่ว่า "ดูเหมือนข้อมูลของบทความจะเชื่อถือไม่ได้"
บ่นว่ามีอาจารย์จำนวนมากในวงวิชาการที่มีแต่ชื่อเสียงแต่ไม่ได้อ่านงานวิจัยอย่างจริงจัง และตัวเองก็เผชิญสภาพนี้อยู่ แม้จะเปิดเผยชื่อไม่ได้ แต่ก็ยังคิดในแง่ดีได้บ้างเพราะมีอาจารย์ที่ปรึกษาร่วมที่ดี
มีคนถามว่าอ้างอิงจากแหล่งไหน จึงตอบว่าเป็นบทความของ Washington Post และ WSJ
สะดุดใจกับข้อเท็จจริงที่ว่าบทความนี้ถูกอ้างอิงไปเกือบ 50 ครั้งแล้ว หากเป็นวารสารแบบดั้งเดิมในอดีตอย่างน้อยอาจยังมีข้อความทิ้งไว้เกี่ยวกับปัญหาของบทความ แต่ในกรณีของ arXiv ถ้าตามรอยบทความไปก็แทบไม่มีทางรู้เลยว่ามีข้อโต้แย้งหรือข้อถกเถียงอะไรอยู่ จึงมองว่านี่เผยให้เห็นจุดอ่อนของเซิร์ฟเวอร์ preprint
มีการระบุว่าการอ้างอิงเกือบ 50 รายการนั้นส่วนใหญ่เกิดใน preprint อย่าง arXiv หรือที่อย่าง ResearchGate และตัวเลขการอ้างอิงในวารสารที่ผ่าน peer review ต่างหากที่เป็นมาตรวัดสมจริง arXiv ก็แทบไม่ต่างจากบล็อก PDF ที่ไม่มีการตรวจสอบ เพียงแต่มีระบบเชิญเล็กน้อย จึงให้ความรู้สึกว่าการป้องกันอ่อนแอ พร้อมเล่าถึงกรณีบทความคริปโตแปลก ๆ ในอดีตด้วย
มองว่าจุดอ่อนนี้เกิดจากการไม่มีการตรวจสอบ โดย arXiv มีแค่การดูแลในระดับหนึ่งแต่ไม่ใช่สิ่งที่เชื่อถือได้จริง การจะเชื่อบทความคือเชื่อผู้เขียนหรือไม่ก็ต้องตรวจเอง และแม้ตอนถอนบทความก็ไม่มีการทิ้งเหตุผลไว้ต่างหาก จึงเป็นสภาพแวดล้อมที่แต่ละคนต้องตามเอง พร้อมยกข้อความของบทความที่ถูกถอนซึ่งตัวเองเคยเห็นมาเป็นตัวอย่าง
มีการแชร์ว่านี่คือบทความเดียวกับที่เคยถูกถกใน HN เมื่อหลายเดือนก่อน
และย้ำว่าตั้งแต่ตอนนั้นก็มีคนจับสังเกตได้แล้วว่าน่าสงสัย พร้อมแนบลิงก์ประกอบ
ยังเสริมชื่อเรื่องและลิงก์ของกระทู้สนทนาเพื่อแชร์ข้อมูลเพิ่มเติม
มีความเห็นว่าดีกว่าการลบบทความทิ้งไปเลยคือเพิ่มหมายเหตุลงใน research preprint เพื่อบอกปัญหาและความเป็นไปได้ว่าเป็นงานปลอม เพราะบทความนี้ถูกอ้างอิงไปแล้ว และในอนาคตอาจจำเป็นต้องตรวจสอบว่ามันส่งผลจริงแค่ไหน หากบทความหายไปเลยก็จะเหลือแต่ช่องว่าง
ชี้ว่าตอนถอนบทความ เวอร์ชันก่อนหน้าจะยังคงอยู่ และยังมีการระบุด้วยว่า MIT เป็นฝ่ายร้องขอให้ถอน จึงมองว่าพาดหัวข่าวของสื่ออาจทำให้เข้าใจผิดได้อยู่บ้าง
เห็นว่าควรทำเครื่องหมายเตือนให้บทความที่อ้างอิงงานฉ้อโกงด้วย เช่น สัญลักษณ์เตือน เพื่อไม่ให้ผลกระทบของการปลอมแปลงคงอยู่ต่อไปจนสุดทาง
ยังบอกด้วยว่าอยากให้ arXiv มีหน้าแบบ "ครั้งหนึ่งเคยมีบทความอยู่ที่นี่แต่ถูกถอนแล้ว" อย่างน้อยก็ยังดี
ตั้งข้อสงสัยต่อท่าทีของ MIT ที่พูดเพียงว่าผิดเพราะนักศึกษาปริญญาเอกคนเดียว และปฏิเสธความเป็นไปได้ทั้งหมดทั้งเรื่องเงินทุน VC การฮั้ว หรือการคอร์รัปชันเชิงระบบ มุมมองนี้เห็นว่าถ้าบทความดังกล่าวรู้อยู่แล้วว่าสุดท้ายจะถูกจับได้ แต่ระหว่างนั้นสามารถช่วยปั่นมูลค่าและความคาดหวังของตลาด AI เพื่อกอบโกยผลประโยชน์ แล้วพอเรื่องใหญ่ก็จ่ายเล็กน้อยและขอโทษ สุดท้ายก็ยังได้กำไรก้อนโตอยู่ดี พร้อมชี้ว่าตลาดจริงบางครั้งบริษัทยาก็ใช้วิธีแบบนี้ อีกทั้งยังระแวงว่าต่อให้เป็นสถาบันหรือสิ่งพิมพ์ที่เชื่อถือได้ ก็ยังมีบทความเท็จหรือบิดเบือนเล็กน้อยจำนวนมาก จึงไม่ควรคิดว่าการอ้างข่าวเพียงอย่างเดียวรับประกันความสมเหตุสมผลทางตรรกะได้
ชี้ว่าแถลงการณ์ทางการของ MIT มีรายละเอียดน้อย ส่วนบทความ WSJ ให้ข้อมูลมากกว่าเล็กน้อยแต่ก็ยังขาดความเฉพาะเจาะจงอยู่ดี และย้ำอีกครั้งว่านักเศรษฐศาสตร์ที่ช่วยโปรโมตบทความอย่างจริงจังนั้นเป็นฝ่ายนำไปสู่การสอบสวนภายใน MIT หลังมีนักวิทยาการคอมพิวเตอร์ภายนอกตั้งข้อทักท้วง
มีความเห็นว่าแค่การเปิดเผยว่าเป็น "อดีตนักศึกษาปริญญาเอกปี 2" ก็สื่อเป็นนัยแล้วว่าเขาถูกไล่ออก