บทความปลอมใน Google Scholar ที่สร้างด้วย GPT: ลักษณะสำคัญ การแพร่กระจาย และนัยต่อการป้องกันการบิดเบือนหลักฐาน

• พบงานวิจัยน่าสงสัยจำนวนมากใน Google Scholar ที่ดูเหมือนถูกสร้างขึ้นด้วยโมเดล GPT ซึ่งใช้งานกันอย่างแพร่หลายได้อย่างง่ายดาย
• งานวิจัยเหล่านี้ส่วนใหญ่ถูกสร้างด้วยแอปพลิเคชัน AI ทั่วไปที่ใช้กันอย่างกว้างขวาง โดยเฉพาะ ChatGPT และเลียนแบบงานเขียนเชิงวิทยาศาสตร์
• Google Scholar แสดงงานวิจัยน่าสงสัยเหล่านี้เคียงข้างงานวิจัยที่มีชื่อเสียงและผ่านการควบคุมคุณภาพ
• จากการวิเคราะห์ตัวอย่างบทความวิทยาศาสตร์น่าสงสัยที่สร้างด้วย GPT ซึ่งพบบน Google Scholar พบว่าหลายบทความครอบคลุมสาขาการประยุกต์ใช้ที่เปราะบางต่อข้อมูลบิดเบือนดิจิทัล เช่น สิ่งแวดล้อม สุขภาพ และคอมพิวติ้ง
• ความเป็นไปได้ของการบิดเบือนหลักฐานโดยเจตนาในประเด็นที่มีความขัดแย้งทางการเมืองสูง กำลังกลายเป็นปัญหาที่น่ากังวลมากขึ้นเรื่อย ๆ

ข้อค้นพบ

ข้อค้นพบ 1: งานวิจัยน่าสงสัยที่สร้างด้วย GPT จำนวน 139 ชิ้น ถูกแสดงเป็นงานวิจัยปกติในผลการค้นหาของ Google Scholar โดยมีวารสารที่ไม่ถูกจัดทำดัชนีจำนวนมาก

• งานวิจัยน่าสงสัยส่วนใหญ่เป็นวารสารที่ไม่ถูกจัดทำดัชนีหรือ working paper แต่บางส่วนก็พบในวารสาร สิ่งพิมพ์ การประชุม และคลังข้อมูลที่มีชื่อเสียงด้วย
• พบงานวิจัยรวม 139 ชิ้นที่สงสัยว่าใช้ ChatGPT หรือแอปพลิเคชัน LLM ที่คล้ายกันในลักษณะหลอกลวง
• ในจำนวนนี้ 19 ชิ้นอยู่ในวารสารที่ถูกจัดทำดัชนี 89 ชิ้นอยู่ในวารสารที่ไม่ถูกจัดทำดัชนี 19 ชิ้นเป็นวิทยานิพนธ์นักศึกษาในฐานข้อมูลมหาวิทยาลัย และ 12 ชิ้นเป็น working paper (ส่วนใหญ่อยู่ในฐานข้อมูล preprint)
• งานวิจัยด้านสิ่งแวดล้อมและสุขภาพคิดเป็นประมาณ 34% ของตัวอย่าง และในกลุ่มนี้ 66% ตีพิมพ์ในวารสารที่ไม่ถูกจัดทำดัชนี

ข้อค้นพบ 2: งานวิจัยน่าสงสัยที่สร้างด้วย GPT ถูกเผยแพร่ออนไลน์และกระจายไปทั่วโครงสร้างพื้นฐานการสื่อสารทางวิชาการ โดยมักมีหลายสำเนา และสาขาประยุกต์ใช้ที่มีนัยเชิงปฏิบัติครองสัดส่วนหลัก

• บทความเกี่ยวกับประเด็นสิ่งแวดล้อม 27 ชิ้น ถูกพบบน 56 URL จาก 26 โดเมนที่ไม่ซ้ำกัน
• บทความเกี่ยวกับประเด็นสุขภาพ 20 ชิ้น ถูกพบบน 46 URL จาก 20 โดเมนที่ไม่ซ้ำกัน
• งานวิจัยที่ระบุได้ส่วนใหญ่มีอยู่หลายสำเนา และได้แพร่กระจายไปยังคลังเก็บข้อมูล รีโพซิทอรี และโซเชียลมีเดียหลายแห่งแล้ว
• การลบสิ่งเหล่านี้ออกจากบันทึกทางวิชาการน่าจะเป็นเรื่องยากหรือแทบเป็นไปไม่ได้

ข้อค้นพบ 3: Google Scholar นำเสนอผลลัพธ์จากฐานข้อมูลการอ้างอิงที่มีการควบคุมคุณภาพและที่ไม่มีการควบคุมคุณภาพผ่านอินเทอร์เฟซเดียวกัน ทำให้เข้าถึงงานวิจัยน่าสงสัยที่สร้างด้วย GPT ได้โดยไม่มีข้อจำกัด

• สถานะที่เป็นศูนย์กลางของ Google Scholar ในโครงสร้างพื้นฐานการสื่อสารทางวิชาการแบบเปิด พร้อมกับการขาดมาตรฐาน ความโปร่งใส และความรับผิดชอบในเกณฑ์การคัดรวม อาจส่งผลกระทบร้ายแรงต่อความเชื่อมั่นของสาธารณชนต่อวิทยาศาสตร์
• สิ่งนี้จะเพิ่มโอกาสที่ Google Scholar จะถูกใช้ในทางที่ผิดเพื่อ evidence hacking และส่งผลต่อความพยายามในการถอนหรือ删除บทความปลอมจากแหล่งต้นทาง
• ไม่ว่าจะแก้ปัญหาด้วยวิธีใด ก็จำเป็นต้องคำนึงถึงโครงสร้างพื้นฐานการสื่อสารทางวิชาการทั้งหมด รวมถึงปฏิสัมพันธ์ระหว่างผู้มีส่วนเกี่ยวข้อง ผลประโยชน์ และแรงจูงใจที่แตกต่างกัน

ความเห็นของ GN⁺

ปัญหานี้น่ากังวลด้วยเหตุผลดังต่อไปนี้:

1. บทความที่สร้างด้วย GPT อาจถาโถมเข้าสู่ระบบการสื่อสารทางวิชาการและคุกคามความสมบูรณ์ของบันทึกทางวิทยาศาสตร์ ซึ่งจะยิ่งซ้ำเติมปัญหา paper mill ที่มีอยู่เดิม

2. เนื้อหาที่สร้างด้วย AI ซึ่งดูน่าเชื่อถือในเชิงวิทยาศาสตร์ อาจแท้จริงแล้วถูกสร้างขึ้นอย่างหลอกลวง สิ่งนี้อาจบั่นทอนความเชื่อมั่นของสาธารณชนต่อองค์ความรู้ทางวิทยาศาสตร์ และก่อให้เกิดความเสี่ยงทางสังคมอย่างร้ายแรง

3. เกณฑ์การคัดรวมของ Google Scholar ขาดความโปร่งใสและความรับผิดชอบ ซึ่งเชื่อมโยงกับปัญหาการแสดงผลการค้นหาโดยไม่แยกความแตกต่างระหว่างฐานข้อมูลการอ้างอิงที่เป็นไปตามมาตรฐานกับฐานข้อมูลที่ไม่เป็นไปตามมาตรฐาน

4. เนื่องจากบทความปลอมแพร่กระจายไปยังหลายแพลตฟอร์ม แม้ถอนต้นฉบับออกแล้วก็ยังยากที่จะติดตามและลบออก ซึ่งอาจส่งผลกระทบเชิงลบต่อสาขาวิจัยนั้น ๆ ไปอีกนาน

5. พบงานวิจัยที่สร้างด้วย GPT จำนวนมากในหัวข้ออ่อนไหวและสำคัญทางสังคม เช่น สุขภาพและสิ่งแวดล้อม ซึ่งอาจก่อให้เกิดความสับสนอย่างรุนแรงต่อการกำหนดนโยบาย และมีช่องให้ถูกนำไปใช้ประโยชน์ทางการเมืองได้

เพื่อรับมือกับปัญหานี้ จำเป็นต้องพิจารณาแนวทางเชิงเทคนิค การศึกษา และเชิงสถาบันไปพร้อมกัน ตัวอย่างเช่น

• จัดให้มีตัวเลือกกรองในเสิร์ชเอนจินวิชาการ เช่น การกรองตามการผ่าน peer review หรือไม่
• บูรณาการเครื่องมือประเมินเข้ากับอินเทอร์เฟซและ crawler ของเสิร์ชเอนจินวิชาการ
• สร้างเสิร์ชเอนจินวิชาการแบบใช้ฟรีที่ดำเนินการเพื่อประโยชน์สาธารณะ ไม่ใช่เหตุผลเชิงพาณิชย์
• โครงการริเริ่มด้านการศึกษาสำหรับผู้กำหนดนโยบาย ผู้สื่อสารวิทยาศาสตร์ นักข่าว และกลุ่มอื่น ๆ

ในระดับรากฐาน ควรเข้าหาปัญหานี้ในบริบทที่กว้างกว่า เช่น ปัญหาในระบบการตีพิมพ์ทางวิชาการ วัฒนธรรม "publish or perish" การผูกขาดของ Google และความขัดแย้งทางอุดมการณ์เรื่องการควบคุมข้อมูล แนวทางแก้เชิงเทคนิคเพียงอย่างเดียวไม่เพียงพอ

[xguru]

alphaXiv - เปิดให้ถกเถียงสาธารณะเกี่ยวกับบทความบน arXiv

พอแพลตฟอร์มนี้กับบทความนี้มาอยู่ด้วยกัน ก็ให้ความรู้สึกเหมือนมีอะไรเชื่อมโยงกันอยู่

[GN⁺]

ความเห็นจาก Hacker News

• ที่งาน APS March Meeting บรรณาธิการวารสารวิทยาศาสตร์กังวลเกี่ยวกับรีวิวที่สร้างโดย LLM มากกว่าบทความวิชาการที่สร้างโดย LLM

  • LLM เก่งในการสรุปเนื้อหามากกว่าการให้เหตุผลเชิงตรรกะแบบยาว
  • รีวิวไม่ถูกเผยแพร่สู่สาธารณะ จึงทำให้รู้สึกอายกันน้อยกว่า

• สคริปต์ Python ของผู้เขียนอาจมีบั๊ก

  • ถ้าไม่มีคีย์ bib ในการตอบกลับจาก API คอลัมน์ของ data frame อาจไม่สอดคล้องกัน
  • สามารถใช้อาร์เรย์ flag เพื่อตัดผลลัพธ์ที่ไม่ดีออกได้ แต่ไม่ได้ถูกใช้ในโค้ด

• GPT อาจทำให้การปลอมแปลงบทความวิทยาศาสตร์ทำได้ง่ายขึ้น แต่มนุษย์ก็ทำเรื่องนี้ได้ดีอยู่แล้วโดยไม่ต้องมี AI

  • มีการแชร์ลิงก์วิดีโอที่น่าสนใจที่เกี่ยวข้อง

• อยากให้วิธีการเก็บข้อมูลในงานวิจัยเกี่ยวกับ LLM มีความประณีตมากกว่านี้

  • ผลกระทบของการใช้ LLM ต่อวิทยาศาสตร์และสังคมนั้นกว้างไกลเกินกว่าแค่การพิสูจน์อักษร
  • ขอบเขตของการพิสูจน์อักษรแตกต่างกันไปในแต่ละคน

• ผู้เชี่ยวชาญในสาขาที่เกี่ยวข้องสามารถแยกแยะผลลัพธ์ปลอมได้ง่าย

  • เนื้อหาที่ไม่มีความแปลกใหม่แยกออกได้ยาก
  • ปัญหาเรื่องความซื่อสัตย์ของนักวิจัยมีมาตั้งแต่ก่อนยุค AI
  • คนที่ไม่ใช่ผู้เชี่ยวชาญแยกแยะความจริงของข้อมูลได้ยาก

• ในการถกเถียงก่อนหน้านี้ บทความที่ถูกสงสัยว่าใช้ GPT แท้จริงแล้วถูกเขียนขึ้นก่อนยุค OpenAI

• ChatGPT ไม่ได้เข้าใจความจริง

  • ในโครงการวิจัยเกี่ยวกับ data lake เมื่อใช้ ChatGPT พบว่ามีทั้งลิงก์ปลอมและสรุปเนื้อหาเอกสารการตลาดจำนวนมาก

• ชื่นชมที่ภาพประกอบของบทความนี้ไม่ได้สร้างด้วย AI

• บทความที่สร้างด้วย GPT อาจถูกเขียนขึ้นโดยผู้ที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่เพื่อปรับปรุงภาษาอังกฤษของตน

• ดูเหมือนว่าเรากำลังก้าวเข้าสู่ยุคมืด