- งานวิจัยที่อ้างว่า มีความสัมพันธ์ระหว่างความยั่งยืนขององค์กรกับผลการดำเนินงานของราคาหุ้น ถูกอ้างอิงไปมากกว่า 6,000 ครั้ง แต่ภายหลังพบว่า มีข้อผิดพลาดร้ายแรงและคำอธิบายอันเป็นเท็จ
- Andy King ผู้พยายามทำซ้ำงานวิจัยนี้ระบุว่า ทั้งผู้เขียน วงการวิชาการ วารสาร และมหาวิทยาลัย ต่างก็ เพิกเฉยต่อการขอแก้ไขข้อผิดพลาดและการตรวจสอบซ้ำของเขามาโดยตลอด
- บทความดังกล่าวมีปัญหาหลายประการ เช่น การระบุค่านัยสำคัญทางสถิติผิด, การอธิบายระเบียบวิธีผิด, การจับคู่กลุ่มตัวอย่างที่ไม่สมจริง เป็นต้น โดยบางส่วนถูกปัดตกว่าเป็นเพียงคำพิมพ์ผิด
- King เปิดเผยปัญหานี้ผ่าน LinkedIn และ วารสารเฉพาะทางด้านงานวิจัยทำซ้ำ (JOMSR) แต่ Harvard Business School และ London Business School สรุปว่าเป็นประเด็นเล็กน้อย
- ผู้เขียนยังคงไม่ถอนบทความ และเนื้อหานี้ชี้ให้เห็นถึง การล่มสลายของระบบกำกับความน่าเชื่อถือทางวิทยาศาสตร์และความจำเป็นในการปฏิรูป
บทความที่มีปัญหาและความพยายามในการทำซ้ำ
- บทความ “The Impact of Corporate Sustainability on Organizational Processes and Performance” ถูกอ้างอิงมากกว่า 6,000 ครั้ง และถูกประเมินว่าเป็นงานวิจัยทรงอิทธิพลถึงขั้นที่ ผู้บริหารในวอลล์สตรีทและอดีตรองประธานาธิบดีสหรัฐฯ ยังนำไปอ้างอิง
- Andy King พยายามทำซ้ำผลของบทความนี้ และพบ ความไม่สอดคล้องของระเบียบวิธี, ข้อผิดพลาดทางสถิติ, การทดสอบที่ขาดหายไป, และการจัดองค์ประกอบกลุ่มตัวอย่างที่ผิดปกติ
- เขาส่งอีเมลถึงผู้เขียนหลายครั้งแต่ ไม่ได้รับคำตอบ
- ยังมีงานวิจัยของ Bloomfield et al.(2018) ที่ชี้ว่า การที่นักวิจัยต้นฉบับเพิกเฉยหรือล่าช้าต่อคำขอจากนักวิจัยด้านการทำซ้ำ/การจำลองผล (Replication) เป็นเรื่องที่พบได้ทั่วไป
การตอบสนองของวงการวิชาการและวารสาร
- King ขอความช่วยเหลือจากนักวิชาการร่วมสาขา แต่ส่วนใหญ่ปฏิเสธโดยให้เหตุผลเรื่อง การหลีกเลี่ยงความขัดแย้ง หรือ ไม่มีเวลาเพียงพอ
- นักวิชาการบางคนกล่าวว่า “การชี้ข้อผิดพลาดของบทความที่ตีพิมพ์แล้วส่งผลเสียต่ออาชีพมากกว่า”
- เขาส่งบทวิจารณ์เชิงวิพากษ์ไปยังวารสาร Management Science แต่ถูกปฏิเสธด้วยเหตุผลว่า “น้ำเสียงไม่เหมาะสม”
- ผู้เขียนยอมรับว่าการระบุผลลัพธ์หลักว่ามีนัยสำคัญนั้นผิดพลาด แต่ยืนยันว่าเป็นเพียง ‘คำพิมพ์ผิด’
- คำขอแก้ไขเพิ่มเติมของ King ถูกปฏิเสธทั้งหมด
การเปิดเผยสู่สาธารณะและการตีพิมพ์งานทำซ้ำ
- หลังจาก King เปิดเผยข้อผิดพลาดบน LinkedIn วารสารจึงค่อยออก ประกาศแก้ไข (erratum) ในภายหลัง
- งานวิจัยทำซ้ำถูกตีพิมพ์ใน Journal of Management Scientific Reports(JOMSR) ซึ่งตอกย้ำ บทบาทของวารสารที่อุทิศให้กับงานวิจัยทำซ้ำโดยเฉพาะ
- King ยืนยันว่า บทความต้นฉบับนั้น วิธีการที่รายงานไว้ไม่ตรงกับวิธีที่ใช้จริง และไม่สามารถทำซ้ำผลลัพธ์ได้ด้วยวิธีที่ใช้จริง
การสอบสวนจริยธรรมการวิจัยและปฏิกิริยาของมหาวิทยาลัย
- King ยื่นเรื่องร้องเรียนการละเมิดจริยธรรมการวิจัยต่อ Harvard Business School และ London Business School
- ผู้เขียนชี้แจงว่า “มีข้อความที่ผิดค้างอยู่เพราะความผิดพลาดในกระบวนการแก้ไขต้นฉบับ” แต่ ข้อผิดพลาดเดียวกันนี้ปรากฏซ้ำในต้นฉบับทุกฉบับ
- Harvard ไม่เปิดเผยว่าจะมีการสอบสวนหรือไม่ ส่วน LBS ระบุว่า “ไม่ใช่การให้ข้อมูลเท็จโดยเจตนา” และ แนะนำเพียงมาตรการเชิงการศึกษา
- King วิจารณ์ว่า “ประเด็นสำคัญไม่ใช่ว่าเข้าถึงข้อมูลได้หรือไม่ แต่คำอธิบายที่ผิดทำลายความสามารถในการตีความงานวิจัย”
ความล้มเหลวเชิงสถาบันและข้อเสนอปฏิรูป
- บทความนี้ได้รับการแก้ไขเพียงบางส่วน และ คำอธิบายวิธีการที่ผิดยังคงไม่ได้รับการแก้ไข
- King กล่าวว่า “ระบบกำกับวิทยาศาสตร์ที่น่าเชื่อถือไม่ทำงาน” และเสนอแนวทางดังนี้
- หลีกเลี่ยงการอ้างอิงงานวิจัยเพียงชิ้นเดียว และตรวจสอบว่ามีการทำซ้ำแล้วหรือไม่
- เมื่อพบข้อผิดพลาดให้แก้ไขทันที
- เตือนเพื่อนร่วมวิชาชีพเมื่อพบพฤติกรรมที่ผิดจริยธรรม
- สนับสนุนงานวิจัยทำซ้ำและวารสารอย่าง JOMSR
- เสริมความเข้มแข็งของนโยบายจริยธรรมการวิจัยในสถาบัน
- นอกจากนี้ยังเสนอให้สถาปนา ความโปร่งใส, การกำกับดูแลอย่างอิสระ, และการลงโทษแบบเป็นขั้นตอน ในระบบบริหารวิชาการ รวมถึงความจำเป็นในการนำระบบตรวจสอบภายหลังอย่าง FurtherReview มาใช้
ความเห็นของ Andrew Gelman
- Gelman ระบุว่าการกระทำของผู้เขียนเข้าข่าย การประพฤติมิชอบทางการวิจัย แต่ก็เน้นไปที่ ปัญหาเชิงระบบ มากกว่าตัวบุคคล
- เขาชี้ว่า “ท่าทีที่ไม่ยอมรับข้อผิดพลาดในอดีต” ทำให้วิทยาศาสตร์กลายเป็น ‘ศาสตร์ที่ตายแล้ว (dead science)’
- เขาเตือนว่า หากชุมชนวิชาการยังไม่ส่งเสริม การแก้ไขข้อผิดพลาดและความรับผิดชอบอย่างจริงจัง ปัญหาแบบเดิมก็จะเกิดซ้ำอีก
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ฉันพัฒนา ชุดเครื่องมือการทำแบบจำลองเชิงตัวแทนแบบโอเพนซอร์ส ที่ดูแลมาตั้งแต่ปี 2003
ไม่นานมานี้มีบทความของชุดเครื่องมือใหม่ที่ทำด้วยภาษาอื่นมาเปรียบเทียบกับซอฟต์แวร์ของฉันและอ้างว่าของพวกเขาดีกว่า แต่จริง ๆ แล้วพวกเขารันเครื่องมือของฉันผิดและยัง บิดเบือน ข้อมูลด้วย
ฉันขอให้แก้ไขแล้ว แต่เพราะหน้าตาของวารสารจึงถูกกลบเงียบไว้ และผู้เขียนก็มีแต่แก้ตัว
ปัญหาคือเรื่องแบบนี้เกิดขึ้นบ่อยเกินไปในวงวิชาการ
หลังจากเจอเรื่องนั้น ความเชื่อมั่นของฉันต่อบทความวิชาการก็ลดลงมาก
วิธีวิทยาการทดสอบ ของพวกเขา ผิดตั้งแต่รากฐาน และพวกเขาก็ฝึกกับเกณฑ์ที่ตั้งขึ้นเองในปัญหาที่ไม่มี “คำตอบจริง” แล้วอ้างว่าผลของตัวเองดีที่สุด
ฉันแนะนำว่าไม่ควรรับตีพิมพ์ และวารสารก็เห็นด้วย แต่ไม่กี่เดือนต่อมากลับเห็นบทความนั้น ถูกตีพิมพ์ในวารสารอื่นโดยไม่แก้ไขอะไรเลย จนรู้สึกสิ้นหวังกับวงการวิชาการ
สุดท้ายฉันเลยได้ข้อสรุปว่า “อย่าให้คนจิตวิทยาเขียนโค้ด” อย่างน้อยก็ควรให้คนที่จบ CS มาช่วยตรวจสอบ
ทีมกฎหมายของมหาวิทยาลัยก็เหมือนกัน และหลังจากนั้นความเชื่อมั่นของฉันต่อวงการวิชาการก็แทบหมดไป นี่แหละเหตุผลของ วิกฤตการทำซ้ำผลการวิจัย
ทุกวันนี้ จำนวนการอ้างอิง ไม่ได้มีความหมายเหมือนเมื่อก่อนแล้ว
บทความที่มีปัญหายังคงถูกคัดลอกการอ้างอิงต่อ ๆ กันไป
เลยกำลังคิดทำบริการที่เอา เครือข่ายความน่าเชื่อถือ มาซ้อนบนกราฟการอ้างอิง
บทความที่อ้างงานผิด ๆ แบบไม่วิจารณ์ก็จะถูกติดป้ายว่า “อาจปนเปื้อน” และผู้เขียนหรือสถาบันที่มีงานแบบนี้เยอะก็จะถูกแท็กด้วย
แต่พออ่านบทความจริง ๆ แล้วพบว่า บทความมั่วมีเยอะเกินไป
สมมติฐานที่ว่างานแย่เป็นข้อยกเว้นนั้นผิดตั้งแต่ต้น สุดท้ายมันเหมือน “งมเพชรในโคลน”
เพราะงั้นถ้าสาขาไหนมีของปลอม 90% ก็ เมินทั้งสาขาไปเลยยังดีกว่า
แค่สรุปงานที่เกี่ยวข้องก็ดูเหมือนจะโดนลงโทษได้
แต่ถึงจะสร้างระบบความเชื่อถือขึ้นมา สุดท้ายก็คงถูก เล่นเป็นเกม อยู่ดี เลยค่อนข้างสงสัย
ทุกสาขามีบทความห่วย ๆ อยู่แล้ว แต่พอไปดู บทความของคณะบริหารธุรกิจ จริง ๆ แล้วจะช่วยเรียกความมั่นใจในตัวเองกลับมาได้
คนที่ทำวิจัยดีจริงในสาขานั้นแทบเป็น ข้อยกเว้นระดับกาลิเลโอ
น่าสนใจอยู่หรอก แต่ขาดความลึก เหมือน สารคดีประวัติศาสตร์ ที่ผิวเผิน
ฉันเห็นด้วยเต็มที่กับคำพูดที่ว่า “อย่าอ้างงานวิจัยชิ้นเดียวเป็นหลักฐานชี้ขาด”
ตัวอย่างเช่น “Harvard Goal Study” อันโด่งดังนั้นไม่มีอยู่จริง
ใน FAQ ของห้องสมุดฮาร์วาร์ดก็ ระบุชัดว่าไม่มีงานวิจัยดังกล่าว
ในทางกลับกัน ถ้าแทบไม่มีการอ้างอิงต่อเลย นั่นคือ สัญญาณว่าควรหนีให้ไกล
ปัญหาที่รากจริง ๆ คือวัฒนธรรม “publish or perish”
การได้ตำแหน่งอาจารย์และทุนวิจัยผูกอยู่กับจำนวนการอ้างอิง จึงเกิด การอ้างอิงกันเองและการผลิตบทความจำนวนมาก เป็นเรื่องปกติ
เราต้องการระบบประเมินหลายขั้นที่รวมถึงการเปิดเผยข้อมูลและ การตรวจสอบการทำซ้ำผล
โลกนี้มี บทความวิทยาศาสตร์ห่วย ๆ มากเกินไป
งานเขียนที่ฉันชอบคือ “Why Most Published Research Findings Are False” ของ John P. A. Ioannidis
แก่นของปัญหาคือ นัยสำคัญทางสถิติและโครงสร้างของวารสารวิชาการ
งานที่ “ไม่มีผลอย่างมีนัยสำคัญ” จะไม่ถูกตีพิมพ์ จึงเหลือแต่ ผลลัพธ์ที่มีอคติ ตามธรรมชาติ
การลงทะเบียนล่วงหน้าและ การเปิดเผยข้อมูลที่ทำซ้ำได้ เป็นเรื่องสำคัญ แต่เพราะการแข่งขันเพื่อเลื่อนตำแหน่งและผลประโยชน์ทางการค้าจึงไม่ค่อยทำกัน
ฉันเห็นด้วยได้ยากกับคำกล่าวที่ว่า “คนเมาแล้วขับไม่ใช่คนเลว”
ถ้าปกป้องพฤติกรรมที่คุกคามชีวิตคนอื่น ความหมายของคำว่า “เลว” ก็จะหายไป
เวลาเหล่านักวิจัยทำพฤติกรรมไร้จริยธรรมแล้วบอกว่า “เป็นเพราะการฝึกมาแบบนั้น” มันฟังดูเหมือน การปัดความรับผิดชอบ
ถ้าระบบทำให้พฤติกรรมแย่เกิดขึ้นได้ง่าย ต้นเหตุก็คือ ปัญหาเชิงโครงสร้าง
คำว่า “ถูกฝึกมา” ไม่ได้แปลว่า “ถูกสอนมา” แต่หมายถึง ถูกสภาพแวดล้อมหล่อหลอม
คำว่า ‘bad’ มีนัยทางศีลธรรมค่อนข้างอ่อน
สุดท้ายมันก็เป็นผลของ Dunning-Kruger effect ที่ทำให้มั่นใจในตัวเองเกินไป
ถ้าการตกอยู่ในภาพลวงตาแบบนี้เป็นเรื่องของมนุษย์ เราก็คงเรียกมนุษย์ว่าเลวโดยตัวตนไม่ได้
คำพูดที่ว่า “นักวิจัยด้านการทำซ้ำผลควรระวังตัว” ขัดกับแก่นแท้ของวิทยาศาสตร์
ผลลัพธ์ที่ทำซ้ำไม่ได้ย่อมไร้ความหมาย และงานวิจัยเชิงทำซ้ำควรถูกส่งเสริมเสียด้วยซ้ำ
จำนวนการอ้างอิงของบทความในวารสารหนึ่งแสดงไม่เท่ากันในแต่ละเว็บไซต์
SSRN แสดง 109 ครั้ง, ResearchGate 3936 ครั้ง, และ Google Scholar แสดง 6269 ครั้ง
เกณฑ์การนับการอ้างอิงต่างกันไปหมดจนยากจะเชื่อถือ
อีกทั้งยังมีข้อเสนอว่า “ควรเปิดเผยความคิดเห็น การแก้ไข และคำขอถอนบทความของทุกงาน” แต่
ถ้าทำแบบนั้นก็คงมี คอมเมนต์ประหลาดเต็มไปหมดแม้แต่ในบทความของไอน์สไตน์
ปัญหาการ นำไปใช้ในทางที่ผิด กลับไม่ได้ใหญ่เท่าที่คิด