แทนที่ "Peer Review" ด้วย "Peer Replication" (2021)
(blog.everydayscientist.com)- ในหลายสาขาวิทยาศาสตร์ยังขาดการทำซ้ำอย่างอิสระ แต่ peer review ในปัจจุบันกลับกลายเป็นด่านกั้นที่มีโอกาสผิดพลาดสูงและทำให้การสื่อสารงานวิจัยสำคัญล่าช้า
- peer replication ที่เสนอขึ้นมา คือโครงสร้างที่ให้ห้องแล็บอื่นทำซ้ำผลลัพธ์หลักจริง ๆ แล้วนำไปประกอบการตัดสินใจตีพิมพ์ แทนที่จะให้ผู้ทรงคุณวุฒินิรนามประเมินต้นฉบับ
- นักวิจัยที่เข้าร่วมการทำซ้ำจะมีชื่ออยู่ในบทความเป็นบรรทัดแยกต่างหาก ได้ทั้ง การอ้างอิงและรายการใน CV ส่วนผู้เขียนจะปกป้องผลลัพธ์ด้วยความสามารถในการทำซ้ำ แทนที่จะต้องตอบสนองต่อคำขอทดลองเพิ่มเติมจากผู้ประเมิน
- การทดลองที่ต้องใช้เทคนิคขั้นสูง ใช้เวลานาน หรือใช้ทรัพยากรมาก ล้วนทำซ้ำได้ยาก บรรณาธิการ·ผู้เขียน·ผู้ประเมินจึงต้องเลือกสิ่งที่จะทำซ้ำโดยชั่งน้ำหนักระหว่าง ความเคร่งครัดทางวิชาการกับความเป็นไปได้ในการปฏิบัติ
- เพื่อลดการทำซ้ำที่ล้มเหลว การลองซ้ำหลายรอบ และการส่งวารสารวนไปเรื่อย ๆ จำเป็นต้องมีกลไกความโปร่งใส เช่น การลงทะเบียนล่วงหน้า การเปิดเผยกรณีล้มเหลว และการเก็บรักษาบทความที่ถูกปฏิเสธ
Peer Replication ที่ถูกเสนอเป็นทางเลือกแทน Peer Review
- การตรวจสอบทางวิทยาศาสตร์ในอุดมคติไม่ใช่การให้ผู้เชี่ยวชาญไม่กี่คนประทับตราอนุมัติต้นฉบับ แต่คือการยืนยันว่าการค้นพบในบทความนั้น ทำซ้ำได้ในโลกจริง หรือไม่
- การทดสอบวิธีวิทยาใหม่ที่ดีที่สุดไม่ใช่การประเมินบทความ แต่คือการที่นักวิจัยร่วมสาขาได้ลอง ใช้เทคนิคดังกล่าว จริง ๆ
- แทบไม่มีแรงจูงใจให้ห้องแล็บอิสระกลับมาตรวจสอบผลลัพธ์ที่ตีพิมพ์แล้วอีกครั้ง บทความที่ตีพิมพ์ส่วนใหญ่จึงไม่ได้ถูกทำซ้ำอย่างอิสระในภายหลัง
- ใน peer replication พรีพรินต์หรือต้นฉบับจะถูกส่งไปยังห้องแล็บอื่น และห้องแล็บนั้นจะทำซ้ำการค้นพบหลักจริง ๆ
- หากการค้นพบหลักทำซ้ำได้ ต้นฉบับก็จะได้รับอนุมัติและตีพิมพ์
- ผู้เขียนสามารถขอความคิดเห็นจากเพื่อนร่วมวิชาชีพและแก้ไขต้นฉบับได้ แต่บรรณาธิการจะไม่เป็นผู้รับหน้าที่รวบรวมความคิดเห็นหรือเรียกร้องให้แก้ไขแทน
วิธีใส่ผลการทำซ้ำไว้ร่วมในบทความ
- บทความที่ตีพิมพ์จะมี ผลการพยายามทำซ้ำ รวมอยู่ด้วย พร้อมกับข้อมูลดิบ
- สามารถแสดงในรูปแบบตารางได้ว่าสารรีเอเจนต์และเทคนิคใดเหมือนกับการทดลองต้นฉบับ
- ยิ่งมีพารามิเตอร์ที่เปลี่ยนไปมากระหว่างการทดลองต้นฉบับกับการทดลองทำซ้ำ หากได้ผลลัพธ์คล้ายกัน การค้นพบสุดท้ายก็ยิ่งเป็น ผลลัพธ์ที่แข็งแรงน่าเชื่อถือ มากขึ้น
- ผู้อ่านสามารถตัดสินได้เองจากผลการทำซ้ำว่าหลักฐานทั้งหมดสนับสนุนข้อกล่าวอ้างของบทความหรือไม่
แรงจูงใจที่เกิดขึ้นกับผู้เข้าร่วม
- peer review แบบดั้งเดิมต้องใช้เวลาและความพยายามมากหากจะทำให้ดี แต่แทบไม่มีผลตอบแทน
- ใน peer replication ชื่อของนักวิจัยที่ทำงานทำซ้ำจะถูกใส่ไว้ในบทความที่ตีพิมพ์เป็นบรรทัดแยกต่างหาก
- ผู้ประเมินสามารถได้รับ การอ้างอิง
- ได้ผลตอบแทนในรูปแบบบทความอีกหนึ่งชิ้นที่ใส่ใน CV ได้
- ผู้เขียนสามารถแสดงให้เห็นว่าผลลัพธ์ของตนยังคงอยู่หลังผ่านการตรวจสอบอย่างเข้มงวด
- ในการประเมินแบบดั้งเดิม ผู้เขียนต้องทำการทดลองเพิ่มเติมและตอบโต้คำวิจารณ์ของผู้ประเมิน แต่ใน peer replication ผู้ประเมินจะรับบทเป็นผู้ ปกป้อง การค้นพบของต้นฉบับด้วยการทดลอง
ความเป็นไปได้ในการดำเนินการและผลข้างเคียง
- มีงานวิจัยจำนวนมากที่ทำซ้ำได้ยาก
- กรณีที่ต้องใช้เทคนิควิทยาศาสตร์ขั้นสูง
- กรณีที่ต้องใช้เวลานาน
- กรณีที่ต้องใช้ทรัพยากรมาก เช่น การทดลองกับหนู
- บรรณาธิการต้องร่วมกับผู้เขียนและผู้ประเมินตัดสินใจว่าจะทำซ้ำการทดลองใด
- เป้าหมายคือการสร้างสมดุลระหว่าง ความเคร่งครัดทางวิชาการ กับ ความเป็นไปได้ในการปฏิบัติ
- การทดลองที่ซับซ้อนมากบางส่วนอาจยังคงไม่ได้ถูกทำซ้ำ
- ในกรณีนี้ ผู้อ่านต้องตัดสินเองว่าจะประเมินบทความทั้งชิ้นอย่างไร
- peer replication เปลี่ยนกระบวนการประเมินที่มีลักษณะเผชิญหน้าให้กลายเป็นความร่วมมือระหว่างเพื่อนร่วมวิชาชีพเพื่อค้นหาความจริง
- เมื่อมีสายตาและความคิดของนักวิจัยคนอื่นเข้ามา อาจเพิ่มกลุ่มควบคุมใหม่หรือแนวทางทดลองทางเลือก ซึ่งช่วยเสริมความแข็งแรงให้การค้นพบเดิม
- การแบ่งปันขั้นตอนการทดลองมากขึ้นจะเป็นประโยชน์ต่อความร่วมมือในอนาคต แนวทางใหม่ ๆ และการฝึกทักษะให้กับนักศึกษาและนักวิจัยหลังปริญญาเอก
- อาจเป็นช่องทางในการเผยแพร่ ความรู้เชิงทักษะปฏิบัติ ที่ติดอยู่ภายในห้องแล็บแต่ละแห่ง
- หากนักวิจัยคนอื่นพยายามทำซ้ำผลการทดลองจริง ๆ ก็จะทำให้การส่งผ่านข้อมูลปลอมหรือภาพที่ถูกปรับแต่งให้ดูเหมือนของจริงทำได้ยากขึ้น จึงช่วยลด การประพฤติมิชอบในการวิจัย ได้
ปัญหาที่คาดว่าจะเกิดขึ้นและวิธีเริ่มต้น
- peer replication อาจใช้เวลานานขึ้นตั้งแต่การส่งต้นฉบับจนถึงการตีพิมพ์สุดท้าย
- peer review แบบดั้งเดิมก็มักใช้เวลาหลายเดือนอยู่แล้ว ดังนั้นในหลายกรณี การทดลองทำซ้ำอาจไม่ได้เพิ่มเวลาจริงมากนัก
- หากผู้เขียนส่งชิ้นส่วนของงานวิจัยโดยไม่รอให้ต้นฉบับทั้งหมดเสร็จสมบูรณ์ ก็จะช่วยลดเวลาได้
- วิธีที่เหมาะคือการเตรียมทำซ้ำการค้นพบบางส่วนผ่านกลไกที่เป็นอิสระจากวารสาร เช่น ReviewCommons
- เมื่อการทำซ้ำล้มเหลว จำเป็นต้องใช้ดุลยพินิจ
- ต้องตัดสินว่าการทำซ้ำที่ล้มเหลวนั้นเป็นส่วนจำเป็นของต้นฉบับหรือไม่
- ต้องพิจารณาด้วยว่าความพยายามทำซ้ำนั้นดำเนินการอย่างเหมาะสมเพียงพอหรือไม่
- อาจจำเป็นต้องมีความพยายามทำซ้ำครั้งที่สอง แต่ต้องระวังวิธีที่ทำซ้ำไปเรื่อย ๆ จนกว่าจะสำเร็จแล้วจึงหยุด
- การลงทะเบียนแผนการทำซ้ำล่วงหน้า อาจช่วยลดปัญหานี้ได้
- รายละเอียดของการทำซ้ำที่ล้มเหลวต้องถูกรวมไว้ในบทความที่ตีพิมพ์เสมอ
- ยังมีปัญหา journal shopping ที่ผู้เขียนถูกปฏิเสธจากวารสารหนึ่งเพราะการทำซ้ำล้มเหลว แล้วนำไปส่งวารสารอื่นอีก
- บทความที่ถูกปฏิเสธควรถูกเก็บรักษาไว้ในรูปแบบใดรูปแบบหนึ่งเพื่อความโปร่งใสและความรับผิดชอบ
- ต้องมีกลไกให้นักวิจัยที่เข้าร่วมการทำซ้ำได้รับเครดิตจากความพยายามด้วย
- การแบ่งบทบาทเป็นดังนี้
- Editor: คัดกรองต้นฉบับที่ส่งเข้ามา และปฏิเสธวิทยาศาสตร์ที่มีข้อบกพร่องชัดเจน การทดลองที่ไม่คุ้มค่าต่อการทำซ้ำ การขาดกลุ่มควบคุมที่จำเป็น และผลลัพธ์ที่น่าเบื่อมาก
- Editor: หาผู้ประเมินที่เหมาะสม และร่วมกับผู้เขียน·ผู้ประเมินกำหนดว่าจะทำซ้ำการทดลองใดและอย่างไร
- Editor: ปรึกษากับผู้ประเมินเพื่อตัดสินขั้นสุดท้ายว่าการค้นพบของบทความทำซ้ำได้เพียงพอสำหรับการตีพิมพ์อย่างเป็นทางการหรือไม่
- Authors: เขียนต้นฉบับ ขอ feedback ผ่านช่องทางอย่าง bioRxiv แล้วแก้ไขก่อนส่งวารสาร
- Authors: สนับสนุนผู้ประเมินในด้านการออกแบบการทดลอง สารรีเอเจนต์ และหากจำเป็น รวมถึงบุคลากรหรือการเข้าถึงอุปกรณ์พิเศษ
- Referees: พยายามทำซ้ำผลการทดลองหลักของต้นฉบับอย่างจริงจัง และหากจำเป็นให้ทำการทดลองหรือกลุ่มควบคุมเพิ่มเติม พร้อมสรุปผลลัพธ์
- Readers: ตัดสินว่าหลักฐานสนับสนุนข้อกล่าวอ้างหรือไม่โดยอาศัยความเชื่อมั่นว่าการทดลองหลักถูกทำซ้ำอย่างอิสระในห้องแล็บอื่น และอ้างอิงวิทยาศาสตร์ที่ทำซ้ำได้
- วิธีเริ่มต้นอาจเป็นโครงการนำร่องของวารสารอย่าง eLife แต่ไม่จำเป็นต้องรอให้สำนักพิมพ์แบบดั้งเดิมขยับก่อน
- องค์กรอย่าง Review Commons อาจเป็นเส้นทางที่รวดเร็ว โดยค้นหาผู้สมัครที่ดีจาก bioRxiv ร่วมกับผู้เขียนสรรหาผู้ประเมินที่จะทำการทำซ้ำ แล้วส่งแพ็กเกจทั้งหมดไปยังวารสาร
- เมื่อนักวิทยาศาสตร์ได้เห็นบทความที่ผ่านการตรวจสอบด้วย peer replication ในสิ่งพิมพ์จริง ก็จะยากขึ้นที่จะยอมรับบทความที่ผ่านเพียง peer review อย่างจริงจัง และวิทยาศาสตร์ที่ดีกว่าจะได้แข่งขันกับการค้นพบที่ยังไม่ได้ทำซ้ำ
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ผมไม่แน่ใจว่าวิธีนี้จะใช้งานได้จริงหรือไม่ และดูเหมือนว่าคนนอกวงการวิทยาศาสตร์จะประเมินงานที่ต้องใช้ในการทำซ้ำบทความวิจัยทุกฉบับต่ำเกินไปมาก
แม้จะแตกต่างกันไปตามสาขา แต่การทำซ้ำบทความวิจัยหนึ่งฉบับอย่างถูกต้องอาจใช้เวลา หลายเดือน ได้ งานนี้อาจไม่ต้องทำซ้ำการลองผิดลองถูกที่บทความต้นฉบับเคยผ่าน และอาจได้รับตัวอย่างมาช่วยลดขั้นตอนการเตรียมได้ แต่ถ้าครั้งแรกทำไม่สำเร็จ ก็ต้องดีบักการทดลองและตรวจสอบว่าไม่มีความผิดพลาด ซึ่งทำให้ใช้เวลาเพิ่มขึ้นมาก
ยิ่งไปกว่านั้น งานนี้แทบไม่มีประโยชน์ต่อผู้ वैज्ञानिकที่ทำซ้ำเองเลย มีแต่ต้องเสียเงินและเวลา หากมีใครสนใจงานนั้นมากพอที่จะนำไปต่อยอด เขาก็คงพยายามทำซ้ำอยู่แล้ว และถ้าทำสำเร็จ บทความต่อยอดก็จะสนับสนุนบทความต้นฉบับโดยอ้อม แม้จะไม่ใช่บทความทำซ้ำโดยตรงก็ตาม
อย่างไรก็ดี ปัญหาใหญ่คือเมื่อการทดลองต่อยอดล้มเหลว โดยทั่วไปก็มักไม่ได้รับการตีพิมพ์ แต่เรื่องนี้ก็ไม่ได้แก้ได้เพียงแค่บอกให้ตีพิมพ์ ผลลัพธ์เชิงลบ การสร้างผลลัพธ์เชิงลบที่หนักแน่นต้องใช้แรงงานมากกว่าการลองทดลองดูแล้วถ้าดูไม่มีทางเป็นไปได้ก็หยุดไปมาก
แม้งานจะถูกทำซ้ำได้ แต่หากเงื่อนไขอื่นไม่ตรง ก็อาจไม่ได้รับการตีพิมพ์ ตัวอย่างเช่น สมมติว่าทีมหนึ่งกำลังมองหาวัสดุใหม่เชิงนวัตกรรมเพื่อแก้ปัญหาวิศวกรรมที่ซับซ้อน แล้วพบสารชนิดหนึ่งที่เคยสังเคราะห์ขึ้นครั้งหนึ่งในทศวรรษ 1980 และไม่เคยมีใครทำซ้ำได้อีก วัสดุนั้นดูเหมือนจะมีคุณสมบัติที่ต้องการ จึงลองสังเคราะห์ดู ปรากฏว่าโครงสร้างถูกต้อง แต่ไม่มีคุณสมบัติตามที่คาดหวัง เช่นนี้ก็มีแนวโน้มว่าจะไม่เขียนเป็นบทความ และข้ามไปยังตัวเลือกถัดไป แม้หลายทีมจะทำสิ่งเดียวกันพร้อมกัน คนที่ตามมาก็จะไม่มีทางรู้อะไรเลย
“ลักษณะเฉพาะของกระบวนการพิจารณาคือ ข้อมูลและการทดลองทั้งหมดที่รายงานในบทความต้องถูกทำซ้ำได้สำเร็จในห้องปฏิบัติการของสมาชิกคณะบรรณาธิการ เพื่อยืนยันความสามารถในการทำซ้ำก่อนตีพิมพ์”
https://en.wikipedia.org/wiki/Organic_Syntheses
เช่น ลดจำนวนบทความลง x ฉบับ แล้วกำหนดให้มีงานทำซ้ำ x ชิ้นแทน และให้มีผลงานทำซ้ำในสาขาความเชี่ยวชาญของตนเอง ควรมีหมวดทุนวิจัยสำหรับงานทำซ้ำด้วย และส่งเรื่องนี้ไปเป็นระบบอิสระ ต้องมีเครื่องมืออย่างการสุ่มมอบหมายด้วย งานทำซ้ำควรถูกประเมินว่ามีคุณค่าเท่ากับงานวิจัยต้นฉบับ
ภาควิชาขนาดเล็กระดับ R2 อาจเปลี่ยนไปเป็นศูนย์กลางงานทำซ้ำได้ ในชีววิทยา เคมี และบางส่วนของจิตวิทยา อาจทำได้ง่ายกว่าฟิสิกส์อนุภาค เริ่มจากสาขาที่มีต้นทุนการทำซ้ำค่อนข้างต่ำ แล้วค่อยปรับรายละเอียด ในบางกรณีเป็นไปได้อย่างเพียงพอ แต่ในบางสาขาอาจยากตลอดไป
ในวิทยาการหุ่นยนต์ มีบทความมากเกินไปที่หยิบอัลกอริทึมหรือโมเดลแมชชีนเลิร์นนิงที่รู้กันอยู่แล้วสามสี่อย่างมาใช้กับฮาร์ดแวร์สำเร็จรูป ผลลัพธ์อยู่ในระดับที่คนซึ่งได้รับการศึกษาในสาขานั้นแทบจะเดาได้ถูก พื้นที่ปัญหายอดนิยมอย่างมือเทียม โดรนเฝ้าระวังไฟป่า หรือหุ่นยนต์นำชมพิพิธภัณฑ์ มีตัวแปรดัดแปลงออกมาหลายร้อยแบบทุกเดือน แต่มากกว่าปริมาณที่อาจมีประโยชน์จริงอย่างมาก
งานวิจัยที่อ้างว่าค้นพบสิ่งสำคัญจริง ๆ อาจต้องมีกระบวนการแยกต่างหาก ผมไม่รู้ว่าควรเป็นอะไรแน่ แต่พูดตามตรง จำนวนบทความเองอาจต้องลดลงด้วยซ้ำ
จุดประสงค์ของการตีพิมพ์ทางวิทยาศาสตร์คือการแบ่งปันผลลัพธ์ใหม่ ๆ กับนักวิทยาศาสตร์คนอื่น ๆ เพื่อให้ผู้อื่นสามารถต่อยอดหรือยืนยันความถูกต้องได้
แน่นอนว่ามีองค์ประกอบเรื่อง “การยอมรับผลงาน” อยู่เสมอ แต่หากมองจากมุมของการทำให้ความก้าวหน้าทางวิทยาศาสตร์สูงสุด สิ่งที่สำคัญจริง ๆ คือ การสื่อสาร
ในอดีตนานมาแล้ว การตีพิมพ์คล้ายกับกระบวนการไม่เป็นทางการ เช่น ส่งจดหมายเวียน หรือถ้าเป็นผลลัพธ์ใหญ่ก็ออกหนังสือเองด้วยทุนของตนเอง ต่อมาสำนักพิมพ์สร้างวารสารทางการขึ้น และบางวารสารก็มีบทความส่งเข้ามามากจนลงพิมพ์โดยอาศัยชื่อเสียงเพียงอย่างเดียว หรือมากจนตรวจสอบได้ยาก วารสารยอดนิยมเริ่มใช้เกณฑ์บรรณาธิการขั้นพื้นฐานเพื่อคัดกรองบทความที่เขียนแย่มากและสแปมที่เห็นได้ชัด และเพราะบรรณาธิการไม่ใช่ผู้เชี่ยวชาญทุกสาขา จึงขอความช่วยเหลือจากอาสาสมัคร นั่นแหละคือ peer review
ภายหลัง ข้าราชการต้องการวิธีวัดผลิตภาพของนักวิทยาศาสตร์เพื่อจัดสรรงบประมาณและการเลื่อนตำแหน่ง จึงใช้ผลงานตีพิมพ์ในวารสารทรงอิทธิพลบางแห่งเป็นตัวชี้วัด ผลก็คือ “การแบ่งปันผลลัพธ์” ซึ่งเคยเป็นกระบวนการที่มีประโยชน์ กลายเป็นเหมือนกระบวนการรับ คะแนนวิชาการ ในสายตาคนนอก และการตีพิมพ์เองก็ดูเหมือนเป้าหมายสุดท้าย แทนที่จะเป็นขั้นตอนกลางของกระบวนการตรวจสอบผลลัพธ์
นอกจากนี้ คนนอกบางคนยังเข้าใจกระบวนการนี้ผิดและโกรธกับข้อเท็จจริงที่ว่าผลลัพธ์ระหว่างทางอาจผิดได้ แทนที่จะยอมรับว่าแก่นของการตีพิมพ์คือการแบ่งปันผลลัพธ์อย่างกว้างขวางเพื่อเพิ่มความเป็นไปได้ในการตรวจสอบ หรือสร้างตัวชี้วัดการเลื่อนตำแหน่งที่ดีกว่า พวกเขากลับพยายามขัดขวางกระบวนการแบ่งปันหลัก ทำให้ไร้ประสิทธิภาพ และลดขอบเขตกับความเร็วในการเผยแพร่ของงานตีพิมพ์ ความสับสนนี้สามารถจัดการได้อย่างฉลาดกว่านี้มาก
อีกปัจจัยคือสาธารณชนที่ไม่ใช่นักวิทยาศาสตร์รับข้อมูลจากแวดวงวิชาการอย่างไร ในอดีตแวดวงวิชาการเป็นกลุ่มค่อนข้างปิดที่แสวงหาความรู้เพื่อความรู้เอง เรื่องนี้จึงสำคัญน้อยกว่า สิ่งที่ใหม่คือสังคมเริ่มยึดติดกับความคิดที่ว่าการบริหารรัฐและการปกครองควรขึ้นกับผลลัพธ์และความเห็นของแวดวงวิชาการอย่างมาก
ความกระตือรือร้นต่อ policy based on science ส่งผลกระทบสามชั้น ข้อเท็จจริงที่ว่าผลวิจัยอาจมีผลต่อนโยบายสามารถเปลี่ยนแรงจูงใจของวิธีทำวิทยาศาสตร์เองได้ ข้อเท็จจริงที่ว่าผลลัพธ์ทางวิชาการมีอิทธิพลภายนอกย่อมเปลี่ยนด้วยว่าวิทยาศาสตร์แบบไหนจะถูกทำ และอาจดึงดูดผู้เล่นที่ไม่ซื่อสัตย์เข้ามา เมื่ออิทธิพลเพิ่มขึ้น สาธารณชนที่ไม่รู้ดีพอจะเห็นผลลัพธ์ที่ยังเป็นขั้นต้นหรือยังไม่ถูกทำซ้ำ แล้วด่วนสรุปแบบไม่สุกงอม งานวิจัยที่แคบหรืออ่อนแอก็อาจได้รับความสนใจเกินควร หากดูเหมือนเป็นไม้ตีชั้นดีไว้ฟาดฝ่ายตรงข้าม
ไม่ว่าจะชอบหรือไม่ นักวิชาการก็ถูกประเมินจากการตีพิมพ์ในท้ายที่สุด และผมคิดว่าแทบไม่มีใครเข้าใจเรื่องนี้ผิด ปัญหาคือแรงจูงใจนั้นแย่ การสร้างระดับการตีพิมพ์ใหม่ที่กำหนดให้ต้องทำซ้ำได้อาจเป็นไปได้ในบางสาขาอย่าง optics/photonics แต่แทบเป็นไปไม่ได้ในสาขาอย่างฟิสิกส์อนุภาคเชิงทดลอง
ในสาขาปัญญาล้วน ๆ อย่างคณิตศาสตร์ ฟิสิกส์ทฤษฎี และปรัชญา ระบบแบบนี้น่าจะไม่จำเป็น ส่วน machine learning ที่อยู่กึ่งกลางนั้น ในทางทฤษฎีดูเหมือนทำซ้ำได้ง่าย แต่เช่น การเทรน baseline ของโมเดลภาษาขนาดใหญ่อาจมีต้นทุนสูงเกินไป
การรับรู้ของสาธารณชนที่มองบทความในวารสารทรงอิทธิพลว่าเป็นความจริงที่ได้รับการยืนยันแล้วก็ไม่ได้ช่วยอะไร
ทุกวันนี้การตีพิมพ์ไม่ได้ทำหน้าที่แบบเดียวกับก่อนยุคอินเทอร์เน็ตอีกแล้ว ตอนนี้การเขียนบทความที่ดูน่าเชื่อถือและทำให้ได้ตีพิมพ์โดยไม่มีงานวิจัยจริงเป็นเรื่องเล็กน้อย: http://theatlantic.com/ideas/archive/…
peer review ไม่ใช่กลไกที่พยายามรับประกันการทำซ้ำได้ แต่เป็นกลไกที่พยายามรับประกัน ความอ่านง่ายและความเข้าใจได้ ของบทความ
การทดลองบางอย่างมีค่าใช้จ่ายหลายพันล้านดอลลาร์ จึงเป็นไปไม่ได้ที่จะใช้ “การทำซ้ำโดยเพื่อนร่วมวงการ” กับบทความทุกชิ้น
แต่สามารถเพิ่มเมทาดาทาสำหรับบทความที่มีการทำซ้ำแล้วได้
การประชุมวิชาการอาจต่างออกไป แต่ผมเข้าใจว่า peer review ใกล้เคียงกับการตรวจสอบว่าวิธีวิจัย ขอบเขต ข้ออ้าง ทิศทาง ข้อสรุป และความเกี่ยวข้องนั้นสมเหตุสมผลและน่าเชื่อถือหรือไม่มากกว่า
หากมีใครสละเวลาพยายามทำซ้ำสิ่งที่อธิบายไว้ในบทความหนึ่งหรือสองชิ้น นั่นเป็นงานที่มีคุณค่าต่อชุมชนและควรได้รับการส่งเสริม ยิ่งดีถ้าใช้เป็นโอกาสให้นักศึกษาปริญญาเอกฝึกฝนทักษะ มันไม่หวือหวาและไม่ใช่สิ่งใหม่ทั้งหมด แต่มีประโยชน์และสำคัญ
งานวิจัยแบบนี้ควรได้ลงในวารสารทั่วไป หากมีแต่วารสารเฉพาะงานทำซ้ำ ค่า impact factor ก็จะแย่มากและจะไม่มีใครสนใจ
มักมีคนที่มองว่าถ้าไม่ใช่วิธีแก้ 100% ก็ไม่เหมาะสม แล้วจึงไม่ทำอะไรเลย peer review ถูกพิสูจน์แล้วว่าไม่เพียงพอ แต่ผู้คนก็ยังยึดมันไว้อย่างสุดชีวิต บางสาขาควรกำหนดให้ทุกอย่างต้องทำซ้ำได้ ผมจะไม่เจาะจงจิตวิทยาหรือสังคมศาสตร์โดยรวมก็แล้วกัน แต่ อัตราความล้มเหลวในการทำซ้ำ ของบางสาขาอยู่ในระดับที่ยอมรับได้ยาก
ต้องเปลี่ยนเกณฑ์คุณค่า เช่น ยอมรับการทำซ้ำว่าเป็นเส้นทางที่มีผลจริงต่อการได้ตำแหน่งถาวรและการเลื่อนตำแหน่ง และกำหนดให้เป็นองค์ประกอบบังคับของหลักสูตรปริญญาเอก
ทั้งสองครั้ง ความเห็นผู้รีวิวมีคำพูดทำนองว่า “บทความเขียนดีมาก ถึงขั้นที่นักศึกษาปริญญาตรีก็อ่านได้” สุดท้ายแล้ว peer review รับประกัน บทบาทคนเฝ้าประตู
ช่วงหนึ่งใน Reddit เคยมีคำขวัญว่า “ไม่มีรูปก็เหมือนไม่เคยเกิดขึ้น”
อย่างน้อยในสาขาวิทยาการคอมพิวเตอร์/แมชชีนเลิร์นนิง เราจำเป็นต้องมี ไม่มีโค้ดก็เหมือนไม่เคยเกิดขึ้น บทความวิชาการคลุมเครือ และแม้จะมีสมการ บางครั้งองค์ประกอบทั้งหมดก็ไม่ได้ถูกนิยามไว้
การทำซ้ำโดยเพื่อนร่วมวงการในสาขานี้เป็นโจทย์ที่ง่ายและต้นทุนต่ำ ซึ่งอาจเป็นตัวอย่างให้วิทยาศาสตร์สาขาอื่นได้
งานวิจัย breakthrough ล่าสุดเกี่ยวกับ Alzheimer อะไรทำนองนั้น การทำซ้ำย่อมมีประโยชน์ และไม่ว่าอย่างไรก็มักจะถูกทำซ้ำอยู่แล้วเพราะมีผลประโยชน์เชิงพาณิชย์ แต่หัวข้อเฉพาะทางธรรมดา ๆ ไม่ได้มีเงินสนับสนุนให้ทำซ้ำงานวิจัยทุกชิ้น การที่งานวิจัยด้านวิทยาการคอมพิวเตอร์/ปัญญาประดิษฐ์ทำซ้ำได้สะดวก ไม่ได้แปลว่าจะขยายไปใช้กับงานวิจัยทั้งหมดได้
เพราะแบบนั้น peer review จึงมีอยู่ มันเป็นกลไกสำหรับคัดงานที่ไม่น่าเชื่อถือ งานที่ใช้ความพยายามต่ำ หรือเกี่ยวข้องน้อย ไม่ได้ถูกออกแบบมาเพื่อป้องกันการฉ้อโกง
ในยุคที่มี GitHub, GitLab และอื่น ๆ ตอนนี้ สิ่งนี้ควรเป็นมาตรฐานแล้ว ถ้าบทความที่เกี่ยวกับ implementation ไม่ให้โค้ดมา ส่วนใหญ่ก็น่าจะเป็นเรื่องเหลวไหล
ผมชอบแนวทางที่แยก “peer review” ออกเป็นสองส่วน และให้แต่ละสาขาตกลงกันเรื่อง เกณฑ์การอ้างอิง ว่าเมื่อบทความเกินจำนวน citation หนึ่งแล้วต้องมีการทำซ้ำ วารสารก็ควรมีส่วนเฉพาะสำหรับความพยายามในการทำซ้ำด้วย
ในบางสาขา นอกจากความรู้เฉพาะทางแล้ว การทดลองที่ดียังต้องอาศัยทักษะชำนาญที่เรียกว่า “มือ” ด้วย เช่น การจัดการสารประกอบที่ไวต่ออากาศ หรือการจัดการวัสดุในสถานะควบแน่น/ผลึก ในการทดลองสำหรับวิทยานิพนธ์ของผม ผมสร้างอุปกรณ์บางส่วนขึ้นเองด้วยมือ
บางครั้งก็ต้องใช้ facilities เฉพาะทางด้วย โปรเจกต์ปริญญาเอกของผมใช้อุปกรณ์มูลค่าราว 500,000 ดอลลาร์ และอุปกรณ์บางชิ้นที่ผมใช้ก็เลิกผลิตและหาไม่ได้แล้วตอนใกล้จบ
ผมคิดว่าวิธีที่สมจริงกว่าคือกำหนดให้มี การตรวจทานความสามารถในการทำซ้ำ และให้ส่ง แผนที่วิธีวิทยา สำหรับบทความแต่ละชิ้น
อย่างแรกคือกระบวนการโต้ตอบไปมาที่ผู้ประเมินตั้งคำถามและตรวจสอบโดยมีเป้าหมายให้ทำซ้ำผลลัพธ์จากบทความได้ แต่ไม่ได้บังคับให้ทำซ้ำจริง โดยทั่วไปมีประโยชน์ในการค้นหารายละเอียดที่ผู้เขียนละไว้เพราะคิดว่าคนในสาขารู้กันหมดแล้ว ผมเคยเห็นนักศึกษาปริญญาเอกด้านชีววิทยาเสียเวลาไปหลายเดือนเพื่อตามหารายละเอียดการทดลองที่ไม่มีอยู่ในบทความจริง ๆ
อย่างหลังจะเป็นผลลัพธ์ของอย่างแรก แทนที่จะใส่ภาคผนวกยาว ๆ ไว้ในบทความหลัก ก็ทำเอกสารแยกที่ครอบคลุมการทดลองและวิธีวิทยาอย่างละเอียดร่วมกับ peer reviewer และใส่ชื่อผู้ประเมินไว้เพื่อไม่ให้ทำแบบขอไปทีได้
ผมอ่านบทความจำนวนมากเกินไปที่ขาดข้อมูลสำคัญต่อการทำซ้ำ ในแมชชีนเลิร์นนิง/รีอินฟอร์ซเมนต์เลิร์นนิง เมื่อมีโค้ด ก็พบรายละเอียด implementation นับไม่ถ้วนที่ไม่มีอยู่ในบทความ จริง ๆ แล้วมีผลลัพธ์ที่ชี้ว่ารายละเอียดแบบนั้นเป็นตัวตัดสินความสำเร็จหรือล้มเหลวของอัลกอริทึมบางตัวด้วย [1] ผมเคยเห็นกรณีที่รายละเอียดสำคัญเขียนไว้เฉพาะในคอมเมนต์ของโค้ดด้วย
ที่เลวร้ายกว่านั้นคือมีบทความหนึ่งอ้างว่าได้ประเมินวิธีของตนบน benchmark แต่พอตรวจสอบดู กลับพบว่าใน benchmark นั้นไม่มีงานดังกล่าวอยู่เลย พวกเขา fork benchmark แล้วสร้างงานของตัวเองขึ้นมาโดยไม่ระบุให้ชัดเจน [2]
เรื่องแบบนี้ทำให้สูญเสียความเชื่อมั่นต่อทิศทางวิทยาศาสตร์บางแนวทาง ผมเคยเห็นนักวิจัย junior หลายคนสรุปว่าบ้านทั้งหลังเหมือนสร้างด้วยไพ่ แล้วเลิกทำวิจัยไปเลย
[1] https://arxiv.org/abs/2005.12729
[2] https://arxiv.org/abs/2202.02465
ถ้าคิดว่านี่วุ่นวายหรือแพงเกินไป ก็ควรนึกไว้ด้วยว่าสำนักพิมพ์กำลังทำกำไรเป็นสถิติอยู่ ทรัพยากรมีอยู่แล้ว
https://youtu.be/ukAkG6c_N4M
ตอนนี้เวลาผมตรวจต้นฉบับ ผมใส่ใจมากขึ้นมากว่ามีข้อมูลเพียงพอสำหรับทำซ้ำการทดลองหรือ simulation หรือไม่ บทความที่ตีความผิดยังพอตีพิมพ์ได้ เพราะคนอื่นจะค้นพบได้ระหว่างทำงานวิจัยของตัวเอง แต่บทความที่ทำซ้ำผลลัพธ์ไม่ได้ ไม่ควรถูกปล่อยให้ตีพิมพ์
เนื้อหาที่ยาวเกินกว่าจะใส่ในส่วนการทดลองควรไปอยู่ในเอกสารข้อมูลเสริมอิเล็กทรอนิกส์ แต่ถ้าดาวน์โหลด PDF แล้วข้อมูลเสริมแนบมากับบทความด้วยก็คงดี การต้องไปตามหาแยกต่างหากน่ารำคาญจริง ๆ บางสาขา เช่น การวิเคราะห์ลักษณะเฉพาะของวัสดุ ก็มักให้ข้อมูลเสริมที่มีข้อมูลและรายละเอียดจำนวนมากอยู่แล้ว
dataset ขนาดใหญ่ควรถูกส่งไปยัง repository หรือวารสาร dataset แบบนั้นวิธีการยังคงผ่าน peer review และ dataset ก็มี DOI ทำให้นำกลับมาใช้ซ้ำได้ง่ายขึ้น นี่ยังเป็นวิธีที่ดีในการเพิ่มจำนวนบทความของนักศึกษาเป็นสองเท่าตอนจบปริญญาเอกด้วย
การ fork benchmark เพื่อสร้างงานของตัวเองแล้วไม่ระบุให้ชัดเจน นั่นมันชั่วร้ายล้วน ๆ
แม้จะทำซ้ำได้ยากหรือเป็นไปไม่ได้ วิทยาศาสตร์เชิงสังเกต ก็ยังเป็นสาขาหนึ่งของวิทยาศาสตร์อยู่ดี
ลองนึกถึงภาพถ่ายแรกของหมึกยักษ์มีชีวิตในถิ่นอาศัยตามธรรมชาติที่เผยแพร่เมื่อปี 2005: https://royalsocietypublishing.org/doi/10.1098/rspb.2005.315...
ใครจะคิดอย่างจริงจังว่ามันไม่ควรถูกตีพิมพ์จนกว่าจะมีคนอื่นทำซ้ำผลลัพธ์นั้นได้
จะบอกว่าผลการทดลองทางคลินิกของยาก็ไม่ควรตีพิมพ์จนกว่าจะทำซ้ำได้อย่างนั้นหรือ
แล้วจะทำซ้ำ “A stellar occultation by (486958) 2014 MU69: results from the 2017 July 17 portable telescope campaign” ที่ดาวฤกษ์ วัตถุพ้นดาวเนปจูน 486958 Arrokoth และพื้นที่เฉพาะแห่งหนึ่งในอาร์เจนตินาต้องเรียงตัวกันอย่างแม่นยำได้อย่างไร: https://ui.adsabs.harvard.edu/abs/2017DPS....4950403Z/abstra...
แล้วจะทำซ้ำผลจากการบินผ่านระยะใกล้ของ Pluto หรือการบินเฮลิคอปเตอร์บน Mars ได้อย่างไร
ยังมีบทความชื่อ “Insights from a laboratory fire” ที่รู้จักจาก “In The Pipeline” ด้วย: https://www.nature.com/articles/s41557-023-01254-6
เนื้อหาคือไฟไหม้ห้องแล็บเคมีเกิดขึ้นค่อนข้างบ่อยแต่มีการรายงานต่ำกว่าความเป็นจริง และผลลัพธ์อาจร้ายแรงถึงชีวิตได้ ในกรณีนี้ การทำซ้ำโดยเพื่อนร่วมวิชาชีพ เกี่ยวข้องตรงไหน
ในกรณีแบบนี้ การทำซ้ำหมายถึงคนอื่นสามารถรันโค้ดนั้นกับชุดข้อมูลนั้นแล้วได้ผลลัพธ์เดียวกัน
ห้องแล็บควรต้องปรับปรุงสภาพแวดล้อมซอฟต์แวร์และเรียนรู้เครื่องมือใหม่ ๆ หรือไม่? ควรต้องละทิ้งเคล็ดลับลับแบบเก่าหรือไม่? นั่นแหละคือประเด็น
ปัญหาไม่ใช่การตีพิมพ์การค้นพบใหม่ แต่คือการขาดแรงจูงใจที่จะตรวจสอบมันหลังจากตีพิมพ์แล้ว
การสังเกตหมึกยักษ์ครั้งใหม่ยังมีคุณค่าสูงมาก แม้มันจะไม่ใช่เรื่องใหม่อีกต่อไปแล้วก็ตาม ดังนั้นควรส่งเสริมการสังเกตใหม่ ๆ
การบินผ่านระยะใกล้ของ Pluto หรือเฮลิคอปเตอร์บน Mars จริง ๆ ก็ไม่ใช่ตัวอย่างที่ดีนัก ต้องส่งยานสำรวจไปอีก และกรณีกับข้อมูลของยานบินในบรรยากาศ Mars มีแนวโน้มว่าจะมีมากมายในอนาคต การจำลองก็ทำได้มหาศาลเช่นกัน ที่ Pluto ก็จะยังมีการหันสเปกโตรมิเตอร์และอุปกรณ์หลายชนิดไปจับภาพอย่างต่อเนื่อง
แม้ในกรณีเช่นนี้ ต่อให้เป็นข้อมูลจากชุดอุปกรณ์ทดลองเดียวกัน หากทีมต่าง ๆ วิเคราะห์อย่างเป็นอิสระจากกัน ก็ช่วยเพิ่มความแข็งแรงของข้อสรุปได้ ทุกอย่างไม่ได้มีแค่ขาวกับดำ การสังเกตอยู่บนสเปกตรัม บางอย่างน่าเชื่อถือกว่าบางอย่างมาก และการทำซ้ำก็เป็นปัจจัยหนึ่งในนั้น
ในกรณีไฟไหม้ห้องแล็บ ต้องมีมากกว่าหนึ่งกรณีเพื่อให้รู้ว่าอะไรเป็นปรากฏการณ์ที่เกิดจากลักษณะเฉพาะของห้องแล็บใดห้องแล็บหนึ่ง จำเป็นต้องมีการวิเคราะห์เชิงสถิติและเชิงปัจจัยทำนองนั้น ในที่นี้การทำซ้ำไม่ได้หมายถึงการจงใจจุดไฟเผาห้องแล็บจริง
เหมือนกับงานวิจัยอุบัติเหตุรถยนต์ เราไม่ได้จงใจฆ่าคน แต่ต้องมีบทความใหม่ ๆ อย่างต่อเนื่องที่ศึกษาจากเหตุการณ์ที่เกิดขึ้นจริง เพื่อยืนยันหรือหักล้างการสังเกตก่อนหน้า
ในโลกที่สมบูรณ์แบบ เราคงทำซ้ำการเก็บข้อมูลด้วย แต่เราไม่ได้อยู่ในโลกที่สมบูรณ์แบบ
การทดลองทางคลินิกของยาก็เช่นเดียวกัน บริษัทต่าง ๆ อ้างว่าข้อมูลดิบเป็นความลับทางการค้า จึงมีการต่อสู้เพื่อให้ได้ข้อมูลดิบของการทดลองทางคลินิกอยู่เสมอ ดังนั้นการตรวจสอบอิสระจึงมีค่าใช้จ่ายสูงมาก แต่ผมคิดว่าคงดีกว่านี้มากหาก FDA กำหนดให้เปิดเผยข้อมูลที่เก็บรวบรวมมา 100% ไม่ใช่แค่ข้อสรุปที่ถูกตัดต่อเรียบเรียงกับเอกสารสนับสนุนบางส่วน
ตัวอย่างเช่น FDA เคยบอกว่าจะต้องใช้เวลาหลายสิบปีในการเปิดเผยข้อมูลดิบของการทดลองทางคลินิกวัคซีน COVID ทำไมต้องเป็นแบบนั้นด้วย และนั่นยังเป็นหลังจากถูกบังคับด้วยการฟ้องร้องแล้ว
สมัยเรียนบัณฑิตวิทยาลัยด้านวิทยาการคอมพิวเตอร์ ผมใช้เวลาค่อนข้างมากกับรายละเอียดการนำไปใช้งานของบทความวิจัย แต่สิ่งที่ตระหนักซ้ำแล้วซ้ำเล่าคือ บทความไม่ได้กล่าวถึงข้อเสียและกรณีล้มเหลวทั้งหมดของเทคนิค มีข้อยกเว้นที่ดีอยู่บ้างเหมือนกัน
เพราะแรงกดดันแบบ ไม่ตีพิมพ์ก็ดับ งานวิจัยจึงแทบไม่มีความซื่อสัตย์ โชคดีที่ยังมีคนที่เปิดเผยงานของตนอย่างโปร่งใส แต่โดยรวมแล้ววิทยาศาสตร์กำลังจมอยู่ในทะเลของงานวิจัยที่เต็มไปด้วยการขาดความโปร่งใสและความล้มเหลวในการทำซ้ำ
CI/CD บังคับให้ต้องเขียนวิธี build และ deploy เป็นโค้ดอย่างชัดเจนเพื่อเอาบางอย่างเข้าสู่ production ส่วน Docker และ virtual machine เป็นวิธีอ้อมปัญหานี้ด้วยการมอบ “เครื่องของผม” ที่คัดลอกและแชร์ได้ง่าย
ในแวดวงภาษาโปรแกรม งานประชุมเริ่มเปิดให้ผู้เขียนส่ง artifact ที่แพ็กเกจมาแล้วได้ โดยปกติจะเป็นซอร์สโค้ด ข้อมูลอินพุต ข้อมูลฝึกสอน ฯลฯ และมักถูกประเมินแยกต่างหากหลังการพิจารณาบทความ
artifact มักประเมินโดยคณะกรรมการแยกต่างหากที่ประกอบด้วยนักศึกษาบัณฑิตศึกษา และเช่นเคย ทุกคนเป็นอาสาสมัครทั้งหมด แม้จะมีแนวทางที่ระบุชัดเจน แค่การรันโค้ดเดียวกันในสภาพแวดล้อมที่ต่างกันแล้วให้ได้ผลลัพธ์เดียวกันก็ยากพอแล้ว หาก “การทำซ้ำ” เทคนิคซอฟต์แวร์ต้องอาศัยให้ทีมอื่นนำไปสร้างใหม่ตั้งแต่ต้น ก็ดูเหมือนจะทำจริงไม่ได้
ผมนึกไม่ออกเลยว่าการเขียนแนวทางให้ห้องแล็บอื่นสามารถทำซ้ำการทดลองระดับแนวหน้าของฟิสิกส์ เคมี หรือชีววิทยาได้สำเร็จจะยากแค่ไหน ไม่ใช่แค่เรื่องอุปกรณ์เฉพาะทางเท่านั้น แต่เป็นสิ่งที่เกิดขึ้นตรงแนวชายแดนของวิทยาศาสตร์ที่ทำงานวิจัยล้ำสมัย
ข้อเสนอนี้ให้ความรู้สึกเหมือนเขียนโดยคนที่ไม่ใช่นักวิทยาศาสตร์และไม่เคยมีประสบการณ์กับกระบวนการ peer review ในสาขาใดเลย ความเป็นจริงไม่ได้ทำงานแบบนั้น
ในวิทยาศาสตร์ “สายแข็ง” ดูเหมือนว่าหลายกรณีการทำซ้ำไม่ได้ยากขนาดนั้น LK-99 เป็นกรณีที่น่าสนใจ แม้โดยทั่วไปจะเห็นพ้องกันว่าเป็นบทความที่เขียนอย่างเร่งรีบและขาดรายละเอียด แต่ผู้คนก็ดูเหมือนจะทำการทดลองซ้ำได้สำเร็จ แม้เป็นวิทยาศาสตร์ล้ำสมัย แต่การทำซ้ำเองไม่ใช่ปัญหา วิทยาศาสตร์ส่วนใหญ่ไม่ใช่ LHC
ปัญหาที่แท้จริงของการทำซ้ำพบได้ในสาขาที่ “อ่อน” กว่า ตรงนั้นไม่ใช่แค่ปัญหาเรื่องความสุ่มหรือความยากของการทดลอง แม้ในหลักการก็ยังเห็นบทความหรือทั้งสาขาที่ทำซ้ำไม่ได้อยู่บ่อย ๆ นักวิจัยไม่ได้คิดว่างานของตนควรให้คนอื่นทำซ้ำได้ หรือบางครั้งก็พยายามขัดขวางการทำซ้ำ วิธีที่พบบ่อยที่สุดคือการเก็บข้อมูลด้วยวิธีที่ทำซ้ำไม่ได้และจงใจไม่เปิดเผยข้อมูลนั้น และบางครั้งตัวการออกแบบงานวิจัยเองก็เป็นปัญหา
เมื่อเห็นแบบนี้ ข้อสรุปที่เป็นธรรมชาติที่สุดคือพวกเขาไม่ต้องการให้มีความพยายามทำซ้ำ เพราะรู้ว่ามีความเป็นไปได้ที่ข้ออ้างของตนจะไม่เป็นความจริง
ดังนั้น แค่ผู้ประเมินบทความหรือวารสารตรวจสอบสิ่งพื้นฐานมาก ๆ เช่น ข้ออ้างนี้สามารถทำซ้ำได้อย่างน้อยในหลักการหรือไม่ ก็ถือเป็นจุดเริ่มต้นที่ดีแล้ว แน่นอนว่าจะยังเหลือบทความที่ทำซ้ำได้ดีแต่ข้อสรุปผิด บทความที่วิธีวิทยาไม่สมเหตุสมผล และบทความที่ทำซ้ำได้เพราะมันชัดเจนเกินไป แต่ยังมีผลไม้ที่เอื้อมเก็บได้ง่ายอยู่อีกมาก
peer review เป็นคำตอบที่ถูกต้องสำหรับปัญหาที่ผิด: https://open.substack.com/pub/experimentalhistory/p/science-...
การทำซ้ำเป็นเป้าหมายที่มีคุณค่า แต่ต้องมีแรงจูงใจด้านอาชีพด้วย ผมคิดว่าในหลักสูตรส่วนใหญ่ควรใส่การทำซ้ำงานวิจัยเป็นส่วนหนึ่งของการเรียน อาจใช้แทนบทความหนึ่งชิ้นในฐานะขั้นตอนหนึ่งสู่ปริญญาเอกได้
การแบ่งแยกระหว่าง strong link กับ weak link ก็คล้ายกับการที่บางวัฒนธรรมไม่ชอบยากระตุ้น ขณะที่อีกบางวัฒนธรรมไม่ชอบยาคลายประสาท