ผลของ Dunning-Kruger คืออัตสหสัมพันธ์

ผลของ Dunning-Kruger คืออัตสหสัมพันธ์

• โดยทั่วไปผลของ Dunning-Kruger เป็นที่รู้จักว่าเป็นแนวโน้มที่คนไร้ความสามารถมักประเมินความสามารถของตนสูงเกินจริง
• ผลนี้ถูกค้นพบโดยนักจิตวิทยาในปี 1999 และดูเหมือนจะได้รับการยืนยันจากข้อมูลในงานวิจัยจำนวนมาก
• อย่างไรก็ตาม แท้จริงแล้วผลนี้เป็นผลลัพธ์ของข้อผิดพลาดทางสถิติที่เรียกว่าอัตสหสัมพันธ์ และไม่ได้เกี่ยวข้องกับจิตวิทยามนุษย์

อัตสหสัมพันธ์คืออะไร?

• อัตสหสัมพันธ์คือปรากฏการณ์ที่ตัวแปรมีความสัมพันธ์กับตัวมันเอง
• ตัวอย่างเช่น หากวัดส่วนสูงของคนคนหนึ่ง ส่วนสูงนั้นย่อมมีความสัมพันธ์อย่างสมบูรณ์กับตัวมันเอง
• เมื่อมีการผสมตัวแปรเดียวกันอยู่ทั้งสองฝั่งของสมการ การตรวจพบอัตสหสัมพันธ์จะทำได้ยาก

ผลของ Dunning-Kruger

• ผลของ Dunning-Kruger เป็นตัวอย่างหนึ่งของอัตสหสัมพันธ์ ซึ่งแท้จริงแล้วเกิดจากการตีความกราฟผิด
• Dunning และ Kruger ทดสอบผู้คน ให้พวกเขาประเมินความสามารถของตนเอง แล้วรายงานว่าผู้ที่ได้คะแนนต่ำมีแนวโน้มประเมินความสามารถของตนสูงเกินจริง
• แต่ผลลัพธ์นี้แท้จริงแล้วเกิดจากอัตสหสัมพันธ์ระหว่างคะแนนสอบกับคะแนนการประเมินตนเอง

การรื้อผลของ Dunning-Kruger

• กราฟ Dunning-Kruger จัดกลุ่มคนตามคะแนนสอบ แล้วแสดงเป็นเปอร์เซ็นไทล์เพื่อนำไปเปรียบเทียบกับการประเมินตนเอง
• วิธีนี้เท่ากับเป็นการนำคะแนนสอบไปเปรียบเทียบกับตัวมันเอง ซึ่งซ่อนอัตสหสัมพันธ์เอาไว้
• ที่จริงแล้ว แม้ใช้ข้อมูลแบบสุ่มก็ยังแสดงผลของ Dunning-Kruger ได้ และนั่นเป็นเพราะอัตสหสัมพันธ์นี้เอง

การทำซ้ำผลของ Dunning-Kruger

• เมื่อลองใช้ข้อมูลจริงเพื่อทำความเข้าใจผลของ Dunning-Kruger กลับได้ผลลัพธ์ที่ต่างจากข้อมูลต้นฉบับ
• เมื่อลองทำการทดลองซ้ำ ข้อมูลดิบดูเหมือนเป็นข้อมูลสุ่มและไม่พบร่องรอยของผลของ Dunning-Kruger
• แต่เมื่อวิเคราะห์ข้อมูลด้วยวิธีที่ต่างออกไป ก็อาจดูเหมือนว่าผลของ Dunning-Kruger ปรากฏขึ้น

การล่มสลายของผลของ Dunning-Kruger

• การที่นักวิจัยสามารถทำซ้ำผลของ Dunning-Kruger ได้ ทั้งที่จริงใช้ตัวเลขสุ่ม เป็นผลมาจากอัตสหสัมพันธ์
• หลังจากค้นพบข้อผิดพลาดนี้ จึงตระหนักได้ว่ากราฟ Dunning-Kruger แท้จริงแล้วตั้งอยู่บนอัตสหสัมพันธ์

การไม่มีอยู่ของผลของ Dunning-Kruger

• เมื่อวัดผลของ Dunning-Kruger ด้วยวิธีที่ถูกต้องทางสถิติ ก็พบว่าผลดังกล่าวหายไป
• ผลการวัดความคลาดเคลื่อนของการประเมินตนเองในกลุ่มคนที่จัดตามระดับการศึกษา แสดงให้เห็นว่าค่าความคลาดเคลื่อนเฉลี่ยอยู่ใกล้ 0 และไม่มีหลักฐานของผลของ Dunning-Kruger

คนไร้ความสามารถและไม่รู้ตัว

• การที่ Dunning และ Kruger ทำพลาดทางสถิติอาจเป็นเพียงความผิดพลาด แต่บทความของพวกเขากลับเสนอว่าคนไร้ความสามารถไม่สามารถรับรู้ความไร้ความสามารถของตนเองได้
• ทว่าในความเป็นจริง Dunning และ Kruger เองต่างหากที่กำลังแสดงให้เห็นถึงความไร้ความสามารถทางสถิติ โดยสับสนระหว่างอัตสหสัมพันธ์กับผลทางจิตวิทยา

ความเห็นของ GN⁺

ประเด็นสำคัญที่สุดของบทความนี้คือ ผลของ Dunning-Kruger แท้จริงแล้วไม่ได้เกี่ยวข้องกับจิตวิทยามนุษย์ แต่ตั้งอยู่บนข้อผิดพลาดทางสถิติที่เรียกว่าอัตสหสัมพันธ์ เรื่องนี้แสดงให้เห็นกับดักที่อาจเกิดขึ้นเมื่อนักวิจัยตีความข้อมูล และเป็นตัวอย่างว่าการค้นพบทางวิทยาศาสตร์อาจถูกเข้าใจผิดได้อย่างไรจากการตีความสถิติที่คลาดเคลื่อน การเข้าใจข้อผิดพลาดลักษณะนี้เป็นบทเรียนสำคัญต่อการตีความและตรวจสอบผลการวิจัย และเป็นข้อมูลที่เป็นประโยชน์ไม่เพียงต่อวิศวกรซอฟต์แวร์ระดับเริ่มต้นเท่านั้น แต่ยังรวมถึงนักวิจัยในทุกสาขาวิทยาศาสตร์ด้วย

[GN⁺]

ความเห็นจาก Hacker News

• ผู้แสดงความคิดเห็นยอมรับว่าตนเองอาจยังเข้าใจสถิติหรือจิตวิทยาได้ไม่ดีพอ แต่รู้สึกว่างานวิจัย D&K คล้ายกับคำที่คุณปู่ของเขาเคยพูดไว้ว่า "ยิ่งรู้มากเท่าไร ก็ยิ่งตระหนักว่าตัวเองยังไม่รู้อีกมาก" เขาครุ่นคิดว่าหลายคนมักคิดว่าตนรู้มากกว่าที่รู้จริง และสิ่งนี้อาจใช้ได้กับทั้งตัวเขาเองและผู้เขียนบทความดังกล่าวด้วย
• ผู้แสดงความคิดเห็นอีกคนไม่เห็นด้วยกับข้ออ้างในบทความ และยกบทความโต้แย้งที่ตอบกลับข้อกล่าวหาว่ากราฟ D-K เป็นเพียงผลของความสัมพันธ์กับตัวเองแบบง่าย ๆ จริง ๆ แล้ว การสมมติว่าผลงานและการประเมินผลงานเป็นอิสระต่อกันนั้นน่าประหลาดใจมาก และงานวิจัย D-K แสดงให้เห็นว่ามีความสัมพันธ์ระหว่างผลงานกับการประเมินตนเอง เพียงแต่ไม่แรงเท่าที่คาดไว้ กลับกัน มันแสดงอคติที่สม่ำเสมอ ซึ่งเป็นผลลัพธ์ที่น่าสนใจ
• ตามที่เคยมีการกล่าวไว้ในการอภิปรายก่อนหน้า ผู้เขียนตั้งสมมติฐานว่าผู้คนทำนายความสามารถของตนเองได้แย่มาก จนการประเมินตนเองแทบไม่ต่างจากตัวแปรสุ่มที่ไม่มีเงื่อนไข หากความสามารถจริงสูง การประเมินตนเองก็มีแนวโน้มจะต่ำกว่าความสามารถจริงจากความบังเอิญแบบสุ่มมากกว่า คำวิจารณ์นี้จึงตั้งคำถามว่าผู้คนประเมินความสามารถของตนเองผิดพลาดได้มากถึงขนาดนั้นจริงหรือไม่
• ผู้เขียนทำการวิเคราะห์แบบ "X - Y เทียบกับ X" แต่ปัญหาใหญ่ที่สุดไม่ได้อยู่ตรงนั้น ผู้เขียนนำค่าการวัดสองค่า ที่ถูกแปลงและจำกัดให้อยู่ระหว่าง 0 ถึง 1 มาลบกัน แล้วที่ค่าปลายสุดจะเกิดอะไรขึ้น? ผู้ที่มีผลงานสูงสุดจะประเมินผลงานของตนเองสูงเกินจริงได้แค่ไหน? พวกเขาเกือบแตะ 1 อยู่แล้ว จึงทำได้ไม่มากนัก หากพวกเขาประเมินสูงเกินจริงและต่ำเกินจริงในสัดส่วนและขนาดเท่ากัน ผลของเพดานบนค่าที่แปลงแล้วจะทำให้กราฟดูเหมือนว่าพวกเขาประเมินตนเองต่ำเกินจริงบ่อยกว่า
• การถกเถียงกันในคอมเมนต์ระหว่าง Nicolas Boneel กับผู้เขียนน่าสนใจ และ Nicolas ก็แสดงข้อกังขาที่เขามีขณะอ่านบทความ แก่นของผล D-K คือผู้คนประเมินทักษะของตนเองผิดพลาด ดังนั้นหากสมมติว่าพวกเขาเดาระดับทักษะของตนเองแบบสุ่ม ก็ย่อมสามารถสร้างผลลัพธ์นี้ซ้ำได้อยู่แล้ว
• ผู้เขียนใช้คำว่า "ความสัมพันธ์กับตัวเอง" ในความหมายที่ต่างจากการใช้กันทั่วไปในทางสถิติ โดยปกติ "autocorrelation" หมายถึงความสัมพันธ์ของข้อมูลอนุกรมเวลากับตัวมันเองที่มีการหน่วงเวลาในระดับหนึ่ง ดังนั้นการใช้แบบที่ OP กล่าวถึงอาจทำให้คนที่รู้สถิติสับสนได้
• ในโลกสมมติที่ผู้เขียนจินตนาการไว้ หากค่าประมาณคะแนนของผู้คนเป็นอิสระจากคะแนนจริง ก็ยังพูดได้ว่าปรากฏการณ์ DK มีอยู่จริง คนที่ได้คะแนนต่ำจะประเมินคะแนนของตนเองสูงเกินจริง ส่วนคนที่ได้คะแนนสูงจะประเมินต่ำเกินจริง
• มีความสับสนเกี่ยวกับคำว่า "อคติ" หากการประเมินตนเองเป็นแบบสุ่มทั้งหมด ผู้ที่มีผลงานสูงจะประเมินตนเองต่ำเกินจริงกันหมด แต่นี่ไม่ใช่อคติไปทางการประเมินต่ำเกินจริง แผนภูมิ D-K แสดงอคติอีกแบบหนึ่ง ซึ่งสอดคล้องกับแนวคิดที่ว่าคนส่วนใหญ่คิดว่าตนเองอยู่ระดับกลาง ผู้ที่มีผลงานสูงจะประเมินค่าเฉลี่ยสูงเกินจริง และผู้ที่มีผลงานต่ำจะประเมินค่าเฉลี่ยต่ำเกินจริง
• มีการชี้ว่าคำนิยามของ "autocorrelation" ในบทความไม่ตรงกับในวิกิพีเดีย คำนิยามในบทความไม่ได้เกี่ยวกับการหน่วงเวลา และการเรียกสิ่งนี้ว่า "autocorrelation" ในบริบทของ D-K จึงเป็นการใช้คำที่ไม่ถูกต้อง
• หากคนที่ไม่มีทักษะและคนที่มีทักษะประเมินตนเองโดยเฉลี่ยเท่ากัน คนที่ไม่มีทักษะก็จะประเมินตนเองสูงเกินจริง ส่วนคนที่มีทักษะจะประเมินตนเองต่ำเกินจริง เพียงเท่านี้ก็อาจเป็นผลลัพธ์ที่สำคัญได้ และยังชี้ให้เห็นว่ามีความสัมพันธ์กันอยู่จริง