มหาวิทยาลัยมิชิแกนพบว่านักศึกษาที่มีนามสกุลอยู่ท้ายลำดับอักษรได้คะแนนต่ำกว่า

ผลการวิจัยเกี่ยวกับอคติจากการตรวจให้คะแนนตามลำดับ

• นักวิจัยจากมหาวิทยาลัยมิชิแกนวิเคราะห์บันทึกคะแนนใน Canvas มากกว่า 30 ล้านรายการ และพบว่านักศึกษาที่มีนามสกุลอยู่ท้ายลำดับตัวอักษรมีแนวโน้มจะได้คะแนนต่ำกว่า
  • สาเหตุคืออคติจากการตรวจแบบต่อเนื่อง และลำดับเริ่มต้นของงานส่งนักศึกษาใน Canvas อิงตามลำดับตัวอักษรของนามสกุล
• นักศึกษาที่เสียเปรียบจากลำดับตัวอักษรยังได้รับคอมเมนต์ที่เป็นลบและไม่สุภาพมากกว่า และคุณภาพการให้คะแนนซึ่งวัดจากการร้องเรียนเรื่องคะแนนภายหลังก็ต่ำกว่า
• ทีมวิจัยระบุว่าแม้พวกเขาจะคิดเรื่องความยุติธรรมและความแม่นยำของการให้คะแนนอยู่เสมอ แต่ก็ไม่ทันตระหนักจนกระทั่งเห็นจากข้อมูลว่าลำดับนั้นสร้างความแตกต่าง

ข้อมูลวิจัยและผลลัพธ์

• มีการรวบรวมข้อมูลย้อนหลังทั้งหมดที่ใช้งานได้ของทุกโปรแกรม นักศึกษา และงานมอบหมายใน Canvas ตั้งแต่ภาคการศึกษาฤดูใบไม้ร่วงปี 2014 ถึงภาคการศึกษาฤดูร้อนปี 2022
  • และเสริมด้วยข้อมูลการลงทะเบียนของมหาวิทยาลัยเพื่อรวมรายละเอียดเกี่ยวกับภูมิหลัง ข้อมูลประชากร และเส้นทางการเรียนของนักศึกษาในมหาวิทยาลัย
• แม้ข้อมูลจะมาจากมหาวิทยาลัยมิชิแกน แต่นักวิจัยกล่าวว่าสามารถสรุปใช้กับสถาบันและหลักสูตรอื่นได้เช่นกัน เนื่องจากเป็นปัญหาด้านการออกแบบที่พบร่วมกันในระบบจัดการการเรียนรู้
  • ซึ่งมีที่มาจากการตั้งค่าเริ่มต้นที่เรียงงานของนักศึกษาตามลำดับตัวอักษรของชื่อ
• ทีมวิจัยพบรูปแบบที่ชัดเจนว่าคุณภาพการให้คะแนนลดลงเมื่อผู้ประเมินต้องตรวจงานจำนวนมากขึ้น
  • นักศึกษาที่มีนามสกุลขึ้นต้นด้วย A, B, C, D, E จะได้คะแนนสูงกว่าการตรวจแบบสุ่ม 0.3 คะแนนจาก 100 คะแนน
  • ในทำนองเดียวกัน นักศึกษาที่มีนามสกุลอยู่ท้ายลำดับอักษรจะได้คะแนนต่ำลง 0.3 คะแนน ทำให้เกิดความต่างรวม 0.6 คะแนน
• แม้ความต่าง 0.6 คะแนนจะดูเล็กน้อย แต่ความคลาดเคลื่อนลักษณะนี้ส่งผลต่อเกรดเฉลี่ยรายวิชาของนักศึกษา และอาจกระทบต่อโอกาสในเส้นทางอาชีพของแต่ละคนในทางลบ

ที่มาของงานวิจัยและข้อเสนอ

• แนวคิดของงานวิจัยนี้เกิดขึ้นระหว่างที่ Wang ซึ่งวิจัยด้านเทคโนโลยีการศึกษา และ Fei ซึ่งวิจัยด้าน AI กำลังอภิปรายเกี่ยวกับงานวิจัย
  • พวกเขาสังเกตว่าการติดป้ายกำกับข้อมูล ซึ่งเป็นงานพื้นฐานของ machine learning ก็เป็นงานต่อเนื่องที่ยาวนานและน่าเบื่อได้เช่นกัน แต่โดยทั่วไปจะทำแบบสุ่ม
  • จากการศึกษานำร่อง พวกเขาตรวจสอบว่ามีความไม่สมดุลของคะแนนตามเวลาที่ใช้ตรวจหรือไม่
• ทีมวิจัยคาดว่าความเหนื่อยล้าอาจเป็นหนึ่งในปัจจัยสำคัญที่ก่อให้เกิดผลดังกล่าว
  • เมื่อทำสิ่งเดิมต่อเนื่องเป็นเวลานาน คนเราจะอ่อนล้า สมาธิลดลง และความสามารถในการรับรู้ก็ถดถอย
• ใน Canvas และระบบจัดการการเรียนรู้ออนไลน์อื่น ๆ มีตัวเลือกให้ตรวจงานแบบสุ่ม และมีผู้สอนบางส่วนใช้อยู่ แต่โหมดเริ่มต้นยังคงเป็นลำดับตัวอักษร
  • ทางแก้ที่ง่ายคือเปลี่ยนการตั้งค่าเริ่มต้นให้เป็นลำดับแบบสุ่ม
• นอกจากนี้ยังมีข้อเสนอให้สถาบันการศึกษาจ้างผู้ตรวจเพิ่มสำหรับชั้นเรียนขนาดใหญ่ กระจายภาระงานให้คนจำนวนมากขึ้น หรือฝึกอบรมให้ตระหนักถึงอคติและลดอคติดังกล่าว

ความเห็นของ GN⁺

• การที่อคติจากการตรวจให้คะแนนตามลำดับส่งผลต่อคะแนนของนักศึกษาอย่างเป็นรูปธรรม ทำให้เกิดคำถามเรื่องความเป็นธรรมของระบบประเมินผลการศึกษา เนื่องจากคะแนนมีผลอย่างมากต่ออนาคตของนักศึกษา การปรับปรุงในเรื่องนี้จึงดูเป็นเรื่องเร่งด่วน
• อย่างไรก็ตาม งานวิจัยนี้จำกัดอยู่ในประเทศที่ใช้ภาษาอังกฤษ จึงอาจไม่ใช่ปัญหาใหญ่ในเกาหลี การวิจัยภายในประเทศเกี่ยวกับว่าปรากฏการณ์เดียวกันจะเกิดขึ้นหรือไม่เมื่อเรียงตามลำดับพยัญชนะเกาหลีหรือจำนวนขีดของแซ่จีนก็ดูน่าจะมีความจำเป็น
• ข้อค้นพบที่ว่าความเหนื่อยล้าของผู้ประเมินส่งผลต่อคุณภาพการให้คะแนน บ่งชี้ว่าสถานศึกษาอาจต้องมีค่าตอบแทนและการสนับสนุนที่เหมาะสมสำหรับงานประเมิน ภาระงานที่มากเกินไปอาจบั่นทอนความเป็นธรรมของการประเมิน
• การนำระบบตรวจให้คะแนนอัตโนมัติที่ใช้ AI มาใช้ก็อาจเป็นอีกทางเลือกหนึ่ง แต่ก็คงยากที่จะขจัดปัญหาอคติได้อย่างสมบูรณ์ และยังจำเป็นต้องมีแนวทางเสริมเพื่อดูแลด้านคุณภาพเชิงเนื้อหาของการประเมิน

[GN⁺]

ความเห็นจาก Hacker News

ต่อไปนี้คือสรุปความคิดเห็นจากคอมเมนต์ใน Hacker News:

• ตอนตรวจข้อสอบในมหาวิทยาลัย ลำดับกองข้อสอบบนโต๊ะจะเป็นไปตามลำดับที่เก็บมา ผู้ตรวจจะสลับกองข้อสอบกันในห้อง โดยแต่ละคนรับผิดชอบข้อหนึ่งข้อเพื่อให้ให้คะแนนได้สม่ำเสมอ ดังนั้นลำดับการตรวจจึงถือว่าแทบจะเป็นแบบสุ่ม
• แต่ตอนตรวจงานที่ส่ง จะตรวจตามลำดับตัวอักษรของชื่อนักศึกษา และทุกคนก็เห็นพ้องว่าควรสลับลำดับเพื่อความเป็นธรรม เพราะ (1) ช่วงแรกยังไม่ค่อยเหนื่อย (2) ช่วงท้ายอารมณ์ดีขึ้นเพราะรู้ว่าใกล้เสร็จแล้ว และ (3) ช่วงแรกอาจยังจับทางหรือรูปแบบความผิดพลาดที่พบบ่อยไม่ได้ จึงอาจพลาดบางอย่างไป
• มีคนเล่าว่าตอนเรียนประถม นามสกุลของตัวเองอยู่ต้นรายชื่อเสมอ จึงมักถูกมอบหมายงานพิเศษอย่างดูแลตั๋วหรือถูกประเมินเป็นคนแรกในคาบพละ ซึ่งเป็นเรื่องน่ารำคาญสำหรับเด็กที่ค่อนข้างเก็บตัว
• ในโรงเรียนช่วงยุค 80–90 มีการจัดที่นั่งหน้าหลังตามลำดับตัวอักษรของนามสกุล ตอนมัธยมปลาย นักเรียนที่นามสกุลขึ้นต้นด้วย A–D มักเป็นเด็กเรียนดี ส่วนคนที่ขึ้นต้นด้วย U–Z มักเป็นตัวป่วน อาจเป็นเพราะได้นั่งใกล้ครูและได้รับความสนใจมากกว่า
• คนที่มีชื่อย่อขึ้นต้นด้วย Z หรือ W มักตระหนักถึงผลของการเรียงตามตัวอักษรมาก แต่เพื่อนที่ขึ้นต้นด้วย A หรือ B กลับไม่ค่อยรู้สึกเรื่องนี้
• ในมหาวิทยาลัย จะใช้หมายเลขผู้สมัครแบบไม่ระบุตัวตนกับการสอบและงานสำคัญ แม้จะไม่匿名อย่างสมบูรณ์ แต่ก็ช่วยให้ระบบมีความน่าเชื่อถือในระดับหนึ่ง
• ระหว่างตรวจงาน ช่วงแรกอาจยังไม่เจอความผิดพลาดบางแบบหรือคำตอบที่ไม่คาดคิด แต่พอมาเจอภายหลัง ก็อาจต้องย้อนกลับไปตรวจคำตอบก่อนหน้าใหม่
• การตั้งค่าให้ลำดับแบบสุ่มเป็นค่าเริ่มต้นอาจช่วยลดอคติได้ แต่คนที่ถูกตรวจเป็นคนสุดท้ายก็ยังอาจได้คะแนนต่ำอยู่ดี
• มีคนบอกว่าภรรยานามสกุลขึ้นต้นด้วย Y เลยไม่ชอบที่ต้องอยู่ท้าย ๆ พอมีลูกจึงใช้นามสกุลของสามีซึ่งขึ้นต้นด้วย E ไว้ก่อนแล้วค่อยใส่ยัติภังค์ต่อท้าย และยังตั้งชื่อลูกให้ขึ้นต้นด้วย A, B เพื่อให้อยู่ต้นลำดับเวลาเรียงรายชื่อ
• ในหนังสือชุด Diary of a Wimpy Kid มีประเด็นว่าพวกเด็กที่นามสกุลอยู่ต้นตัวอักษรจะได้นั่งหน้าชั้น ถูกถามมากกว่า และได้เรียนรู้มากกว่า
• มีพ่อคนหนึ่งที่ลูกชายนามสกุลอยู่ท้ายตัวอักษร บอกว่าเวลาอาจารย์รีวิวโปรเจกต์ตามลำดับนามสกุลในชั้นของลูก มักไปไม่ถึงช่วงท้ายราว 40% ของครั้งทั้งหมด แต่ไม่ใช่นักเรียนทุกคนที่จะ主动ไปหาครูเอง จึงอาจทำให้คะแนนต่ำลงได้
• มีคนสงสัยว่าเหตุใด Helen Wang ถึงเลือกทำวิจัยในหัวข้อนี้