- ใน Google AI Overview มีการแสดงข้อมูลที่ไม่ถูกต้องว่า 'Dave Barry' เสียชีวิตแล้ว
- ทั้งที่จริงแล้ว Dave Barry ยังมีชีวิตอยู่ แต่ AI กลับสะท้อนข้อมูลผิดซ้ำแล้วซ้ำเล่า
- ผู้ใช้ส่ง ข้อเสนอแนะหลายครั้ง แต่ระหว่างการแชตกับ AI และกระบวนการแก้ปัญหา ก็ยังไม่ได้รับการแก้ไขที่น่าพอใจ
- AI สับสน ข้อมูลของบุคคลจริง นำไปปะปนกับคนอื่น หรือก่อให้เกิดข้อผิดพลาดซ้ำ ๆ
- กรณีนี้แสดงให้เห็นว่า AI ยังมีข้อจำกัดกับงานที่ต้องอาศัย ข้อเท็จจริงที่ถูกต้อง
บทนำ
- Dave Barry รู้เรื่องการตายของตัวเองจาก 'Google'
- เมื่อค้นหาชื่อของตัวเอง ("Dave Barry") บน Google จะมีฟีเจอร์สรุปชื่อ Google AI Overview ปรากฏขึ้น
- ฟีเจอร์นี้ใช้ปัญญาประดิษฐ์สรุปผลการค้นหาให้ดู และเป็นบริการที่กำลังได้รับความสนใจจากผู้ใช้จำนวนมากในช่วงหลัง
การตรวจพบข้อมูลการเสียชีวิตที่ผิดพลาด
- ใน Google AI Overview มีข้อมูลพื้นฐานของ Dave Barry พร้อมรายการคำถามชื่อ "People also ask"
- ในคำถามเหล่านั้นมีเนื้อหาว่า Dave Barry เสียชีวิตแล้ว ทั้งที่ความจริงไม่ใช่เช่นนั้น
- Dave Barry มั่นใจว่าตัวเองยังมีชีวิตอยู่ โดยอาศัยการยืนยันจากการวินิจฉัยของบุคลากรทางการแพทย์หลายคน เป็นต้น
กระบวนการจัดการข้อเสนอแนะของ Google AI
- Dave Barry ส่งข้อเสนอแนะเกี่ยวกับข้อมูลผิดพลาดใน Google AI Overview
- เขาไม่ได้คาดหวังว่าจะได้รับการจัดการอย่างรวดเร็ว เพราะเข้าใจว่า Google ใช้ระบบอัตโนมัติ
- แต่หลังจากส่งข้อเสนอแนะ ส่วนคำถามถูกแก้ไขก็จริง ทว่าคำอธิบายที่ถูกต้องกลับหายไป และถูกแทนที่ด้วย ข้อมูลที่คลาดเคลื่อนยิ่งกว่าเดิม (เป็นข้อมูลของ Dave Barry คนอื่น)
ปัญหาในการสื่อสารกับ AI
- Dave Barry เริ่มส่งข้อเสนอแนะเพิ่มเติมเพื่อชี้อีกครั้งว่า AI เข้าใจสถานะของเขาผิด
- ระหว่างกระบวนการนี้ การสนทนากับ แชตบอต AI ไม่ได้ดำเนินไปอย่างราบรื่น และ AI ก็ไม่เข้าใจความหมายได้อย่างถูกต้อง
- แม้จะอธิบายซ้ำหลายครั้ง AI ก็ยังไม่ตระหนักถึงปัญหา ทำให้บทสนทนาดำเนินไปเหมือนกำลังสื่อสารกับเครื่องจักร
ข้อผิดพลาดที่เกิดซ้ำและการแก้ไขชั่วคราว
- หลังส่งข้อเสนอแนะเพิ่มเติม เนื้อหาใน Overview ถูกแก้ไขอีกครั้งจนข้อความเรื่องการเสียชีวิตหายไป
- อย่างไรก็ตาม ยังมีข้อผิดพลาดในส่วนอื่นอยู่ เช่น ข้อมูลการออกหนังสือและประวัติการเขียนคอลัมน์
- หลังจากนั้น Overview ก็ยังกลับไปแสดงว่าเสียชีวิตอีกครั้ง แสดงให้เห็นว่า ความถูกต้องของข้อมูลเปลี่ยนแปลงอย่างไม่เสถียรและผิดซ้ำ ๆ
- เมื่อตรวจสอบครั้งสุดท้าย มีคำอธิบายว่า "เกิดความสับสน" และแสดงว่า Dave Barry ยังมีชีวิตอยู่อีกครั้ง
บทสรุปและบทเรียน
- ประสบการณ์ครั้งนี้ทำให้เห็นว่า AI เป็นเครื่องมือที่ทรงพลังมาก แต่ก็ยากจะเชื่อถือได้สำหรับงานที่ต้องการ การตรวจสอบข้อเท็จจริงอย่างแม่นยำ
- ณ เวลานี้ AI น่าจะเหมาะกับงานที่ความน่าเชื่อถือไม่ต้องสูงมาก (เช่น การเขียนจดหมายแนะนำหรือร่างนโยบาย) มากกว่า และไม่เหมาะกับงานที่ต้องการความแม่นยำสูง (เช่น การควบคุมการบินของเครื่องบิน)
- สุดท้ายแล้ว กรณีนี้ชี้ให้เห็นทั้งข้อจำกัดของ AI และความจำเป็นที่ต้องใช้งานอย่างระมัดระวังในอนาคต
แบบสำรวจ
- มีการตั้งคำถามสำรวจต่อผู้อ่านว่า "คุณคิดว่าในอนาคต AI จะเป็นสิ่งที่เป็นประโยชน์ต่อมนุษยชาติหรือไม่?"
- ปิดท้ายด้วยมุกตลกเบา ๆ เพิ่มเติม
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ร้านดังแถวบ้านฉันถูกสรุปบน Google Maps ไว้ประมาณนี้
เป็นบาร์คึกคักที่มีเครื่องดื่มกับแซนด์วิช po' boy มีตู้เพลง โต๊ะพูล และปาเป้าอิเล็กทรอนิกส์ แต่ความจริงคือไม่มีทั้ง po' boy ไม่มีตู้เพลงด้วยซ้ำ (แม้เพลย์ลิสต์จะดีมาก) และก็ไม่มีโต๊ะพูลหรือปาเป้าอิเล็กทรอนิกส์เช่นกัน เครื่องดื่มก็มีแค่เบียร์กับของกระป๋องไม่กี่อย่าง ไม่มีค็อกเทลหรือเครื่องดื่มผสม
เมื่อเดือนก่อนมีคนผิดหวังที่ไปหวังจะเล่นพูลหรือปาเป้าแล้วไม่มี เลยทิ้งรีวิววิจารณ์ 1 ดาวไว้
เห็นได้ชัดว่าเจ้าของร้านก็น่าจะแจ้งแล้ว ฉันก็แจ้งไปแล้ว และคิดว่าคนที่เคยไปคนอื่นก็คงแจ้งเหมือนกัน
แต่ผ่านมาเดือนหนึ่งแล้ว ข้อมูลผิดนั้นก็ยังอยู่เหมือนเดิม
ทางแก้ที่ง่ายที่สุดคือขาย po' boy จริง ๆ แล้วก็ติดตั้งตู้เพลง/โต๊ะพูล/ปาเป้าอิเล็กทรอนิกส์ไปเลย
ฉันอยากให้ Google มีตัวเลือกให้ติ๊กปิดแบบใช้ได้ทั่วโลกว่า “ไม่ต้องการเห็นเนื้อหาที่ดูชัดเจนว่า AI สร้าง” จริง ๆ
รู้สึกว่าอาจจะขอมากเกินไป
ข้อมูลที่ไม่แม่นแบบนี้ทำให้คนตัดสินใจจริง ๆ (เช่น ไปที่ร้าน) และถึงขั้นเขียนรีวิวผิด ๆ ได้เลย
เลยสงสัยว่ากรณีแบบนี้จะฟ้องเรียกค่าเสียหายได้ไหม
หรือควรแค่เอาข้อมูลออกจาก Google ไปเลยจะดีกว่า
ช่วงนี้เวลาพยายามช่วยคนในฟอรัมรถหรือกลุ่ม Facebook ต่าง ๆ มักมีคนเอา “สกรีนช็อตที่เห็นใน Google” มาให้ดู ซึ่งมันเป็น AI summary ชัด ๆ
เช่น อธิบายละเอียดว่ามีฟีเจอร์ X แต่จริง ๆ แล้วฟีเจอร์นั้นไม่เคยมีอยู่เลย
เรื่องแบบนี้เกิดขึ้นตลอด
โดยเฉพาะในคอมมูนิตี้ออนไลน์สายรถยนต์ ถือว่าเป็นปัญหาใหญ่มาก
ฉันคิดว่านี่ไม่ใช่แค่ปัญหาของ AI summary แต่เป็นปัญหาเชิงโครงสร้างของ Google
Google แสดงข้อมูลผิดอยู่บ่อย และโดยมากก็แทบไม่มีทางแก้
ฟอร์ม feedback อะไรพวกนั้นส่วนใหญ่ก็ถูกเมิน
ฉันเคยต้องสู้แก้ข้อมูลผิดบน Google Maps แบบเดียวกันอยู่นานหลายปี และคนส่วนใหญ่ก็เชื่อว่า Google Maps คือความจริงแท้
เอาเข้าจริงฉันก็ไม่แน่ใจด้วยซ้ำว่าข้อมูลที่ถูกแก้ไปนั้นเป็นเพราะ feedback ของฉันหรือเปล่า
Google ป้อนข้อมูลออกมาแบบฉีดด้วยสายดับเพลิง
Google ใหญ่เกินกว่าจะสนใจความไม่สอดคล้องแบบนี้มากนัก และดูเหมือนจะไม่สนใจเพราะมันไม่กระทบโมเดลธุรกิจของบริษัท
ฉันว่ามันเป็นปัญหาของ AI summary จริง ๆ
แต่ก่อนระบบแค่เอาผลค้นหาที่เกี่ยวข้องที่สุดกับคำค้นของผู้ใช้ขึ้นไว้บนสุด แล้วผู้ใช้กดเข้าไปตรวจเองว่าเนื้อหานั้นตรงไหม
ตอนนี้ AI summary โผล่มาอยู่บนสุดตลอด และ LLM นั้นเร็วมากแต่ก็โง่ เป็นโมเดลระดับที่รันราคาถูกได้กับทุกหน้าเว็บ
นี่เป็นการตัดสินใจด้านโปรดักต์อย่างชัดเจน และเป็นการตัดสินใจที่ผิดพลาดอย่างหนัก
ตัวอย่างเช่น ถ้าค้นหา "Suicide Squad" จะได้ผลแบบนี้
ในกรณีนี้ สาเหตุที่ข้อมูลผิดถูกแสดงออกมา เป็นเพราะ AI summary เอาข้อมูลของคนสองคนมาปนกัน
ถ้าเป็นการค้นหาแบบเดิม หน้าเว็บแต่ละหน้าก็คงพูดถึงคนเพียงคนเดียว
เพราะงั้นนี่จึงเป็นปัญหาที่เกิดจาก AI summary โดยตรง
โดยเฉพาะกับผู้ใช้รายบุคคล Google แทบไม่มีแรงจูงใจให้จัดความถูกต้องเป็นลำดับแรก
และด้วยปริมาณคอนเทนต์มหาศาล ก็ยิ่งใช้เรื่อง “สเกล” เป็นข้ออ้างในการเมินปัญหาได้ง่าย
ถ้ามีข้อมูลผิด ก็มีวิธีแก้อยู่วิธีหนึ่ง
คือเอาไปโพสต์ขึ้นหน้าแรกของ Hacker News (HN)
เมื่อก่อนเหตุผลใหญ่สุดที่ฉันไม่พอใจ Google ก็แค่เรื่องที่เวลาเสิร์ชเอกสาร Java (ค้นหาชื่อ class) เอกสารเวอร์ชัน 1.4 ดันขึ้นมาก่อนเวอร์ชัน 6
กรณีนี้ที่ “AI เขียนว่า Dave Barry ตายในปี 2016” ทำให้ฉันสงสัยว่า ถ้างานเขียนของเขาถูกจัดทำดัชนีเพิ่มขึ้น ต่อไปสรุปนั้นจะเปลี่ยนไปไหม
อาจได้ AI summary แบบ “Dave Barry เสียชีวิตในปี 2016 แต่ยังคงปฏิเสธเรื่องนี้อยู่” ก็ได้
AI summary ที่ฉันเพิ่งได้มาตอนนี้เป็นแบบนี้
ถึงขั้นนึกภาพออกเลยว่า AI อาจเขียนว่า “Dave Barry เคยเป็นที่รู้กันว่าเสียชีวิตในปี 2016 แต่เมื่อพบว่าเขายังมีชีวิตอยู่ก็เกิดข้อถกเถียงขึ้น”
ฉันคิดว่าส่วนหนึ่งความผิดพลาดแบบนี้เกิดขึ้นแทบเลี่ยงไม่ได้ เพราะปัญหาเรื่องความเป็นเอกลักษณ์ของชื่อคน
วิธีหนึ่งอาจเป็นการขึ้นคำถามพื้นฐานเสมอเวลาใส่ชื่อว่า “มีบุคคลอื่นที่ใช้ชื่อนี้อีกไหม?”
มันอาจยังไม่แก้ปัญหาการเอาข้อมูลหลายคนมาปนกันทั้งหมด แต่ปัญหาส่วนใหญ่ดูเหมือนจะเกิดจากชื่อไปชนกับคนดัง
ดูเหมือนว่า Google จะใช้ knowledge graph อยู่พอสมควร แต่ก็สงสัยว่า LLM อ้างอิง graph นั้นมากแค่ไหน
น่าจะอ้างทั้ง graph และผลค้นหาปกติของ Google แล้วให้ LLM (คงเป็นโมเดลง่าย ๆ อย่าง Gemini Flash Lite) เอาคนดังจาก knowledge graph มาผสมกับข้อมูลจากผลค้นหาโดยแยกไม่ค่อยออก
โดยเฉพาะเมื่อมีคนชื่อเดียวกันที่ดังในคนละแวดวงและดังไม่เท่ากัน
ฉันเองก็ทำแอป knowledge graph ส่วนตัวอยู่ เลยรู้สึกว่าการใช้ entity ID จากแค่ชื่อ (นามสกุล, ชื่อ) อาจก่อปัญหาในสักวัน
ของฉันเองคงพอรับได้ เพราะเอาไว้จัดระเบียบข้อมูลส่วนตัว แต่ตอนนี้ก็มีปัญหาแล้วว่าในงานวิเคราะห์อีเมล ระบบยังมองนามแฝงหลายชื่อของฉันว่าไม่ใช่คนเดียวกัน
“ความสับสน” แบบนี้ท้ายที่สุดก็มาจากการที่เครื่องไม่เข้าใจว่าชื่อมนุษย์ไม่ได้มีความเป็นเอกเทศแบบ singleton
เพื่อเป็นส่วนหนึ่งของขบวนการทางสังคม ฉันตั้งใจจะตั้งชื่อลูกทุกคนของฉันว่า Google (รวมถึงคนที่มีชื่อไปแล้วด้วย)
Dave Barry เจ๋งจริง
นี่เป็นปัญหาคลาสสิกที่เกิดกับ Google มาตั้งแต่ก่อนยุค AI
ฉันมองโลกในแง่ร้ายว่าเรื่องพวกนี้คงไม่เปลี่ยน แต่ก็ยังไม่หมดหวัง
แล้วฟอสซิล trilobite ก็น่ารักมาก
ฉันมีฟอสซิลของจริงวางอยู่บนโต๊ะตัวหนึ่งด้วย เพื่อนถึงกับเอาแว่นไปใส่ให้
เพราะในสายตาเพื่อน ฉันเป็น “ลุงระดับไดโนเสาร์” ไปแล้ว แต่ trilobite นั้นเก่ากว่าอีก
https://www.trilobites.info/
ไม่นานมานี้ฉันเห็นกรณีที่วง Dutch Interior ถูก Meta AI ใส่ความหมิ่นประมาทแบบไร้มูลโดยสิ้นเชิง
AI แต่งขึ้นมาว่าวงนี้เชื่อมโยงกับพวกคนขาวเป็นใหญ่และกลุ่มขวาจัดหัวรุนแรง
https://youtube.com/shorts/eT96FbU_a9E?si=johS04spdVBYqyg3
https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for-europe-over-risks-of-using-algorithms/
ในปี 2019 หน่วยงานภาษีของเนเธอร์แลนด์ใช้ AI แบบ self-learning สร้าง risk profile เพื่อจับทุจริตเงินอุดหนุนดูแลเด็ก ซึ่งนำไปสู่การแตกสลายของครอบครัวจำนวนมาก การส่งเด็กไปอยู่บ้านอุปถัมภ์ การล้มละลาย และแม้แต่การฆ่าตัวตาย
ปี 2021 หน่วยงานคุ้มครองข้อมูลของเนเธอร์แลนด์ยังสั่งปรับหน่วยงานภาษีเป็นเงิน 2.75 ล้านยูโรอีกด้วย
รัฐบาลสั่งรัฐบาลจ่ายค่าปรับให้ตัวเอง ช่างเป็นความเคลื่อนไหวที่ “ยอดเยี่ยม” จริง ๆ
สถานการณ์เพี้ยน ๆ แบบนี้ช่างมีความสร้างสรรค์เหลือเกิน
มันคล้ายกับข้อความว่า “ฉันคือนักเขียนไซไฟ Greg Egan ฉันไม่มีรูปถ่ายอยู่บนอินเทอร์เน็ต” และการที่ข้อความนั้นถูกกระจายไปทั่วเน็ตอย่างไร้ความหมาย
https://www.gregegan.net/images/GregEgan.htm
ฉันคิดว่าสรุปบางอันเกี่ยวกับ Dave Barry ไม่ได้ผิดเสียทีเดียว เพราะมี Dave Barry อีกคนที่เสียชีวิตจริง ๆ ในช่วงเวลานั้น
ก็เลยสงสัยว่าทำไม Dave Barry คนนี้ถึงควรมีสิทธิ์เป็นตัวแทนมากกว่าในคำถามว่า “เกิดอะไรขึ้นกับเขา?”
ทั้งที่จริงแล้วกับตัวเขาเองไม่ได้มีอะไรเกิดขึ้นเลย แต่กับคนชื่อเดียวกันนั้นมีเรื่องเกิดขึ้นจริง (เสียชีวิต)
ถ้าข้อมูลนี้ไปอยู่ท่ามกลางข้อมูลหรือลิงก์เกี่ยวกับ Bostonian Dave Batty บริบทก็จะชัดเจนขึ้น
เพราะงั้นในบริบทนี้เองที่ข้อมูลผิด
แค่ประโยคอย่าง “Dave Barry นักเขียนอารมณ์ขันและผู้ชนะรางวัล Pulitzer เสียชีวิตเมื่อวันที่ 20 พฤศจิกายนปีที่แล้ว...” หรือ “Dave Barry (Bostonian)... เสียชีวิตเมื่อวันที่ 20 พฤศจิกายน...” ก็ชัดแล้วว่าพูดถึงใคร
แม้บริบทจะอยู่นอกประโยคเอง (embedding context) อัตลักษณ์ของประธานก็ยังมีบทบาทสำคัญในถ้อยคำแบบนี้
อันที่จริงเวลาเสิร์ชชื่อใน Google ตัว summary จะถูกจัดวางให้ชี้ไปที่ Dave Barry (นักเขียน) อยู่แล้วบนสุด
และจากที่ฉันลองค้นดู มันบอกว่า Dave Barry ยังมีชีวิตอยู่ก็จริง แต่แหล่งอ้างอิงกลับเป็นบทความวิกิพีเดียของ Dave Berry (นักดนตรี)
เวอร์ชันแบบนี้ด้วย (ที่มีข้อมูลการเสียชีวิตของคนชื่อเดียวกัน) อาจถูกแสดงสลับกับ AI summary แบบอื่น ๆ ได้
ทางที่ดีที่สุดคือน่าจะแยกแยะบุคคลให้ชัดแบบ Wikipedia
ชักสงสัยขึ้นมาว่า Dave Barry คนอื่นอาจจะยังมีชีวิตอยู่เหมือนกันก็ได้
ในส่วน “เกิดอะไรขึ้นกับ Dave Barry?” นั้น มีข้อมูลของ Dave Barry นักเคลื่อนไหว ไปอยู่ใต้หัวข้อย่อยของ Dave Barry นักแสดงตลก
คนทั่วไปเห็นก็ย่อมตีความว่าอยู่ในบริบทของนักแสดงตลก
ดังนั้น Dave Barry คนนี้ (นักเขียนอารมณ์ขัน) จึงมีสิทธิ์จะบอกว่านี่คือ “คำถามที่พุ่งมาหาฉัน”
มันก็เหมือนกับเอาข่าวการเสียชีวิตของ Dave Barry คนอื่นไปวางไว้กลางหน้า Wikipedia ของ Dave Barry (นักแสดงตลก) โดยไม่มีบริบทอะไรเลย