- รายงานการฉ้อโกงด้านลอยัลตีความยาว 44 หน้า ของ EY Canada ถูกพบว่าเป็นเอกสารที่ปะปนด้วยการอ้างอิงเท็จ การระบุแหล่งที่มาผิด สถิติปลอม และข้อความที่เขียนโดย AI
- URL ส่วนใหญ่ในตารางอ้างอิงเสียหรือปลอม ชื่อเรื่องมากกว่าครึ่งไม่ตรงกับแหล่งที่มาจริง และ AI Scan ระบุว่าข้อความ 72% ถูกสร้างโดย AI
- แหล่งอ้างอิงจำนวนมากจาก BleepingComputer, Wired, Gartner, McKinsey, Forbes, Cisco Talos, TechCrunch ถูกตรวจพบว่าเป็น 404, หน้าแท็ก หรือเอกสารที่ไม่มีอยู่จริง
- ตัวเลข 2 แสนล้านดอลลาร์ ถูกใช้ในความหมายที่ขัดกันเอง ระหว่างขนาดตลาดคะแนนลอยัลตีทั้งหมดกับมูลค่าคะแนนที่ไม่ได้ใช้งาน และการอ้างอิงสนับสนุน 2 แห่งก็ถูกพบว่าถูกแต่งขึ้น
- รายงานที่มีข้อบกพร่องนี้ถูกเผยแพร่ไปถึง Canberra Times และหนังสือพิมพ์กว่า 60 ฉบับ อีกทั้ง Claude, ChatGPT และ Perplexity ก็แสดง ข้อมูลภาพหลอน ดังกล่าวด้วย
ปัญหาในรายงานของ EY Canada
- EY Canada เผยแพร่รายงาน 44 หน้า Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems ว่าด้วยภัยคุกคามไซเบอร์และการฉ้อโกงในระบบลอยัลตีเมื่อปลายปี 2025
- รายงานนี้ให้เครดิตกับพาร์ตเนอร์ 2 คนและซีเนียร์แมเนเจอร์ 1 คน แต่กลับพบทั้งการอ้างอิงเท็จ การระบุแหล่งที่มาผิด สถิติปลอม และข้อความที่เขียนโดย AI
- EY Canada คือองค์กรในแคนาดาของ Ernst & Young ซึ่งให้บริการมูลค่าหลายล้านดอลลาร์ต่อปีแก่รัฐบาลแคนาดา
- Hallucination Check ของ GPTZero ถูกใช้ในไปป์ไลน์อัตโนมัติสำหรับค้นหาและสแกนรายงานสาธารณะของบริษัทที่ปรึกษารายใหญ่ในช่วงไม่กี่เดือนที่ผ่านมา และบ่งชี้ว่า vibe citing กำลังแพร่กระจายแม้ในรายงานขององค์กรขนาดใหญ่
รูปแบบการอ้างอิงและผลการตรวจสอบ
- รายงานของ EY Canada ไม่ได้ใช้เชิงอรรถหรือการอ้างอิงเชิงวิชาการทั่วไป แต่กล่าวถึงแหล่งที่มาโดยตรงในเนื้อหา หรือรวบรวมแหล่งอ้างอิงไว้ใน resources table หน้า 41~43
- ตารางนี้ให้ชื่อแหล่งที่มา คำอธิบาย URL รวมถึงผู้จัดพิมพ์และวันที่บางส่วน แต่ URL ส่วนใหญ่เสียหรือปลอม และชื่อเรื่องมากกว่าครึ่งไม่ตรงกับแหล่งจริง
- GPTZero นิยามการอ้างอิงแบบภาพหลอนด้วยเกณฑ์ที่ชัดเจน โดยคำนึงถึงต้นทุนด้านชื่อเสียงจาก false positive และตรวจสอบผลจาก Hallucination Check ด้วยตนเอง
- ข้อความในรายงานถูก GPTZero AI Scan ระบุว่า 72% เป็น AI และพบข้อผิดพลาดแบบ LLM ซ้ำ ๆ เช่น สถิติเท็จ การระบุแหล่งที่มาผิด และความขัดแย้งภายใน
ตัวอย่างแหล่งอ้างอิงเท็จหรือไม่ถูกต้อง
-
บทความ BleepingComputer เรื่องการละเมิดบัญชีลอยัลตีของสายการบิน
Airline Loyalty Breach: BleepingComputerถูกนำเสนอว่าเป็นบทความเกี่ยวกับการที่บัญชีลอยัลตีของสายการบินหลายล้านบัญชีถูกเจาะด้วยการโจมตีแบบ credential stuffinghttps://bleepingcomputer.com/news/security/…ส่งกลับ 404 และพบว่าบทความในเส้นทางดังกล่าวอาจถูกลบไปแล้วหรือไม่เคยมีอยู่ตั้งแต่แรก
-
บทความ Wired เรื่อง voice deepfake และความปลอดภัย API
AI Voice Deepfakes Targeting Call Centersถูกนำเสนอว่าเป็นบทความของ Wired ว่าด้วยผู้โจมตีที่ใช้เสียงสร้างโดย AI เพื่อฉวยประโยชน์จากขั้นตอนบริการลูกค้า- ไม่มีบทความ Wired ดังกล่าวอยู่ที่
https://www.wired.com/story/voice-deepfakes-ai-scams/ Wired: API Security Gapsก็ถูกนำเสนอว่าเป็นบทความว่าด้วยช่องโหว่ API ในบริการดิจิทัลสำหรับผู้บริโภค แต่https://www.wired.com/story/api-security-risks-retail/ก็ส่งกลับ 404 เช่นกัน
-
รายงานของ Gartner และ McKinsey
Gartner Market Trends – Loyalty Fraudถูกนำเสนอเป็นแนวทางเชิงกลยุทธ์เกี่ยวกับวิวัฒนาการของการฉ้อโกงในโปรแกรมลอยัลตีดิจิทัลและ mobile wallethttps://www.gartner.com/en/documents/4000201เพียงพาไปยังเว็บไซต์หลักของ Gartner และไม่มีเอกสาร Gartner ตามชื่อนั้นอยู่จริงMcKinsey & Company – Loyalty Economics Report (2022)ถูกนำเสนอว่าเป็นรายงานที่ประเมินว่าคะแนนรางวัลที่ไม่ได้ใช้งานทั่วโลกมีมูลค่า 2 แสนล้านดอลลาร์ แต่รายงานดังกล่าวไม่มีอยู่จริง
-
บทความ Forbes ว่าด้วยเศรษฐกิจลอยัลตี
Forbes – The $200 Billion Loyalty Economyถูกยกมาเป็นหลักฐานอธิบายว่าโปรแกรมลอยัลตีเป็นสินทรัพย์ดิจิทัลสำคัญ- URL เสีย และแม้ Blake Morgan จะเคยเขียนให้ Forbes แต่ไม่มีบทความที่ตรงกับชื่อนี้
- อย่างไรก็ตาม บทความ Forbes ปี 2020 มีการใช้วลี “$200 billion loyalty economy”
-
Cisco Talos และ TechCrunch
Cisco Talos: API Attacks on Retailถูกนำเสนอว่าเป็นบทความเกี่ยวกับการโจมตี API ที่ไม่ปลอดภัยในระบบคอมเมิร์ซและลอยัลตี แต่https://blog.talosintelligence.com/api-abuse-retail/ส่งกลับ 404TechCrunch: Loyalty Program Breachesถูกนำเสนอว่าเป็นบทความเกี่ยวกับการละเมิดโปรแกรมลอยัลตีและการรั่วไหลของข้อมูลผู้ใช้ แต่https://techcrunch.com/tag/loyalty-program/เป็นหน้าแท็กloyalty-programไม่ใช่บทความเฉพาะ
ความขัดแย้งภายในของสถิติ 2 แสนล้านดอลลาร์
-
ข้ออ้างในบทสรุปผู้บริหาร
- Executive Summary อ้างว่าตลาดคะแนนลอยัลตีทั่วโลกมีขนาด 2 แสนล้านดอลลาร์ และ 30~50% ของจำนวนนั้นไม่ได้ถูกใช้งาน
- ข้ออ้างนี้ได้รับการหนุนด้วยการอ้างอิง Forbes ปลอม
-
ความหมายที่เปลี่ยนไปในหน้า 10
- ในหน้า 10 ตัวเลข 2 แสนล้านดอลลาร์เดียวกันกลับเปลี่ยนความหมายจากมูลค่าคะแนนทั่วโลกทั้งหมด ไปเป็นมูลค่าประมาณของ คะแนนลอยัลตีที่ไม่ได้ใช้งาน
- เนื่องจากก่อนหน้านี้อ้างว่ามากถึง 50% ของคะแนนไม่ได้ถูกใช้ หากทั้งสองข้ออ้างจะเป็นจริงพร้อมกัน ขนาดตลาดคะแนนลอยัลตีทั่วโลกต้องมีอย่างน้อย 4 แสนล้านดอลลาร์
-
การไล่ที่มาของการอ้างอิง McKinsey
- รายงาน McKinsey & Company ปลอมในหน้า 43 ถูกใช้เป็นหลักฐานสนับสนุนข้ออ้างหลังที่ว่ามูลค่าคะแนนที่ไม่ได้ใช้งานทั่วโลกอยู่ที่ 2 แสนล้านดอลลาร์
- ตัวเลขเดียวกันถูกใช้ในสองความหมายที่ยากจะอยู่ร่วมกันได้ และพบว่าการอ้างอิงทั้งสองแห่งที่ใช้รองรับถูกแต่งขึ้นทั้งหมด
- การอ้างอิง McKinsey นี้สืบย้อนกลับไปถึงบล็อกโพสต์ฟินเทค ของ Financial IT ที่เผยแพร่ก่อนรายงานของ EY 6 เดือน
- บทความดังกล่าวอ้างว่า “more than $200 billion in points sit idle each year” และในส่วนแหล่งที่มาได้อ้าง
McKinsey & Company: Loyalty Economics Report (2022)ซึ่งไม่มีอยู่จริง - การอ้างอิงปลอมนี้ถูกใส่ลงในตารางอ้างอิงของรายงาน EY แบบตรง ๆ ทำให้แหล่งปลอมจากบล็อกคุณภาพต่ำถูกฟอกให้ดูเป็นสิ่งพิมพ์จาก Big Four
สถิติ 72% และ 89% ที่แหล่งที่มาปะปนกัน
-
สถิติ 72% เรื่องการฉ้อโกงในโปรแกรมลอยัลตี
- ในหน้า 6 มีการอ้างว่า 72% ของโปรแกรมความภักดีลูกค้ารายงานว่ามีการขโมยหรือการฉ้อโกง
- ตัวเลขนี้ถูกยกให้เป็นของบทความปี 2019 จาก Paystone ผู้ให้บริการประมวลผลการชำระเงินในแคนาดา
- ในหน้า 11 สถิติเดียวกันกลับถูกยกให้เป็นของ NRF 2020 summary ของ Forter บริษัทด้านการป้องกันการฉ้อโกงดิจิทัล
- ทั้ง Paystone และ Forter ไม่ได้อยู่ในตารางอ้างอิงของรายงาน และแหล่งต้นทางดูเหมือนจะเป็นแบบสำรวจของ Ipsos ในปี 2017
-
สถิติการโจมตีฉ้อโกงลอยัลตีเพิ่มขึ้น 89%
- ในหน้า 6 มีการอ้างว่าการโจมตีฉ้อโกงต่อโปรแกรมลอยัลตีเพิ่มขึ้น 89% ตั้งแต่ปี 2019
- ในหน้า 11 การเพิ่มขึ้น 89% เดียวกันกลับถูกจำกัดให้เป็นการเปลี่ยนแปลงภายในปีเดียวจาก 2018 เป็น 2019 และอ้างถึง Fraud Attack Index ของ Forter
- แหล่งนี้มีอยู่จริงและยืนยันข้ออ้างเวอร์ชันหลังได้บางส่วน แต่ก็เป็นข้อมูลเก่าเช่นเดียวกับหลายแหล่งที่ใช้ในรายงานของ EY
- แหล่งที่มาที่ขัดกัน แหล่งคุณภาพต่ำ สถิติเก่า และการเรียบเรียงใหม่ที่ไม่แม่นยำ ถูกชี้ว่าเป็นสัญญาณของ AI slop
ผลกระทบต่อสาธารณะและความเสี่ยงจากข้อมูลปนเปื้อน
- Points of Attack อาจไม่ได้สร้างแรงกระเพื่อมมากนักในแคนาดา แต่เพิ่งถูกอ้างถึงในบทความของ Canberra Times และบทความนี้ก็ถูกกระจายไปยังหนังสือพิมพ์กว่า 60 ฉบับทั่วออสเตรเลีย
- รายงานนี้อาจถูกเผยแพร่ผ่าน customer briefing ที่ไม่อยู่ใน public domain, งานนำเสนอภายใน และสื่อเฉพาะทางด้วย
- การเผยแพร่รายงานออนไลน์มีลักษณะใกล้เคียงกับการ inject ข้อมูล เข้าสู่คลังความรู้บนอินเทอร์เน็ต และเมื่อบริษัทที่ปรึกษาชื่อดังนำข้อมูลเท็จหรือการอ้างอิงแบบภาพหลอนขึ้นเว็บไซต์ที่มีทราฟฟิกสูง ก็อาจทำให้นักวิจัยในภายหลังหลงทางได้
- เครื่องมือ AI แบบ “deep research” อาจเปราะบางต่อ ข้อมูลปนเปื้อน ลักษณะนี้มากขึ้น เพราะเลือกแหล่งที่มาโดยอาศัยสัญญาณคนละแบบกับมนุษย์
- Claude, ChatGPT และ Perplexity แสดงข้อมูลภาพหลอนที่มาจากรายงานบกพร่องของ EY
เป้าหมายของ Hallucination Check
- GPTZero มองว่า vibe citing ได้กลายเป็นความเสี่ยงร่วมสมัยต่อทั้งนักวิจัย แวดวงวิชาการ ที่ปรึกษา และผู้ที่พึ่งพาการค้นหาบนเว็บ
- Hallucination Check ถูกเสนอเป็นเครื่องมือสำหรับระบุการอ้างอิงแบบภาพหลอนและข้อมูลเท็จ โดยไม่ต้องตรวจทุกการอ้างอิงด้วยมือ
- เครื่องมือนี้ยังถูกใช้ในการตรวจงานส่งเข้าประชุมวิชาการอย่าง IJCAI, ICLR และ ICSE ด้วย
- ข้อสรุปคือ แม้แต่การอ้างอิงจากแหล่งที่มีชื่อเสียงอย่าง Ernst & Young ก็ยากจะยอมรับด้วยความเชื่อใจเพียงอย่างเดียวได้แล้ว
- มีการให้ลิงก์ Hallucination Check ของ GPTZero
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ปัญหาที่เห็นได้ในหลายสายงานคือ ผลลัพธ์จาก AI ไม่ได้ถูกตรวจทานอย่างเหมาะสมโดยคนที่มีความรู้ เช่น นักวิเคราะห์ที่มีประสบการณ์ วิศวกรอาวุโส ทนายความผู้เชี่ยวชาญ หรือแพทย์ประจำบ้าน
อย่างดีก็แค่กวาดตาดูผ่านๆ และแย่ที่สุดคือไม่ได้ดูเลยก่อนจะเผยแพร่ แจกจ่าย นำขึ้นโปรดักชัน ส่งให้ลูกค้า หรือยื่นต่อศาล
หลายกรณี องค์กรมีคนที่มีความสามารถพอจะตรวจทานได้อยู่แล้ว แต่คนเหล่านั้นก็ล้นมือกับงานประจำอยู่ก่อนแล้ว
เมื่อไม่กี่เดือนก่อน เห็นโพสต์เกี่ยวกับ Amazon ที่ให้วิศวกรอาวุโสตรวจทานผลลัพธ์จาก generative AI (https://news.ycombinator.com/item?id=47323017) ก็ได้แต่หัวเราะ คนพวกนี้ก็ยุ่งอยู่แล้ว และไม่น่าเชื่อว่า Amazon จะยอมให้มี คอขวดจากมนุษย์ เพิ่มขึ้นทั่วทั้งงานพัฒนาโปรเจกต์และโครงสร้างพื้นฐานหลัก
ผมพยายามผลักดันให้ทั้งองค์กรมี หลักการทางวิศวกรรม ขั้นพื้นฐาน
เราไม่เคยบอกวิศวกรให้ตรวจโค้ด 1000 บรรทัดโดยไม่มีสเปกต้นฉบับว่าต้องการบรรลุอะไร อย่างน้อยต้องมีบริบท และถ้าดีที่สุด ผู้ตรวจทานควรอยู่ตรงนั้นตั้งแต่ตอนเริ่มนำเสนองาน เพื่อจะได้รู้บริบททั้งหมด
แต่เอกสารพวกนี้มักถูกส่งต่อมาแบบสุดโต่งสองทาง ไม่มีตรงกลาง พอถึงตอนที่ตัวชี้วัดข้อที่ 39 ถูกนิยามละเอียดครบถ้วนแล้ว จะให้ย้อนกลับไปแก้ใหม่ หรือจะได้แต่ยอมรับว่าเรื่องมันมาไกลขนาดนี้แล้ว
แค่เอกสารหนึ่งหน้า หรือถ้าเป็นสไตล์ Amazon ก็อาจหกหน้า ที่บอกเพียงว่า “นี่คือสิ่งที่ฉันเสนอ” ก็พอให้โต้แย้งและขัดเกลารูปร่างของไอเดียได้ตั้งแต่ระยะโครงร่าง ก่อนที่จะเกิดการยึดติดทางอารมณ์กับรายงานชิ้นสำคัญที่ทำเสร็จแล้ว
คล้ายกับวิธีดั้งเดิมที่ฝั่งโปรดักต์ไล่ดูสเปกในสภาพแวดล้อมแบบ SCRUM และฝั่งวิศวกรรมทำ code review กันจริงจัง แน่นอนว่า SCRUM ตายไปแล้ว แต่นั่นก็เป็นอีกเรื่องหนึ่ง
ถ้าใช้ AI ก็ต้องอ่านทั้งหมด อธิบายว่าทำไมถึงผิด และสุดท้ายก็มักต้องเขียนใหม่ทั้งหมด
ชั่วโมงที่คิดค่าบริการได้อาจเพิ่มขึ้นมาก แต่ก็ดูเป็นอาการที่สะท้อนว่าข้อดีของ AI ที่ว่าเร็วและเข้าถึงง่ายสำหรับคนที่ไม่เข้าใจหัวข้อนั้น หายไปอย่างไร
เหตุผลหนึ่งที่ “มหาบุรุษและมหาสตรี” ชอบ vibe coding ก็เพราะมันทำให้พวกเขารู้สึกว่าตอนนี้ตัวเองทำงานที่เมื่อก่อนต้องผ่านกระบวนการอันน่าปวดหัวอย่าง “ส่งต่อให้ผู้เชี่ยวชาญด้านบริบท” ได้ด้วยตัวเอง
ตอนนี้ LLM กลายเป็น “ผู้เชี่ยวชาญด้านบริบทในตัว” ไปแล้ว เลยคิดว่าไม่จำเป็นต้องตรวจทานผลลัพธ์อีกต่อไป
ถ้าเป็นแบบนั้น AI ก็กลายเป็นระบบที่ ผลตอบแทนต่อการลงทุนติดลบอย่างมาก สำหรับการใช้งานหลายประเภท
ลองนึกถึงการฝึกวิชาชีพที่ถ้าพลาดขึ้นมา ผลลัพธ์อาจไปออกข่าวภาคค่ำได้
แค่แนวคิดที่ว่าทุกคนจะรับเอาสตริงที่ออกมาจากเมทริกซ์ตัวเลขไปแบบปิดการตัดสินใจของตัวเอง แล้วพยายามแค่หลีกเลี่ยงความรับผิดชอบ ก็น่าขนลุกแล้ว
มันคล้ายกับกรณีที่สายการบินในเอเชียใต้ห้ามนักบินลงจอดด้วยการบังคับเอง ทำให้ทักษะเสื่อมถอย และสุดท้ายก็นำไปสู่ภัยพิบัติที่เป็นที่รู้จักกันดี
ถ้าแม้แต่ที่ปรึกษาค่าตัวแพงยังไม่ตรวจลิงก์ด้วยซ้ำ ยิ่งน่ากังวลเข้าไปใหญ่
มีแหล่งที่ดูเป็น ข้อความล้วน ได้ไหม CSS styles ทำให้ปวดหัวมาก และเหมือนโหมดอ่านจะไม่ทำงานหรือถูกบล็อกไว้
แต่ฟีเจอร์นี้ก็มีปัญหาตรงที่ลบภาพบางส่วนซึ่งมีแหล่งอ้างอิงที่ใช้ไปด้วย
ความตลกแท้จริงคือได้เห็นขยะแบบนี้ไหลลงมาจาก ผู้บริหารระดับสูง เต็มไปด้วยพรอมป์ต์ง่อยๆ ขยะหลอนข้อมูล ไม่มีข้อมูลที่ลงมือทำได้จริง และไม่มีบทวิเคราะห์จากความรู้จริง มีแต่การคุยโม้
ประมาณว่า “ดูการวิเคราะห์ปัญหาซัพพอร์ตที่ดึงมาจาก Jira สิ เราต้องแก้สามปัญหาอันดับต้นๆ นี้ให้ได้!!!” ทั้งที่จริงทุกคนรู้เรื่องพวกนี้กันมาหลายปีแล้ว แค่ฝ่ายบริหารไม่เคยให้อำนาจใครไปแก้
เจออะไรแบบนี้เกินสองครั้งแล้ว มันควรมีชื่อเรียกนะ จะเรียกว่า Garbagemaxxing ดีไหม
เป็นหน้าที่แย่มากสำหรับการสำรวจดูข้อมูล
เดี๋ยวคงต้องกลับมาดูใหม่บนเดสก์ท็อป เนื้อหาดูน่าสนใจ แต่ในทางปฏิบัติอ่านไม่ได้เลย ข้ามส่วนแนะนำ Ernst and Young ไปไม่ได้ด้วยซ้ำ
บางคนไม่ควรทำเว็บไซต์
มีใครหลอนแม้กระทั่งเรื่องที่ การเลื่อนหน้าเว็บ ควรทำงานอย่างไรหรือเปล่า?
สิ่งที่แปลกคือ ถ้าเป็นเมื่อ 12–18 เดือนก่อน รายงานนี้คงเป็นเรื่องอื้อฉาวใหญ่และทำให้เกิด ความเสียหายต่อแบรนด์ แบบยืดเยื้อ แต่ตอนนี้ดูเหมือนจะไม่มีใครจำหรือแม้แต่สังเกตเห็นด้วยซ้ำ
ควรแก้เว็บไซต์ก่อนเลย เลิกใช้ JavaScript animation ห่วยๆ พวกนี้ได้แล้ว เรื่องแบบนี้ถูกแก้ไปตั้งแต่ปี 2014 ด้วย D3JS กับ jQuery แล้ว
ไม่เข้าใจจริงๆ ว่าเรื่องแบบนี้เกิดขึ้นได้อย่างไร อย่างเช่น Qwen Chat หรือ Perplexity จะใส่ การอ้างอิง ไว้ท้ายแต่ละประโยคที่สร้างขึ้นมา
เพราะงั้นพอเอาเมาส์ไปชี้ที่แต่ละอ้างอิง ก็จะเห็นว่ามาจากเว็บไซต์ไหน
นี่คือแค่เอาพรอมป์ต์ไปใส่ใน ChatGPT แบบไม่มีเว็บเสิร์ช แล้วคัดลอกวางออกมางั้นหรือ
EY เงียบๆ ปลดคนมาตลอดทั้งปีที่ผ่านมา
ถ้าพยายามให้คนจำนวนน้อยลงทำงานมากขึ้น ก็ไม่แปลกที่จะจบลงด้วย คุณภาพที่ลดลง
งานในบริษัทจำนวนมากก็แค่ การติ๊กช่องให้ครบ
หัวหน้าบอกว่า “ไปเอารายงานเรื่อง X มา ฉันจะส่งรายงานนั้นให้หัวหน้าฉันต่อ ซึ่งเขาก็จะไม่อ่านมันหรอก”
โครงสร้างมันเลยกลายเป็น “E&Y ช่วยทำรายงานให้หน่อย นี่ 200,000 ดอลลาร์”
หน้าเว็บนี้เองก็น่าจะถูกทำด้วย vibe coding เหมือนกัน และผู้เขียนก็คงไม่สนใจมันเท่าไร