สรุป AI ของ ESPN ที่ไม่เอ่ยถึง Alex Morgan ในเกมอาชีพนัดสุดท้ายของเธอ
(awfulannouncing.com)- สรุปการแข่งขันที่สร้างโดย AI ของ ESPN พลาดบริบทสำคัญที่ว่านี่คือเกมอำลาของ Alex Morgan แสดงให้เห็นว่าแม้สรุปอัตโนมัติจะบอกผลการแข่งขันได้ถูกต้อง ก็ยังอาจพลาดเรื่องสำคัญสำหรับผู้อ่าน
- San Diego Wave แพ้ 4-1 ให้กับ North Carolina Courage และ Morgan ลงเล่น 15 นาที ยิงจุดโทษ ก่อนกล่าวขอบคุณและอำลาแฟน ๆ
- สรุปของ ESPN Generative AI Services ถูกเผยแพร่บนเว็บไซต์และแอปเวลา 20:52 น. ตามเวลาตะวันออก โดยตลอด 215 คำพูดถึงการทำประตูกับรูปเกม แต่ไม่เอ่ยถึง Morgan เลยแม้แต่ครั้งเดียว
- ESPN ระบุว่าสรุปจาก AI ทุกชิ้นผ่านการ ตรวจทานโดยบรรณาธิการมนุษย์ แต่ยังไม่ชัดเจนว่าการตกหล่นครั้งนี้หลุดรอดจากขั้นตอนตรวจทาน หรือถูกตัดออกจากการตัดสินใจเชิงบรรณาธิการ
- แม้จะมีบทความแยกที่พูดถึงเกมสุดท้ายของ Morgan แต่สรุป AI ที่ส่งให้แฟนกีฬาซึ่งได้รับการรายงานน้อยกว่า จะน่าเชื่อถือได้ก็ต่อเมื่อมี ความสามารถในการคัดเลือกบริบทสำคัญ ด้วย
ฉากสำคัญของเกมที่สรุปโดย AI มองข้าม
- Alex Morgan หนึ่งในนักเตะสัญลักษณ์ของฟุตบอลสหรัฐฯ ลงเล่นเกมอาชีพนัดสุดท้ายกับ San Diego Wave ในวันอาทิตย์ และทีมแพ้ North Carolina Courage 4-1
- ระหว่างการแข่งขัน Morgan ถอดสตั๊ดกลางสนาม แล้วโบกมือทั้งน้ำตาให้ผู้ชมใน Snapdragon Stadium
- แฟน ๆ ตะโกนชื่อ Morgan และผู้เล่นต่างล้อมเธอพร้อมปรบมือให้
- Morgan ลงเล่น 15 นาที และรับหน้าที่ยิงจุดโทษ
- หลังจบเกม เธอกล่าวขอบคุณแฟน ๆ สำหรับแรงเชียร์และบอกลา
- เกมนี้ถ่ายทอดสดพร้อมกันผ่านหลายเครือข่ายและบริการสตรีมมิง
สิ่งที่สรุปของ ESPN Generative AI Services ตกหล่น
- ESPN Generative AI Services เริ่มให้บริการสรุปเกมของ NWSL และ Premier Lacrosse League ตั้งแต่สัปดาห์นั้น
- สรุป ที่เป็นประเด็นถูกเผยแพร่บนเว็บไซต์และแอปของ ESPN เวลา 20:52 น. ตามเวลาตะวันออก
- สรุปดังกล่าวจัดเรียงผลการแข่งขัน ผู้ทำประตู และรูปเกมในแบบมาตรฐาน แต่ตลอด 215 คำ ไม่เอ่ยถึง Morgan เลย
- แม้แต่ว่านี่คือเกมอาชีพนัดสุดท้ายของ Morgan ผู้คว้าแชมป์ World Cup สองสมัยและเหรียญทอง Olympic ก็ไม่ถูกกล่าวถึง
- ในสรุปมีประโยคว่า "[Kennedy] Wesley ของ San Diego เป็นผู้เล่นเด่นที่มีส่วนร่วมทั้งเกมรับและเกมรุก"
คำถามที่ยังค้างจากการตรวจทานโดยบรรณาธิการมนุษย์
- ESPN ระบุในประกาศเปิดตัวบริการว่า สรุปที่สร้างโดย AI ทุกชิ้นจะได้รับการตรวจสอบด้านคุณภาพและความถูกต้องโดย บรรณาธิการมนุษย์
- ยังไม่ชัดเจนว่าเหตุใด Morgan จึงหายไปจากสรุป
- อาจเป็นไปได้ว่าบรรณาธิการมนุษย์ไม่ทันสังเกตว่ามีการไม่กล่าวถึง Morgan
- หรืออาจตัดสินว่าไม่จำเป็นต้องใส่บริบทเกี่ยวกับ Morgan ก็ได้
- แม้ข้อเท็จจริงในสรุปจะถูกต้อง แต่การละเลย Morgan และความสำคัญของคืนนั้นก็เป็นตัวอย่างว่าสรุปนี้ไม่สามารถถ่ายทอดบริบททั้งหมดของเกมได้
บทความแยกและการแก้ไขภายหลัง
- ESPN เผยแพร่ บทความแยก ของ Jeff Kassouf ที่โฟกัสไปที่ Morgan
- บทความดังกล่าวพูดถึงค่ำคืนอำลาที่เต็มไปด้วยอารมณ์ของ Morgan แต่ถูกวางไว้ใน เมนูด้านข้าง ของสรุปที่สร้างโดย AI จึงอาจถูกมองข้ามได้ง่าย
- ESPN แก้ไขสรุปเกมเมื่อวันจันทร์ที่ 9 กันยายน เวลา 08:59 น. ตามเวลาตะวันออก เพื่อเพิ่มการกล่าวถึง Alex Morgan
ข้อจำกัดของสรุป AI ในกีฬาที่ได้รับการรายงานน้อย
- ESPN ระบุว่าสรุปที่สร้างโดย AI มีเป้าหมายเพื่อเสริมการรายงานกีฬาที่ ได้รับการบริการข่าวน้อย และมอบคอนเทนต์ที่ก่อนหน้านี้ไม่มีให้กับแฟน ๆ
- สรุปเกมที่พลาดบริบทสำคัญแสดงให้เห็นว่า การเรียงลำดับข้อเท็จจริงเพียงอย่างเดียวไม่เพียงพอ
- ผู้เขียนที่เป็นมนุษย์สามารถมองเห็นได้ทั้งผลการแข่งขัน รวมถึงช่วงเวลาที่สำคัญต่อผู้เล่น ลีก และแฟน ๆ แต่สรุป AI ชิ้นนี้ไม่สามารถทำหน้าที่นั้นได้
1 ความคิดเห็น
ความคิดเห็นใน Hacker News
ค่อนข้างตลกที่เอาเรื่องนี้มาใช้เป็นกรณีโจมตี คอนเทนต์ที่สร้างโดย AI บริษัทคอนเทนต์กีฬาบนเว็บทำบทความแบบอัตโนมัติมาอย่างน้อย 10 ปีแล้ว นานก่อนที่ LLM จะดังเสียอีก
ส่วนใหญ่ก็เพราะอันดับค้นหา และเพราะยิ่งมีคอนเทนต์ที่ดูเกี่ยวข้องแบบพอเข้าท่ามากเท่าไร ก็ยิ่งเป็นผลดีต่อ การปรับแต่งเว็บไซต์ให้ติดอันดับในเครื่องมือค้นหา
เรื่องแบบนี้น่าจะเกิดขึ้นหลายครั้งตั้งแต่ก่อนยุค AI แล้ว เพียงแต่ไม่สะดุดตาหรือไม่ได้รับความสนใจมากนัก กรณีนี้ดูเหมือนจะเป็นเรื่องที่ ESPN พลาดเซนส์หน้างาน และไม่ได้ดูแลให้ copywriter มาอัปเดตบทความนั้นด้วยตัวเองมากกว่า ESPN เป็นที่รู้กันมานานแล้วว่าเป็นที่ที่ให้ความสำคัญกับปริมาณมากกว่าคุณภาพ
ที่มา: เคยทำงานเป็นนักพัฒนาฝั่งเทคนิคในบริษัทที่ทำคอนเทนต์แบบนี้
ความจริงที่ว่าคอนเทนต์ทั่วไป ๆ แบบนี้ที่แค่ปนคำศัพท์กีฬาเข้าไปสามารถทำเงินได้ มันก็น่าหดหู่ทีเดียว
มันเห็นได้ชัดว่าข่าวกีฬาจำนวนมากแทบจะเป็นการ เติมคำในช่องว่าง เลย ดังนั้นจึงลงข่าว AP ทันที แล้วนักข่าวที่รับผิดชอบจริงค่อยเขียนบทความแยกออกมาตอนคืนนั้นหรือเช้าวันถัดไป
ไม่ว่าจะสร้างอัตโนมัติหรือไม่ ก็ไร้ประโยชน์เหมือนกัน และ LLM ก็แค่ทำให้มันถูกลงเท่านั้น
เกมนี้ ESPN ถ่ายทอดทั้งทาง ESPN2 และ ESPN+ ถ้าอย่างนั้นก็น่าจะมีการจ่ายเงินให้ ผู้บรรยายผู้เชี่ยวชาญสองคน เพื่อเติมบริบทและอธิบายจังหวะสำคัญก่อน ระหว่าง และหลังเกม
เขาไม่ได้ส่งเนื้อหานั้นเป็น ทรานสคริปต์คำบรรยาย ให้บอตเขียนบทความหรือ? ในเมื่อคำบรรยายถูกทำเป็นซับไตเติลแบบเรียลไทม์อยู่แล้ว ดูเหมือนเป็นการปรับปรุงที่ทำได้ง่ายมาก
“ต่อไปนี้คือทรานสคริปต์ของการแข่งขันฟุตบอล โปรดเขียนบทความ 200 คำเกี่ยวกับเกมนี้ ในสำนวนของนักข่าวกีฬามืออาชีพผู้ชำนาญ”
สรุปเริ่มว่า “ในเกมอาชีพนัดสุดท้าย Alex Morgan ลงเล่นด้วยอารมณ์และความทรหด แต่ San Diego Wave แพ้ให้กับ North Carolina Courage 3-1 เกมนี้ที่ Snapdragon Stadium ในซานดิเอโกไม่ใช่แค่การแข่งขัน แต่เป็นการสดุดีให้กับหนึ่งในบุคคลระดับสัญลักษณ์ของวงการฟุตบอล”
คะแนนผิด ส่วนที่เหลืออยู่ที่นี่: https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
ถ้าใส่ทรานสคริปต์ยาวหลายชั่วโมงเข้าไปใน LLM ก็เสี่ยงเกิด ภาพหลอน เพราะผู้บรรยายตื่นเต้นพูดถึงโอกาสทำประตูหรือเหตุการณ์ที่ท้ายที่สุดไม่ได้เกิดขึ้นจริง
ในทางกลับกัน งานง่าย ๆ อย่าง “แปลงรายการประตู เวลา ผู้ทำประตู ผู้แอสซิสต์ ฯลฯ ให้เป็นประโยค” สามารถทำได้ด้วยอัลกอริทึมที่ให้ผลแน่นอนโดยไม่ต้องใช้ LLM และครั้งนี้ก็อาจเป็นแบบนั้น ปัญหาไวยากรณ์บางส่วนในต้นฉบับให้ความรู้สึกเหมือนกฎแทนที่แบบก่อนยุค LLM ถูกผสมกันผิดมากกว่า
สามารถสร้างระบบที่ตรวจสอบผลลัพธ์รอบแรกของ LLM ซึ่งสรุปทรานสคริปต์ยาวซ้ำ ๆ และเทียบกับข้อมูลมีโครงสร้างที่รู้อยู่แล้วเพื่อยืนยันความถูกต้องได้ อาจได้คอนเทนต์ที่สมบูรณ์ขึ้นและอัตราความผิดพลาดที่ยอมรับได้ และวิศวกรแมชชีนเลิร์นนิงระดับโลกก็อาจทำต้นแบบได้ในแฮกกาธอน
แต่สำหรับองค์กรขนาดใหญ่ที่เลี่ยงความเสี่ยง มันไม่ใช่เรื่องง่ายเลย เพราะยากจะเอาชนะตรรกะที่ว่า “สิ่งที่มีอยู่ตอนนี้ยังไม่สมบูรณ์ แต่อย่างน้อยก็ไม่ผิดข้อเท็จจริง”
ค่อนข้างต่างจากวิธีคิดแบบ “เข้าถึงได้ทุกอย่าง” ที่คาดหวังในบริษัทเทคโนโลยี หรือแม้แต่สามัญสำนึกทั่วไป
ผมไม่รู้เลยว่า ESPN ทำงานกันอย่างไร แค่อนุมานจากสิ่งที่เคยเห็นในที่อื่น
ถ้าไม่มีข้อมูลว่า “นี่คือการแข่งขันนัดสุดท้ายของ Alex Morgan” อยู่ในอินพุตหรือพรอมป์ต์เลย แล้วสรุปโดย AI จะเอาเรื่องนั้นใส่ลงไปในบทความการแข่งขันได้อย่างไรกัน
ต่อให้ให้แค่ตารางที่มีผู้ทำประตูและเวลาที่ทำประตูแก่เด็กฝึกงานวัยรุ่นคนหนึ่ง ก็คงเขียนบทความคล้าย ๆ กันได้ แต่ก็ไม่ได้หมายความว่านั่นจะเป็นข้ออ้างให้สำนักข่าวและเว็บไซต์กีฬาใช้ generative AI กับทุกอย่างได้ และก็เข้าใจได้ว่าทำไมผู้คนถึงหงุดหงิดกับ ESPN
การนำ generative AI มาใช้มีหน้าตาแบบนี้แหละ ใช้ อินพุตคุณภาพต่ำ เพื่อสร้างบางอย่างที่ดูเหมือนบทความ นี่คืออนาคตอันเจิดจ้าที่ OpenAI นำมาให้เรา
แทนที่จะโยนเหตุการณ์ในเกมให้ LLM แล้วบอกให้สรุปเฉย ๆ เห็นเส้นทางปรับปรุงที่ชัดเจนได้ เช่น ใส่สรุปบทความล่าสุด 10 ชิ้นที่เกี่ยวกับผู้เล่นและโค้ชที่มีส่วนร่วมในเกม หรืออาจรวมถึงสรุปบทความสำคัญในอดีต 10 ชิ้นลงไปในพรอมป์ต์ด้วย
จากนั้นขอให้สรุปการแข่งขัน โดยให้ใช้ข้อมูลอื่นเป็นข้อมูลอ้างอิงเพื่อยกระดับคุณภาพบทความ นี่ดูเหมือนเป็นสิ่งที่ LLM น่าจะทำได้ดี พอดีไม่ใช่หรือ
ESPN ย้ำว่า “สรุปแต่ละชิ้นที่ AI สร้างขึ้นจะได้รับการตรวจทานโดยบรรณาธิการมนุษย์เพื่อรับประกันคุณภาพและความถูกต้อง” แต่ก็เชื่อได้ยาก
เป้าหมายหลักของการให้ AI เขียนบทความคือการลดจำนวนคนที่ต้องจ่ายเงินให้ ดังนั้นการยอมจ่ายเพื่อให้ผู้เชี่ยวชาญที่ผ่านการฝึกมาตรวจทุกบทความอย่างละเอียด ก็คงถูกตัดออกจากตัวเลือกไปแล้ว
อาจประนีประนอมด้วยการลดความเข้มงวดของการตรวจทาน ลดความเชี่ยวชาญของบรรณาธิการ หรือไม่ใส่คนเข้าไปในทุกบทความ แต่คงไม่จ่ายเงินให้ บรรณาธิการมืออาชีพ ทำงานอย่างถูกต้องหรอก เรื่องนี้ผมกล้ารับประกัน
แค่มีบรรณาธิการ 1 คนต่อผู้สื่อข่าวที่ถูกแทนที่ 10 คน ก็ยังลดต้นทุนได้มากอยู่ดี
ผ่านไปอีกไม่กี่รุ่น บรรณาธิการอาจถูกแทนที่ด้วยก็ได้ แต่ผมคิดว่ายังไม่ถึงจุดนั้นในตอนนี้
ESPN เอาคนออกจากการรายงานข่าว และ AI ก็เอาคนออกจากเนื้อหาข่าว
ในประกาศเปิดตัวบริการ ESPN ย้ำว่า “สรุปแต่ละชิ้นที่ AI สร้างขึ้นจะได้รับการตรวจทานโดยบรรณาธิการมนุษย์เพื่อรับประกันคุณภาพและความถูกต้อง” ไม่ชัดเจนว่าบรรณาธิการมนุษย์ไม่สังเกตเห็นการหายไปของ Morgan หรือเห็นแล้วตัดสินว่าไม่คุ้มค่าแก่การกล่าวถึง
ตลอด 100 ปีที่ผ่านมา การโทษเด็กฝึกงาน เป็นแพะรับบาปที่ยอดเยี่ยมมาโดยตลอด
ผมเกลียด สรุปการแข่งขันด้วย AI ของการแข่งขัน WTT (World Table Tennis) มาก
ไฮไลต์ AI ตัดกลางแรลลี ข้ามทั้งแต้ม หรือบางทีก็ข้ามทั้งเซต มันไม่สะท้อนเหตุการณ์สำคัญที่เกิดขึ้นระหว่างแต้ม และบางครั้งยังตัดคำบรรยายที่เร้าใจหลังจบแต้ม การฉลอง หรือแม้แต่การจับมือหลังจบเกมทิ้งไปด้วย
สรุป AI แบบนี้สร้างขึ้นมาอย่างไร ใส่ไฟล์วิดีโอการแข่งขันทั้งเกมแล้วมันคายสรุปออกมา หรือใส่บันทึกคะแนนที่มนุษย์เขียนพร้อม timestamp ของการทำคะแนน แล้วให้ AI เติมประโยคเพิ่มจนกลายเป็นบทความกันแน่ อยากรู้จริง ๆ
ตอนนี้ก็คงใส่ raw API call แล้วใช้พรอมป์ต์ทำนองว่า “จงเขียนบทความสรุปการแข่งขันโดยใช้ข้อมูลนี้” ก็น่าจะได้ผลลัพธ์ออกมา แน่นอนว่าพรอมป์ต์คงพิถีพิถันกว่านั้น ผมเดาเอานะ หรือถ้าเป็น ESPN ก็อาจจะไม่ก็ได้
แต่จำไม่ได้เลยว่า retiring_players เคยอยู่ใน response ของ API
เพิ่มเติมคือ สรุปแบบ play-by-play นั้นถูกทำเอกสารไว้อย่างละเอียดสุด ๆ น่าทึ่งมาก กีฬายอดนิยมอย่าง Gridiron Football หรือ Basketball บางครั้งมีตำแหน่งผู้เล่นเป็นรายวินาทีด้วย ข้อมูลนี้มาจากฟีดอย่าง SportsRadar
คงไม่ถึงขั้นเอาข้อมูลละเอียดระดับนั้นใส่ในพรอมป์ต์ แต่ก็มีข้อมูลสรุปที่ค่อนข้างดี เช่น ใครยิงสามแต้มได้กี่ลูกและยิงจากตรงไหน
ถ้าใส่รายชื่อผู้เล่น อาการบาดเจ็บ และข้อมูลตารางแข่งเข้าไปด้วย แล้วใช้พรอมป์ต์พื้นฐานพอสมควร ก็น่าจะดีขึ้นมาก
ตอนนี้ข้อมูลแบบนี้มีอยู่ผ่านเว็บเซอร์วิสหลายแห่งสำหรับการแข่งขันสดส่วนใหญ่ ESPN เองก็น่าจะมีทรัพยากรเพียงพอที่จะดึงข้อมูลเหล่านี้มาใช้
ถ้าระบบมูลค่าหลายพันล้านดอลลาร์พังเพราะ “ความผิดพลาดของมนุษย์” ความสามารถของมันก็อาจถูกพูดเกินจริงไปมาก หากต้องอาศัยทั้งคำถามที่สร้างอย่างระมัดระวังหรือ “prompt engineering”, ข้อมูลที่ไร้ข้อผิดพลาด 100%, พลังงานไฟฟ้ามหาศาล และยังต้องให้มนุษย์มาตรวจทานผลลัพธ์อีก แล้วเราได้อะไรขึ้นมากันแน่
ถึงเวลายอมรับหรือยังว่า กระแส AI ระลอกนี้เป็นฟองสบู่
เว็บไซต์พวกนี้เต็มไปด้วยตัวติดตามและโฆษณา และโดยรวมก็เป็นแค่ บทความที่ใช้ความพยายามต่ำอย่างสุดขีด ซึ่งยืดเนื้อหาที่แทบไม่มีสาระออกไปให้ยาวมากเท่านั้น