Bing AI ไว้ใจไม่ได้

• ตอนนี้ทุกคนรู้แล้วว่า Google Bard ให้คำตอบผิดในโฆษณา แต่ Bing AI ก็ให้คำตอบผิดแบบเต็ม ๆ ในเดโมเช่นกัน เพียงแต่ไม่มีใครสังเกตเห็น

เครื่องดูดฝุ่นสำหรับสัตว์เลี้ยง

• เมื่อค้นหา Pet Vacuums มีการระบุข้อเสียของผลิตภัณฑ์หนึ่งว่า "แรงดูดต่ำ สายสั้น และเสียงดัง"
• ผู้เขียนไปดูบทความของ hgtv ที่ถูกใช้เป็นแหล่งข้อมูลแล้ว แต่ไม่มีเนื้อหาแบบนั้นเลย แถมผลิตภัณฑ์นั้นยังเป็น "ไร้สาย" อีกด้วย เป็นเครื่องดูดฝุ่นแบบพกพา "ที่ไม่มีสาย"

Mexico Nightlife

• Bing ช่วยวางแผนเที่ยวเม็กซิโกซิตี 5 วันให้ แล้วจึงถามต่อว่าตอนเย็นควรทำอะไรบ้าง
• บาร์ที่บอกว่าสามารถจองผ่านเว็บได้ กลับไม่มีเว็บไซต์
• ไนต์คลับที่บอกว่าเป็นที่นิยมในหมู่คนรุ่นใหม่ ไม่มีรีวิวใด ๆ เลยหลังปี 2014/16 ดูเหมือนว่าทุกอย่างเกี่ยวกับสถานที่นี้จะถูก AI แต่งขึ้นมา
• บาร์ที่บอกว่าน่าสนใจนั้นเป็นเกย์บาร์ที่เก่าแก่ที่สุดในเม็กซิโก มีรีวิวบน Google มากกว่า 500 รีวิว แต่กลับระบุว่ายังไม่มีคะแนน/รีวิว ซึ่งก็น่าทึ่งเหมือนกัน
• จาก 5 สถานที่ที่แนะนำ มีถูกต้องเพียง 1 แห่ง

สรุปงบการเงินของ Gap

• นี่เป็นความผิดพลาดที่ใหญ่ที่สุดในเดโม และคาดไม่ถึงที่สุด
• มีการระบุว่าอัตรากำไรขั้นต้น (Gross Margin) คือ 37.4% แต่นั่นคือ Unadjusted Gross Margin ส่วนอัตรากำไรขั้นต้นที่ปรับผลกระทบจากค่าเสื่อมมูลค่าแล้วคือ 38.7%
• มีการระบุว่าอัตรากำไรจากการดำเนินงานคือ 5.9% แต่ไม่มีตัวเลขนี้อยู่ที่ใดในเอกสารเลย
• Diluted EPS ก็ระบุเป็น $1.6/$1.75 เช่นกัน ทั้งที่ในเอกสารไม่มีตัวเลขแบบนั้น ตัวเลขที่ถูกคือ $0.71/$0.77
• เขียนไว้ว่า guidance ปี 2022 คาดว่ายอดขายสุทธิจะเติบโตเป็นเลขสองหลักระดับต่ำ แต่จริง ๆ แล้วคาดว่าจะลดลงไปอยู่ที่เลขหลักเดียวระดับกลาง
• ไม่ก็เอามาจากเอกสารอีกฉบับ หรือไม่ก็แต่งขึ้นมาทั้งหมด
• การเปรียบเทียบ Gap กับ Lululemon ก็เหมือนกัน
• ข้อมูลของ Lululemon ก็มีตัวเลขที่ไม่ตรงกับเอกสารเช่นกัน

บทสรุป

• Bing AI อาจประสบความสำเร็จในการดึงความสนใจจากสื่อ แต่ไม่ได้ดีกว่า Google Bard เลยแม้แต่น้อย
• ไม่น่าเชื่อว่าทีม Bing จะอัดเดโมล่วงหน้านี้ด้วยข้อมูลที่ผิด
• ที่น่าประหลาดใจกว่านั้นคือมันกลับประสบความสำเร็จ และทุกคนก็ขึ้นขบวนชม Bing AI โดยแทบไม่ตรวจสอบให้ดีเสียก่อน
• Bing AI ไม่สามารถดึงตัวเลขที่ถูกต้องจากเอกสารได้ และแม้จะอ้างว่ามีแหล่งที่มา ก็ยังแต่งข้อมูลขึ้นมาอย่างมั่นใจ
• เป็นผลิตภัณฑ์ที่ยังไม่พร้อม และคนที่ต้องการข้อเท็จจริงที่แม่นยำไม่ควรใช้งาน

[dbs0829]

ผมเองก็ทำวิจัยด้าน deep learning ต่อเนื่องอยู่เหมือนกัน เลยรู้สึกว่าปัญหา over-confidence ของโมเดลค่อนข้างใหญ่ และที่นี่ก็มีปัญหาคล้ายกันโผล่มาให้เห็นเหมือนกันนะครับ

[kherootz]

มันชอบแต่งแหล่งที่มาเองตามใจ ซึ่งใน ChatGPT ก็เป็นหนักเหมือนกัน เลยเคยคาดหวังกับ Bard ไว้มาก..

[xguru]

น่าจะต้องอ่านควบคู่กับ ChatGPT เป็น JPEG เบลอๆ ของเว็บ นะครับ

[blueprajna]

สร้าง AI ที่เหมือนคนจริง ๆ ได้เลยนะเนี่ย

[dante]

อันนี้ chat GPT ก็เหมือนกัน ถ้าไม่มีความรู้เฉพาะทางก็จะมีคำตอบหลายอย่างที่จับสังเกตไม่ได้ว่าไม่ถูกต้อง

[qyurila]

ChatGPT ระบุข้อจำกัดอย่างชัดเจนจากฝั่ง OpenAI ว่าไม่ได้เชื่อมต่อกับอินเทอร์เน็ต และอีกจุดที่ต่างกันก็คือ ตามการออกแบบแล้ว มันมักจะปฏิเสธการตอบคำถามแบบเดียวกับในเนื้อหาหลักอยู่บ่อยครั้ง

[jujumilk3]

ใช่เลย ถ้าไม่รู้ก็ควรบอกว่าไม่รู้ ดูเหมือนจะชอบโกหกอยู่เรื่อย