2 คะแนน โดย GN⁺ 2025-06-02 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • AI Overview ของ Google Search แต่งสเปกที่ดูน่าเชื่อถือให้กับ IBM PS/2 Model 280 ซึ่งไม่มีอยู่จริง และแม้ค้นด้วยคำถามเดิม คำตอบก็เปลี่ยนไปเรื่อย ๆ
  • คำตอบผิดอธิบายว่า Model 280 เป็น ระบบ 286 บนฐาน ISA พร้อมปะปนรายละเอียดอย่างเปิดตัวในปี 1987, RAM 1MB, RAM 640KB, VGA, ไดรฟ์ 1.44MB
  • บางคำตอบบอกว่าระบบ 286 ขยาย RAM ได้ถึง 128MB แต่ข้อจำกัดเชิงสถาปัตยกรรมของ 286 คือ 16MB จึงเห็นความขัดแย้งภายในคำตอบเอง
  • เมื่อถามคำถามเดิมซ้ำหลายครั้ง ก็มีคำตอบที่ถูกต้องว่า “Model 280 ไม่ใช่รุ่นเฉพาะในซีรีส์ PS/2” ออกมาบ้าง แต่มีสัดส่วนเพียง ประมาณ 10% เท่านั้น
  • AI search overview อาจดูน่าเชื่อถือยิ่งขึ้นสำหรับผู้ไม่เชี่ยวชาญเมื่อมีรายละเอียดมาก จึงไม่ควรมองคำเตือน “AI responses may include mistakes” เป็นเรื่องเล็กน้อย

กรณี PS/2 Model 280 ที่ไม่มีอยู่จริง

  • ผู้เขียนพิมพ์ชื่อรุ่นลงใน Google เพื่อหาระบบ IBM PS/2 Server ราวปี 1992 แต่เครื่องที่ตามหาจริง ๆ เป็นระบบที่ใช้ โปรเซสเซอร์ 486 หลายตัว และ Microchannel (MCA)
  • AI Overview ในผลการค้นหาให้คำตอบที่คลาดเคลื่อนจากเป้าหมายตั้งแต่แรก
    • อธิบาย PS/2 Model 280 เหมือนเป็นระบบที่ใช้ 286
    • บรรยายเหมือนเป็นระบบบนฐาน ISA ไม่ใช่ Microchannel
  • แม้ค้นคำถามเดิมอีกครั้ง ถ้อยคำของคำตอบจะเปลี่ยนไปเท่านั้น แต่ยังคงอธิบาย Model 280 ว่าเป็นระบบ 286 บนฐาน ISA

สเปกปลอมที่เปลี่ยนไปทุกครั้งที่ถามซ้ำ

  • AI Overview ให้สเปกที่แตกต่างกันทุกครั้งที่ถามซ้ำ
    • คำตอบหนึ่งบอกว่า Model 280 มี RAM 1MB และขยายได้ถึง 6MB
    • อีกคำตอบบอกว่า RAM พื้นฐานคือ 640KB
    • อธิบายซ้ำ ๆ เหมือนมีไดรฟ์ 1.44MB และกราฟิก VGA
  • ในความพยายามอีกครั้ง AI แนะนำ Model 280 ว่าเป็นระบบ 286 ที่ขยายได้ถึง RAM 128MB
    • 286 มีข้อจำกัดเชิงสถาปัตยกรรมที่ 16MB ดังนั้นคำอธิบายนี้จึงไม่ถูกต้องในเชิงเทคนิค
  • AI Overview ยังบอกด้วยว่า Model 280 เป็นความก้าวหน้าสำคัญในไลน์คอมพิวเตอร์ส่วนบุคคลของ IBM และทำให้ PS/2 กลายเป็นแพลตฟอร์มที่ได้รับความนิยมและเชื่อถือได้

ข้อผิดพลาดหลัก: Model 280 ไม่เคยมีอยู่

  • ปัญหาใหญ่ที่สุดคือไม่มีรุ่นที่ชื่อ PS/2 Model 280 อยู่จริง
  • แม้ป้อนหมายเลขรุ่นที่ผิด Google AI ก็สร้างคำอธิบายที่ดูน่าเชื่อถือในตอนแรกขึ้นมา
  • คำตอบลักษณะนี้มีรายละเอียดมากและประโยคเป็นธรรมชาติ ทำให้เนื้อหาที่ไม่เป็นความจริงดูเหมือนข้อมูลที่เชื่อถือได้ง่าย

คำตอบที่ถูกต้องโผล่มาเพียงบางครั้ง

  • หากถามคำถามเดิมซ้ำมากพอ ก็มีคำตอบที่ถูกต้องออกมาบ้าง
    • “Model 280 ไม่ใช่รุ่นเฉพาะในซีรีส์ PS/2”
    • เป็นคำตอบในทำนองว่าตัวคำถามเองมีข้อผิดพลาด
  • แต่ในการถามซ้ำ คำตอบที่ถูกต้องมีเพียง ประมาณ 10% เท่านั้น และในการลองส่วนใหญ่ AI จะสร้างเนื้อหาขึ้นมาเอง
  • คำตอบหลอนไม่เพียงไม่มีประโยชน์ แต่คำตอบผิดยังอาจดู “จริง” ยิ่งกว่าคำตอบที่ถูกต้อง

ช่วงเวลาที่ AI search overview กลายเป็นความเสี่ยง

  • หากเป็นผู้เชี่ยวชาญ อาจสังเกตความไม่สอดคล้องในคำตอบได้ค่อนข้างเร็ว
    • เช่น ตรวจสอบ List of IBM PS/2 Models บน Wikipedia ก็จะยืนยันได้ว่าไม่มี Model 280
  • ผู้ที่ไม่เชี่ยวชาญมีโอกาสได้รับความช่วยเหลือจาก AI search overview มาก แต่ในขณะเดียวกันก็มี ความเสี่ยงที่จะถูกคำตอบผิดหลอก สูงเช่นกัน
  • ผู้ช่วยวิจัยที่ให้คำตอบต่างกันทุกครั้งและถูกต้องเพียงบางครั้งย่อมเชื่อถือได้ยาก
  • ข้อความ “AI responses may include mistakes” ของ Google ไม่ใช่แค่คำเตือนธรรมดา และสรุปที่สร้างโดย AI อาจเป็น ข้อมูลเท็จโดยสมบูรณ์ ที่ไม่เกี่ยวข้องกับความเป็นจริง

2 ความคิดเห็น

 
ndrgrd 2025-06-03

ดูเหมือนว่าควรให้ LLM ทำแค่การสรุปจะดีกว่า กระบวนการค้นหาแหล่งที่มาของข้อมูลและการตรวจสอบยืนยันเป็นสิ่งที่จำเป็นอย่างยิ่ง

 
GN⁺ 2025-06-02
ความคิดเห็นบน Hacker News
  • Gemini ใน Google Search ไม่สนใจบริบทหรือความถูกต้อง แต่แต่งเนื้อหาขึ้นมาเองตามใจให้ดูเหมือนสนับสนุนคำค้นหา แทบจะเป็นการ แต่งความจำเทียม (confabulation) เต็มรูปแบบ และถ้าลองเองจะรู้สึกน่าตกใจมาก
    ถ้ารู้อยู่แล้วว่าผลลัพธ์ที่หาเป็นอะไร ก็พอใช้เป็นตัวช่วยจำได้ แต่ถ้าไม่รู้อะไรมาก่อนก็เชื่อได้ยากมาก
    ผลลัพธ์ของ Google Veo ก็ถ้าดูละเอียดจะเห็นช่องโหว่เต็มไปหมดคล้ายกัน และดูเหมือนไม่มีร่องรอยว่า การให้เหตุผล เข้าไปเกี่ยวข้องกับผลลัพธ์เลย
    ข้อผิดพลาดชวนขำของ Veo: https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
    ตัวอย่างที่ Tesla FSD ทำงานแปลก ๆ: https://electrek.co/2025/05/23/tesla-full-self-driving-veers...

    • เรื่องนี้เข้าใจยากกว่าเทคโนโลยีไหน ๆ Google กำลังเดิมพันและเปลี่ยนทิศทางธุรกิจหลักของตัวเองไปอยู่กับ เทคโนโลยีที่มีข้อบกพร่องร้ายแรง
      อย่างที่ Ben Evans พูดไว้ คำสัญญาว่า “มันจะดีขึ้น” มีขีดจำกัด และสุดท้ายก็เป็นคำสัญญาที่ว่างเปล่า
      เมื่อวาน AI Overview สร้าง อัลบั้มที่ไม่มีอยู่จริง ของนักดนตรีชาวอิตาลีที่เสียชีวิตไปแล้วขึ้นมาทั้งชุด ตอนที่ค้นหางานรำลึกที่จัดในสถานที่แสดงคอนเสิร์ตในเบอร์ลิน
      พูดง่าย ๆ คือมันเอาชื่อสถานที่แสดงมา แล้วอ้างว่าเป็นผลงานสำคัญที่สุดของศิลปินคนนั้น
      ที่ตลกคือพอเอาคำตอบนั้นไปวางใน ChatGPT มันกลับวิจารณ์ความผิดพลาดของ AI Overview อย่างเผ็ดร้อนและประชดประชันจนอดขำไม่ได้
    • อยู่ ๆ คุณภาพแบบนี้กลายเป็นเรื่อง ปกติ และยอมรับได้แล้วหรือ? ดูเหมือนไม่มีใครบ่นจริงจังเลย
      ถ้าเป็นเมื่อก่อนคงไม่มีทางผ่านได้ แต่เดี๋ยวนี้บรรยากาศเหมือนประมาณว่า “พอใช้ได้”
      ไม่เข้าใจว่าทำไมต้องยอมรับผลลัพธ์ที่เป็นเท็จหรือไม่ถูกต้อง
    • ใช้ uBlock เพื่อลบคำตอบของ Gemini ออกจากผลค้นหา เพราะแค่เห็นผ่าน ๆ ก็อาจปนเปื้อนสมมติฐานของตัวเองเกี่ยวกับสิ่งที่กำลังหาอยู่ได้
      สุขอนามัยด้านข้อมูลสำคัญมาตั้งแต่เดิมแล้ว แต่ต่อไปน่าจะกลายเป็นทักษะที่จำเป็นจริง ๆ
    • มีเรื่องเกี่ยวกับรถที่อยากรู้ เลยค้นใน Google ด้วย [ปีรุ่น] [ผู้ผลิต] [รุ่น] [ฟีเจอร์] ซึ่งถ้าเป็น Google สมัยก่อนน่าจะจัดการได้อย่างสมบูรณ์แบบ แต่ตอนนี้ 90% ของหน้าผลลัพธ์เต็มไปด้วยเศษซาก AI เกี่ยวกับ รุ่นรถผิด ปีรุ่นผิด และถึงขั้นผู้ผลิตผิด
      อย่างน้อยก็ยังมี YouTube หนึ่งคลิปที่พอช่วยได้บ้าง แต่ต้องเลื่อนไปถึงล่างสุดของหน้า ถึงจะเจอคำตอบแบบ Google ยุคเก่าในฟอรัมรถคนละคันเลย ขอบคุณ CamaroZ28.com
    • ไม่นานมานี้ลองหาคำใบ้ห้องคาสิโนในเกม Blue Prince แต่ผลลัพธ์ AI ของ Google กลับร่ายยาวอธิบายเกมที่เล่นได้ใน Blue Prince Casino ที่อยู่ใกล้ ๆ
      ทั้งที่รู้ว่าบริเวณใกล้ ๆ นั้นจริง ๆ มีแค่เรือนจำ, Costco, บ้านชนบทไม่กี่หลัง และพื้นที่ว่างเปล่าเท่านั้น
      น่าทึ่งที่มันเอาขยะเท็จและถูกปั้นแต่งขึ้นมาล้วน ๆ ไปยัดไว้บนสุดของหน้าค้นหา
      หัวข้ออย่างกฎหมายแรงงานหรือการค้นหาอื่น ๆ ก็มักคืนข้อมูลแย่ ๆ บ่อย
      เรื่องนี้คงตลกดี ถ้าผู้คนไม่ได้พึ่งพามันจริง ๆ
  • ปรากฏการณ์นี้น่าหงุดหงิดมาก ผมเข้าใจ หรืออย่างน้อยก็รู้ถึง ลักษณะเชิงความน่าจะเป็น และข้อจำกัดของ LLM แต่เวลาชี้ให้ภรรยาหรือเพื่อน ๆ เห็นว่าพวกเขาใช้ LLM ผิดงาน ในงานที่ไม่เหมาะและเชื่อถือไม่ได้ พวกเขาก็แค่ปัดมือแล้วมองว่าผมเป็นพวกมอง AI ในแง่ร้าย
    พวกเขายังให้ LLM คำนวณอยู่ เช่น ให้ช่วยหารบิล และยังถือว่าผลลัพธ์การค้นข้อมูลเชิงข้อเท็จจริงเชื่อถือได้ 100% และถูกต้องเสมอ

    • อ๋อ ใช่เลย คือการใช้ โซลูชันไฮเทค กับปัญหาโลว์เทค เอาเครื่องจักรคำพูดมาแก้โจทย์ตัวเลขกันเถอะ!
    • ในการใช้งานประจำวัน มันให้ผลลัพธ์ที่ “พอถูกได้” บ่อยพอ จนเรื่องยุ่งยากคือผู้คนเริ่มสร้าง นิสัย รอบ ๆ สิ่งนั้น
    • ใช้กับการคำนวณง่าย ๆ นี่ค่อนข้างตลก ไม่รู้ว่าพวกเขาสั่งให้มันใช้ Python หรือเปล่า… ได้แต่หวังว่าจะเป็นแบบนั้น
    • การใช้ LLM หรือแพลตฟอร์มโดยรวม ๆ ค่อนข้างคล้ายกับการสูบบุหรี่ในพื้นที่ปิดที่มีคนอื่นอยู่ด้วย คือกลายเป็น การรบกวนคนอื่น
    • ผมไม่ได้ทำแบบนั้นนะ แต่จริง ๆ แล้วแค่หารบิลก็น่าจะพอใช้ได้โดยทั่วไปหรือเปล่า ผมคิดว่าแชตบอตหลัก ๆ ตอนนี้น่าจะทำเรื่องระดับนั้นได้ถูกต้องแล้ว
      ประเด็นสำคัญคือในเมื่อแชตบอตทำงานได้กว้างมาก จะมีเหตุผลอะไรที่ต้อง สลับบริบท ไปใช้อีกแอปหนึ่งต่างหากเพราะงานแบบนี้
      กรณีแบบนี้น่าจะเกิดบ่อยขึ้นใน use case อื่น ๆ ด้วย และสุดท้ายความใช้งานง่ายก็ชนะทุกอย่าง
  • ข้อความปฏิเสธความรับผิดชอบง่าย ๆ อย่าง “คำตอบจาก AI อาจมีข้อผิดพลาด” หรือข้อความท้ายหน้า ChatGPT ที่ว่า “ChatGPT อาจทำผิดพลาดได้ โปรดตรวจสอบข้อมูลสำคัญ” ตอนนี้ชัดเจนแล้วว่าไม่เพียงพอ
    ความจริงคือมีข่าวความเสียหายจาก การหลอน ของ LLM ในบางสาขาออกมาต่อเนื่องมาหลายปีแล้ว แต่ผู้คนก็ยังตกเป็นเหยื่ออยู่ ดังนั้นตราบใดที่ผู้ให้บริการยังแก้การหลอนได้ไม่หมด ก็ต้องให้ความรู้ผู้ใช้เรื่องความเป็นไปได้ของข้อผิดพลาดอย่างเชิงรุกมากกว่านี้มาก
    แม้จะเพิ่มแรงเสียดทานในการใช้งานก็จำเป็น

    • นั่นฟังไม่ค่อยสมเหตุสมผล มีสองทางคือให้ผู้ให้บริการ LLM ต้องรับ ความรับผิดทางกฎหมาย ต่อผลลัพธ์ของโมเดล หรือไม่ก็รักษาโมเดลแบบปัจจุบันไว้
      แรงเสียดทานมีอยู่แล้ว บริษัท AI และผู้ให้บริการคลาวด์ต่างก็ใช้งาน “โมเดลที่ถูกเซ็นเซอร์” และในแต่ละชั้นก็มีการเพิ่มการเซ็นเซอร์มากขึ้นเรื่อย ๆ
      แล้วแรงเสียดทานที่มากกว่านี้คืออะไร? แสดงป็อปอัปเพิ่มหรือ?
      ถ้าเลือกทางแรก ก็เท่ากับฆ่าธุรกิจโฮสต์โมเดลไปโดยปริยาย
      บริษัทต่าง ๆ อาจพัฒนาโมเดลเพื่อใช้ภายในและให้พนักงานใช้ได้ แต่ public API จะหายไป
      บริษัทต่าง ๆ จะใช้หรือให้ไลเซนส์โมเดลกันเองผ่านสัญญาที่มีผลผูกพันทางกฎหมาย แต่ประชาชนทั่วไปจะเข้าถึงไม่ได้หากไม่มีมาตรการลดความเสี่ยงทางกฎหมาย
      อีกไม่กี่ปีหลังจากท่าทีผ่อนคลายลง บริษัทบางแห่งอาจเริ่มผลักขอบเขตได้บ้าง เช่น ทำให้กระบวนการอนุมัติจากฝ่ายกฎหมายเป็นอัตโนมัติ หรือเปิดให้สมัครใช้งาน
    • จำได้ว่าเมื่อก่อน Apple Maps โดนด่าอย่างหนักทุกครั้งที่นำทางผิด
      ตอนที่ Google Maps พาไปผิดที่ เช่น ย่านแปลก ๆ ก็กลายเป็นข่าว และต้องรับมือวิกฤต PR
      แต่ตอนนี้แค่ติดข้อความปฏิเสธความรับผิดชอบแบบนั้นหนึ่งบรรทัดก็จบ
      ความใจกว้างของสาธารณชน ที่เทคโนโลยีเหล่านี้ได้รับนั้นไม่สมดุลและน่าท้อใจ
    • การที่บอกว่าต้องให้ความรู้ผู้ใช้เรื่องความเป็นไปได้ของข้อผิดพลาดอย่างเชิงรุกมากขึ้น อาจเป็นสถานการณ์แบบ “เจอกับตัวคือครูที่ดีที่สุด” ก็ได้
      คงค่อนข้างยากที่จะทำข้อความปฏิเสธความรับผิดชอบให้ได้ผลเท่ากับการโดนกัดสักครั้ง
    • ผู้ให้บริการ LLM ทำแบบนั้นไม่ได้ เพราะสมมติฐานของกระแสนี้คือ การทดแทนแรงงานทางปัญญาของมนุษย์ เอง
      อย่างที่ CEO ของ Anthropic เพิ่งพูดถึงการว่างงานจำนวนมาก พวกเขาพูดทำนองนั้นมาหลายครั้งแล้ว
      ไม่เห็นว่าจะทำให้การเน้นย้ำความเป็นไปได้ของข้อผิดพลาดอยู่ร่วมกับคำมั่นเรื่องการทดแทนแรงงานมนุษย์ได้อย่างไร
    • ข้อความปฏิเสธความรับผิดชอบควรอยู่ด้านบนสุดเป็น ตัวหนาสีแดง
  • โมเดลภาษาไม่ได้ถูกออกแบบมาให้รู้อะไรบางอย่าง แต่ถูกออกแบบมาให้พูดอะไรบางอย่าง นั่นจึงเป็นเหตุผลที่เรียกว่าโมเดลภาษา ไม่ใช่ โมเดลความรู้
    เมื่อมีคำที่สร้างขึ้นมาก่อนหน้าแล้ว มันก็เพิ่มคำถัดไปต่อไปตามความถี่ที่ลำดับนั้นพบได้บ่อยเพียงใด
    เหตุผลที่คำตอบเปลี่ยนไปทุกครั้งคือมีตัวสร้างเลขกึ่งสุ่มเข้ามามีอิทธิพลตอนเลือกคำถัดไป
    โมเดลดูการกระจายความน่าจะเป็นของคำถัดไปที่เป็นไปได้มากที่สุด และถ้าค่าตั้งต้นที่เรียกว่า temperature เป็น 0 ก็จะไม่มีอิทธิพลแบบสุ่ม จึงเลือกคำถัดไปที่เป็นไปได้มากที่สุดเสมอ หรือก็คือ top-1 MLE
    ใน GUI จริง ๆ แล้วตั้งเป็น 0 ไม่ได้ เพราะถ้าทำเช่นนั้นจะได้ผลลัพธ์ที่เราจัดว่า “น่าเบื่อมาก”
    ดังนั้นโมเดลจึงไม่ได้รู้อะไรเกี่ยวกับ IBM, PS/2, 80286 และ 80486, CPU, 280 หรือโมเดลเฉพาะนั้นเอง
    คำตอบหนึ่งดูเหมือนจะบอกเป็นนัยว่าไม่มีรุ่น 280 เลยสงสัยว่ามันถูกสร้างด้วยกระบวนการอื่นหรือไม่ เป็นผลจากวิธีนำฟีดแบ็กผู้ใช้ไปปรับด้วย reinforcement learning หรือไม่ หรือเป็นแค่ผลลัพธ์ที่โชคดีจากการเลือกคำถัดไปแบบสุ่มเดียวกัน

    • ไม่จำเป็นต้องเป็นอย่างนั้นเสมอไป ผมใช้โมเดลโลคัลโดยตั้ง temperature 0 และก็ทำงานได้ดี
      เหตุผลที่ UI บนคลาวด์ไม่อนุญาตให้ตั้ง temperature 0 น่าจะเป็นเพราะบางครั้งโมเดลจะติดลูปทำซ้ำโทเค็นไม่รู้จบ และถ้าคนทั่วไปเห็นแบบนั้นอาจทำให้ความรู้สึกสมจริงพังลง
    • คำพูดนี้ถูกต้อง แต่เหตุผลที่ไป Google ไม่ใช่เพื่อ “สนทนา” แต่ภายนอกคือเพื่อเรียนรู้อะไรบางอย่างที่ อิงกับความรู้
      Google ดูเหมือนกำลังทำผิดพลาดด้วยการเปลี่ยนการให้ความรู้เป็นการให้คำ
      อย่างไรก็ตาม จากมุมมองของธุรกิจจริงอย่างรายได้โฆษณา อาจไม่มีความแตกต่างก็ได้
  • ในเว็บไซต์ Google Search ข้อความปฏิเสธความรับผิดชอบแบบอ่อน ๆ ที่ว่า “คำตอบจาก AI อาจมีข้อผิดพลาด” แสดงเป็นตัวอักษรเล็ก ๆ และยังถูกซ่อนไว้หลังปุ่ม Show more อีกด้วย
    ตอน OpenAI เปิดตัว ChatGPT ผมต้องอธิบายให้อาจารย์ที่ไม่ได้จบวิทยาการคอมพิวเตอร์ฟังว่านี่ไม่ใช่ AI แบบที่ผู้คนคิดกัน แต่ในตอนนี้ใกล้เคียงกับ ความซุกซนเชิงคำนวณ ที่ดูเหมือน AI มากกว่า
    แต่กลับพบว่าความซุกซนนี้ยอดเยี่ยมมากสำหรับการโกงการบ้าน
    ถ้าไม่ได้ใส่ใจเรื่องคุณภาพหรือลิขสิทธิ์มากนัก ก็เหมาะจะใช้เป็นกลเม็ดหลอก ๆ ในงานอีกหลายประเภทด้วย

    • ผมไม่ค่อยเข้าใจมุมมองที่ว่า “ความซุกซนที่ดูเหมือน AI” ต่อให้บอกว่าไม่ใช่ “สิ่งที่เขียนโค้ดได้” แต่เป็น “สิ่งที่ดูเหมือนเขียนโค้ดได้” หากมันเขียนโค้ดได้จริง สุดท้ายมันก็คือ สิ่งที่เขียนโค้ดได้
      การถกเถียงกันว่าสิ่งที่มันทำภายในนั้น “ไม่ใช่ Scotsman ที่แท้จริง” อะไรทำนองนั้นไม่มีความหมาย
      เพราะเราเองก็ไม่รู้ว่าสมองมนุษย์ทำอะไรอยู่ภายในเช่นกัน
    • เป็น เครื่องมือเสริมความจำ/ค้นคืนข้อมูล ที่มีอินเทอร์เฟซอินพุตและเอาต์พุตยืดหยุ่น
  • Gemini ดูเหมือนจะถูกปรับให้ตอบคำถามแบบที่คนทั่วไปมักพิมพ์เข้าไป แต่ถ้าใส่คำค้นหาแบบดั้งเดิมมากขึ้น ก็จะได้คำเพ้อเจ้อที่แต่งขึ้นมา
    ผมเห็นคนจำนวนมากเชื่อ AI Overview ราวกับเป็นคำพยากรณ์
    ผมมองว่านี่คือวิธีที่คน “ทั่วไป” ที่ไม่ได้ใช้ LLM โดยตรงมีปฏิสัมพันธ์กับ AI
    มันไม่ได้แบ่งตามช่วงอายุเหมือนความเชื่อถือข่าว แต่ความเชื่อถือผลลัพธ์จาก AI ดูเหมือนจะตัดผ่านประชากรแทบทุกกลุ่ม
    ดูเหมือนเผ่าพันธุ์มนุษย์จะชอบคำตอบจากคอมพิวเตอร์ที่มั่นใจโดยไม่มีหลักฐาน

    • Google อยู่ในสถานการณ์ที่แย่เป็นพิเศษในเรื่องนี้
      ตำแหน่งนั้นบนหน้าค้นหามี UI “ข้อความที่คัดมาจากหน้าเว็บ” มานานกว่า 10 ปี และมันก็สมเหตุสมผล
      มันช่วยลดการคลิกไปหนึ่งครั้ง และถ้าคุณเชื่อถือเว็บต้นทาง รวมถึงเชื่อเทคโนโลยีการดึงข้อความของ Google อยู่บ้าง ก็แทบไม่มีอะไรให้น่าสงสัย
      เช่น เมื่อค้นหาคำถามทางการแพทย์ง่าย ๆ แล้วมีข้อความคัดจาก Mayo Clinic โผล่ขึ้นมา แค่เชื่อถือ Mayo Clinic ก็เพียงพอแล้ว
      บางครั้งผมยังคัดลอกข้อความที่ Google ดึงมา แล้วเข้าไปในหน้าเว็บเพื่อใช้ ctrl-f หาอีกที
      Google เลือกแหล่งที่มีชื่อเสียงได้ค่อนข้างดี และข้อความที่คัดมาก็มักพบอยู่ในหน้าเว็บจริงในแบบที่ไม่บิดเบือนบริบท จึงเพียงพอที่จะสร้างความเชื่อถือ
      เมื่อเวลาผ่านไป ระบบนั้นเลือกแหล่งที่เชื่อถือได้แย่ลง และน่าจะเพราะถูก SEO เล่นงาน
      แต่ตอนนี้ตำแหน่งนั้นถูก AI Overview เข้ามาแทนที่แล้ว
      ผมไม่ได้ต่อต้าน AI โดยตัวมันเอง แต่ AI นั้นแตกต่างโดยพื้นฐานจาก “การแสดงข้อความที่เกี่ยวข้อง ตรวจสอบได้ และนำมาจากแหล่งที่เราเชื่อถือ ภายในไม่กี่มิลลิวินาที”
    • ผู้จัดการของผมเป็นคนที่ใช้ LLM โดยตรง และใช้มันเพื่อให้โมเดลล่าสุด ยืนยัน สมมติฐานของตัวเอง
      ถ้าครั้งแรกไม่ได้รับการยืนยัน ก็จะปรับคำถามใหม่ไปเรื่อย ๆ จนได้คำตอบที่ต้องการ
    • เราชอบคำตอบที่มั่นใจโดยไม่มีหลักฐานอยู่แล้ว ไม่ว่าจะมาจากคอมพิวเตอร์หรือไม่ก็ตาม
    • ผมตระหนักมาสักพักแล้วว่า ตอนนี้เราไม่อาจบอกอะไรบางอย่างกับผู้คน แล้วคาดหวังว่าพวกเขาจะไปค้นเว็บเรียนรู้ต่อได้เหมือนเมื่อก่อน
      เพราะทุกอย่างกลายเป็น เศษขยะสแปม SEO ที่ไม่น่าเชื่อถือและทำให้เข้าใจผิด
      แค่คิดว่า AI Overview จะทำให้เรื่องนี้เลวร้ายลงแค่ไหนก็ขนลุกแล้ว
      เรากำลังก้าวเข้าสู่ยุคที่ค้นว่า “เครื่องพิมพ์ทำงานอย่างไร” แล้วระบบบอกว่ามันสร้างขึ้นจากระบบรอกกับเชือก และผู้คนก็เชื่อแบบไม่ลืมหูลืมตาหรือเปล่า
      ขนาดของข้อผิดพลาดที่ผมเห็นจากการค้นหาหลายสิบครั้งในสาขาที่ผมสนใจก็ประมาณนั้น และทุกคนก็คงเคยเห็นสกรีนช็อตคำตอบที่เหลวไหลกว่านั้นมาก หรือเป็นอันตรายอย่างโจ่งแจ้งมาแล้ว
  • “คำตอบจาก AI อาจมีข้อผิดพลาด” คือ ประโยคสำคัญที่สุด ที่ผมอยากตะโกนใส่การถกเถียงเรื่อง AI ทั้งหมด
    นอกจากผลกระทบด้านพลังงานและสภาพภูมิอากาศแล้ว ประเด็นแกนกลางของการถกเถียงเรื่องจริยธรรม AI หรือความปลอดภัยของ AI ก็ควรเป็นเรื่องนี้ด้วย
    ถ้ากระแสความร้อนแรงนี้ยังดำเนินต่อไปโดยไม่มีการควบคุม สองเรื่องนี้แหละที่จะสร้างความเสียหายใหญ่ที่สุดให้เรา

    • ปัญหาไม่ใช่ว่าข้อผิดพลาด “อาจมี” แต่คือมัน ต้องผิดพลาดแน่นอน
      แต่ผู้คนไม่ตระหนักถึงเรื่องนี้ และปฏิบัติต่อมันเหมือนคำพยากรณ์ที่ทรงอำนาจทุกอย่าง
      สุดท้ายแล้วมันคือโมเดลสถิติ ดังนั้นความน่าจะเป็นที่ลิงจะสร้างผลงานของ Shakespeare ออกมาได้ก็ไม่ใช่ศูนย์
  • ดังนั้น Google จับทิศทางการค้นหาผิดโดยพื้นฐานแล้ว ดูเหมือนจะไม่สนใจ ความถูกต้อง ของผลลัพธ์อีกต่อไป และสนใจเป็นหลักแค่การให้คำตอบเร็ว ๆ พร้อมชุดลิงก์สปอนเซอร์ด้านล่าง

    • ปัญหาคือใน “คำตอบเร็ว ๆ” 10 ข้อ มี 6 ข้อที่ผิดแบบแนบเนียน, 2 ข้อผิดร้ายแรง และ 1 ข้ออันตรายอย่างชัดเจน
      ผมเคยเห็นสกรีนช็อตเนื้อหาที่อาจทำให้คนตายหรือทำให้ตกอยู่ในปัญหาทางกฎหมายได้ด้วย
    • นี่คือการสานต่อแนวคิดของ Eric Schmidt ที่ว่า “มีผลลัพธ์จำนวนมากดีกว่าไม่มีผลลัพธ์”
      ตอนนี้ดูเหมือนมันจะพัฒนากลายเป็น “สร้าง ภาพหลอน ดีกว่าให้คำตอบปฏิเสธ” ไปแล้ว
  • AI เหมือนคนคนหนึ่งที่สามารถพูดอะไรบางอย่างได้ในทุกหัวข้อด้วยความมั่นใจมหาศาล ดังนั้นผมจึงไม่ค่อยเข้าใจว่าทำไมต้องเชื่อมันมากกว่าบทสนทนาในบาร์

    • ผมคิดว่าเป็นปัญหาทางจิตวิทยา คนส่วนใหญ่ใช้สัญญาณท่าทางทางสายตาเมื่อตัดสินว่าอีกฝ่ายไม่มั่นใจในคำตอบหรือไม่
      AI ไม่มีสัญญาณที่แสดงความไม่มั่นใจ และจากประสบการณ์ที่อัลกอริทึมแบบดั้งเดิมมักให้คำตอบที่ถูกต้อง ผู้คนจึงเชื่อถือ ผลลัพธ์จากเครื่อง สูง
      สัดส่วนของคนที่มองอย่างมีวิจารณญาณคงมีน้อยมาก
    • ยังไม่มีบริษัท “AI” ไหนกล้าตั้งชื่อผลิตภัณฑ์ของตัวเองว่า Cliff Clavin
      ในหลายความหมายก็ต้องใช้ความกล้าจริง ๆ เพราะยังมีความเสี่ยงที่จะถูก John Ratzenberger ฟ้องด้วย
    • ไม่รู้จริง ๆ หรือว่าทำไมคนถึงเชื่อ? อาจเป็นเพราะบริษัทที่มีพันธกิจอย่าง “จัดระเบียบข้อมูลของโลก” กำลังโปรโมตสิ่งนี้ว่าเป็น AI และเพราะมันมาจากบริษัทที่ใช้เวลาหลายสิบปีพยายามให้ข้อมูลที่ถูกต้องแก่คำถามของผู้ใช้
  • ไม่กี่วันก่อนผมมีประสบการณ์กับ ChatGPT และโค้ด Python
    ผมอยากแก้ไขคลาส logger ของ Gunicorn เพื่อกรอง URL path บางรายการออก
    เพราะมันเป็น hot code path ที่รันในทุก request ผมจึงบอกว่าทำวิธีแก้ไว้ 3 แบบ และอยากดูว่าแบบไหนเร็วที่สุด
    ผมเปรียบเทียบลิสต์+ลูปที่ใช้ startswith, regex ที่คอมไพล์ไว้ และ startswith ที่ส่งทูเพิลของ path เข้าไป
    ChatGPT สร้างโค้ด benchmark กับผลลัพธ์ให้ และบอกว่า วิธี regex ดีที่สุดและเร็วที่สุดใน Python standard library
    ผมไม่ค่อยเชื่อ เลยรัน benchmark เอง ปรากฏว่า เวอร์ชันทูเพิล เร็วกว่า regex มากกว่า 5 เท่า
    พอบอกว่าผลลัพธ์ต่างกัน มันก็ตอบประมาณว่า “อ้อใช่ ขอบคุณที่แก้ให้ เวอร์ชันทูเพิลเร็วที่สุดจริง ๆ!” แทบจะทันที
    มันช่วยประหยัดเวลาเขียนโค้ด benchmark ไปไม่กี่นาที แต่สำหรับเรื่องที่ผมไม่มั่นใจ 100% ผมแทบไม่เชื่อผลลัพธ์ของมันเลย