ข้อคิดว่าด้วยหุบเขาแห่งความไม่สบายใจของ Generative AI

• Generative AI มีพลังในการสร้างความประหลาดใจได้ แตกต่างจากเทคโนโลยีอื่น
  • บางครั้งเป็นเรื่องดี แต่บางครั้งก็อาจไม่ใช่
  • ใจกลางของประสบการณ์การใช้เทคโนโลยีลักษณะนี้คือคำถามด้านความคาดหวัง
    • "นี่คือสิ่งที่ฉันคาดหวังจริงหรือ? ผลลัพธ์ดีพอหรือยัง? หรือมันกำลังหลอกฉันอยู่?"
• ในทางทฤษฎี เมื่อ Generative AI พัฒนาขึ้น ปัญหานี้ควรมีความสำคัญน้อยลง แต่ในความเป็นจริง ยิ่งมันดู 'เหมือนมนุษย์' มากขึ้น ก็อาจยิ่งชวนให้รู้สึกไม่ดีและไม่สบายใจมากขึ้น
  • นี่ทำให้ตกอยู่ในสภาวะที่ในวงการหุ่นยนต์เรียกกันมานานว่า "uncanny valley"
• อาจอยากมองข้ามมันไปด้วยความคิดที่ว่าแก้ได้ด้วยชุดข้อมูลที่ใหญ่ขึ้นหรือการฝึกที่ดีขึ้น แต่ตราบใดที่เรากำลังพูดถึงความสับสนของ mental model ที่เรามีต่อเทคโนโลยี นี่คือ "ปัญหาที่ต้องยอมรับและแก้ไข"

Mental model และ anti-pattern

• Mental model เป็นแนวคิดสำคัญใน UX และการออกแบบผลิตภัณฑ์ แต่ก็ควรถูกนำมาใช้อย่างจริงจังมากขึ้นในชุมชน AI ด้วย
  • ในชีวิตประจำวัน สิ่งนี้มักไม่ค่อยปรากฏชัด: เพราะการตั้งสมมติฐานเกี่ยวกับระบบ AI กลายเป็นรูปแบบที่พบได้ทั่วไปอยู่แล้ว
• เมื่อ AI coding assistant ได้รับความนิยมมากขึ้น มีการชี้ให้เห็นถึง 2 แนวปฏิบัติที่ควรหลีกเลี่ยง คือ "ความชะล่าใจต่อโค้ดที่ AI สร้าง" และ "การใช้ Generative AI มาแทน pair programming"
  • ทั้งสองอย่างมีรากมาจาก mental model ที่ผิดพลาด ทั้งในเรื่อง "มันทำงานจริงอย่างไร" และ "การไม่ยอมรับข้อจำกัดของมัน"
  • ยิ่งเครื่องมือเหล่านี้ฟังดูน่าเชื่อถือและ 'เหมือนมนุษย์' มากขึ้น ก็ยิ่งยากที่จะยอมรับทั้งกลไกการทำงานจริงของเทคโนโลยีและข้อจำกัดของ 'คำตอบ' ที่มันให้มา
• สำหรับผู้ที่นำ Generative AI ไปใช้งานในโลกจริง ความเสี่ยงก็คล้ายกันหรืออาจเด่นชัดยิ่งกว่า
  • โดยทั่วไป เจตนาคือการสร้างสิ่งที่น่าเชื่อถือและใช้งานได้ แต่ถ้ามันทำให้ผู้ใช้เข้าใจผิด หลอกลวง หรือรู้สึกไม่สบายใจ คุณค่าของมันก็หายไป
  • จึงไม่น่าแปลกใจที่มีกฎหมายอย่าง EU AI Act ออกมาให้ผู้สร้าง deepfake ต้องติดป้ายว่าเป็นคอนเทนต์ที่สร้างโดย AI
• ปัญหาลักษณะคล้ายกันนี้ไม่ได้มีแค่ใน AI และหุ่นยนต์ แต่ยังพบได้ในการสร้าง mobile app แบบ cross-platform ด้วย
  • แต่ละแพลตฟอร์มมีวิธีใช้งานต่างกัน จึงต้องปรับการออกแบบประสบการณ์โดยรวม
  • เช่นเดียวกัน ใน Generative AI บริบทและ use case ที่ต่างกันก็มาพร้อมสมมติฐานและ mental model ที่ต่างกัน และจุดที่ผู้ใช้จะตกลงไปใน uncanny valley ก็แตกต่างกันด้วย
  • ความต่างที่ละเอียดอ่อนเหล่านี้เปลี่ยนประสบการณ์หรือการรับรู้ที่มีต่อผลลัพธ์ของ LLM
• สำหรับนักวิจัยด้านยาที่ต้องการข้อมูลสังเคราะห์ปริมาณมหาศาล ความแม่นยำระดับจุลภาคอาจไม่ใช่เรื่องสำคัญ แต่สำหรับทนายที่ต้องทำความเข้าใจเอกสารกฎหมาย ความแม่นยำคือสิ่งสำคัญมาก
  • การตกลงไปใน uncanny valley อาจเป็นสัญญาณให้ถอยออกมาหนึ่งก้าวและประเมินความคาดหวังใหม่

"Mental model และแนวคิดเดิมที่เรามีต่อ Generative AI ไม่ใช่ปัญหารองที่มองข้ามได้ แต่เป็นปัญหาด้านการออกแบบในระดับรากฐาน"
Ken Mugrage & Srinivasan Raguraman

การเปลี่ยนมุมมอง

• uncanny valley ของ Generative AI อาจเป็นปัญหา แต่ก็เป็นเครื่องมือที่ช่วยเตือนให้เรานึกถึงข้อจำกัดของเทคโนโลยีได้เช่นกัน
• มีความพยายามที่น่าสนใจในหลายภาคส่วนของอุตสาหกรรมเพื่อรับมือกับเรื่องนี้
  • Ethan Mollick ศาสตราจารย์จากมหาวิทยาลัยเพนซิลเวเนียเสนอว่า เราควรเข้าใจ AI ว่าเป็น "คนที่เก่งพอตัว" มากกว่าจะเป็นซอฟต์แวร์ที่ดี
    • เพราะ AI มีทั้งจุดแข็งและจุดอ่อนที่แปลกเฉพาะตัวแบบมนุษย์ จึงยากที่จะรู้ล่วงหน้าว่าควรมอบงานแบบใดให้มันทำ
    • และเพราะไม่มีคู่มือ วิธีเดียวที่จะรู้ว่า AI เก่งเรื่องอะไรคือเรียนรู้ผ่านการทำงานร่วมกับมัน
  • กล่าวคือ ความคาดหวังต่อสิ่งที่ Generative AI ทำได้และกรณีที่มันใช้ได้ผลควรเป็นสิ่งชั่วคราวและยืดหยุ่นได้
  • การทบทวนสมมติฐานและความคาดหวังของเราเองในระดับหนึ่ง อาจเป็นหนึ่งในวิธีที่จะก้าวข้าม uncanny valley ได้

แกะกล่องดำ

• การเรียกร้องให้เปลี่ยนวิธีคิดอย่างเดียวไม่เพียงพอ
  • มันเป็นก้าวแรก แต่เรายังต้องมีแนวปฏิบัติและเครื่องมือที่จะช่วยให้คิดเกี่ยวกับ Generative AI ต่างออกไป และช่วยรับมือกับโจทย์ที่ mental model ตั้งขึ้นมาด้วย
• ตัวอย่างหนึ่งคือเทคนิค "การทำให้ LLM สร้างผลลัพธ์แบบมีโครงสร้าง" ที่ถูกพูดถึงใน Technology Radar ฉบับล่าสุด
  • สามารถทำได้โดยสั่งใน prompt ให้ตอบในรูปแบบที่กำหนด หรือทำผ่านการ fine-tuning
  • ด้วยเครื่องมืออย่าง Instructor ทำให้เรื่องนี้ง่ายกว่าที่เคย
  • ข้อดีคือช่วยให้ความคาดหวังกับผลลัพธ์ของ LLM สอดคล้องกันมากขึ้น
    • ยังมีโอกาสเจอสิ่งที่ไม่คาดคิดหรือไม่ตรงทั้งหมดอยู่บ้าง แต่เทคนิคนี้ช่วยบรรเทาปัญหานั้นได้ระดับหนึ่ง
• นอกจากนี้ยังมีเทคนิคอื่นอีก
  • Retrieval-augmented generation โดยทั่วไปเป็นวิธีที่ช่วยควบคุมงานจัดการ 'context window' ที่ชวนปวดหัวได้ดีขึ้น
  • น่ายินดีที่ได้เห็น framework และเครื่องมือสำหรับประเมินและวัดความสำเร็จของเทคนิคเหล่านี้
    • Ragas เป็นไลบรารีที่มีประโยชน์ ซึ่งให้เมตริกอย่างความซื่อสัตย์ต่อข้อมูลและความเกี่ยวข้องแก่ผู้พัฒนา AI
    • DeepEval ก็ถูกแนะนำใน Radar เช่นกัน
• การวัดผลเป็นเรื่องสำคัญ แต่การคิดถึงแนวทางกำกับและนโยบายที่เกี่ยวข้องกับ LLM ก็สำคัญเช่นกัน
  • จึงแนะนำให้สำรวจ LLM Guardrails
  • และควรดำเนินการเพื่อทำความเข้าใจให้ดีขึ้นด้วยว่าแท้จริงแล้วภายในโมเดลเหล่านี้เกิดอะไรขึ้น
    • อาจเป็นไปไม่ได้ที่จะเปิดกล่องดำเหล่านี้ได้ทั้งหมด แต่ด้วยเครื่องมืออย่าง Langfuse ทีมและองค์กรก็สามารถมองเห็นวิธีการทำงานของมันได้ชัดเจนขึ้น
    • สิ่งนี้อาจช่วยอย่างมากในการปรับความสัมพันธ์ของเรากับเทคโนโลยีนี้ เปลี่ยน mental model และลดโอกาสที่จะตกลงไปใน uncanny valley

ไม่ใช่ข้อบกพร่อง แต่คือโอกาส

• เครื่องมือเหล่านี้ ซึ่งถูกอธิบายว่าเป็น "การระเบิดแบบแคมเบรียนของเครื่องมือ Generative AI" อาจช่วยให้ผู้คนที่อยู่ใจกลางอุตสาหกรรมทบทวน Generative AI ใหม่และสร้างผลิตภัณฑ์ที่ดีขึ้นได้
• แต่สำหรับโลกในวงกว้าง งานลักษณะนี้จะมองไม่เห็น
  • ดังนั้น นอกเหนือจากการพัฒนาชุดเครื่องมือเพื่อควบคุมและทำความเข้าใจ Generative AI ให้ดีขึ้นแล้ว สิ่งสำคัญคือการยอมรับว่า mental model เดิมและแนวคิดเกี่ยวกับ Generative AI นั้นเป็นปัญหาด้านการออกแบบในระดับรากฐาน
  • มันไม่ใช่ปัญหารองที่เราจะมองข้ามได้อีกต่อไปในระยะต่อจากนี้

"uncanny valley ของ Generative AI ไม่ใช่ปัญหาที่ต้องซ่อมให้หาย แต่เป็นโอกาสให้เราประเมินใหม่ว่าแท้จริงแล้วเราต้องการและคาดหวังอะไรจากเทคโนโลยีนี้"