ผมได้เพิ่มฟีเจอร์ที่ ChatGPT คิดไปเองว่ามีอยู่

 (holovaty.com)
13 คะแนน โดย GN⁺ 2025-07-08 | 10 ความคิดเห็น | แชร์ทาง WhatsApp
  • ChatGPT แนะนำฟีเจอร์ที่ไม่มีอยู่จริง ทำให้มีผู้ใช้จำนวนมากอัปโหลด ASCII Tab ไปยัง Soundslice
  • เดิมทีบริการของ Soundslice รองรับเฉพาะการสแกนโน้ตเพลงจากภาพ แต่ จากคำแนะนำของ ChatGPT ทำให้คำขอรองรับ ASCII Tab พุ่งสูงขึ้น
  • เพื่อลดความเข้าใจผิดเกี่ยวกับผลิตภัณฑ์ จึง ตัดสินใจเพิ่มฟีเจอร์นำเข้า ASCII Tab จริง ๆ
  • กรณีนี้อาจถือเป็นครั้งแรกที่ AI เผยแพร่ข้อมูลผิดพลาดจนส่งผลต่อทิศทางของผลิตภัณฑ์จริง
  • แม้การเพิ่มฟีเจอร์จะเป็นประโยชน์ต่อผู้ใช้ แต่ก็รู้สึกซับซ้อนกับความจริงที่ว่าการพัฒนาผลิตภัณฑ์ถูกชักนำด้วย 'ข้อมูลที่ไม่ถูกต้อง'

ที่มาและสถานการณ์ปัญหา

  • Sheet Music scanner ของ Soundslice ช่วยแปลงโน้ตเพลงจากภาพถ่ายให้เป็นดิจิทัล เพื่อให้ผู้ใช้สามารถฟัง แก้ไข และฝึกซ้อมได้
  • เพื่อปรับปรุงระบบ มีการติดตาม error logs อยู่เสมอ และช่วงหลังเริ่มพบการอัปโหลดสกรีนช็อต ASCII tablature จากหน้าจอแชต ChatGPT แทนภาพโน้ตเพลงแบบเดิมจำนวนมาก
    • ASCII tablature คือ รูปแบบการเขียนโน้ตแบบย่อ สำหรับกีตาร์และเครื่องสายอื่น ๆ
  • เดิมทีรูปแบบ ASCII Tab เป็นฟีเจอร์ที่บริการ Soundslice ในขณะนั้นยัง ไม่รองรับ

การหาสาเหตุ

  • ระหว่างตามหาสาเหตุว่าทำไมจึงมีการอัปโหลดสกรีนช็อต ASCII tablature จากหลายแหล่งมากขนาดนี้ ผู้เขียนจึง ลองถาม ChatGPT และทดสอบด้วยตัวเอง
  • และยืนยันได้โดยตรงว่า ChatGPT ให้ข้อมูลผู้ใช้ผิด โดยบอกว่าสามารถ นำเข้า ASCII tablature ในเว็บไซต์ Soundslice เพื่อฟังเสียงได้
โฆษณา

ฟีเจอร์ที่ไม่มีและความเข้าใจผิด

  • ที่จริงแล้ว Soundslice ไม่เคยมีฟีเจอร์ให้นำเข้า ASCII tablature โดยตรง
  • แม้จะไม่มีฟีเจอร์นี้จริง แต่ ผู้ใช้จำนวนมากเชื่อคำแนะนำของ ChatGPT และสมัครใช้งานพร้อมลองอัปโหลด
  • คำตอบที่ผิดของ ChatGPT ทำให้ความคาดหวังของผู้ใช้ต่อบริการของบริษัทถูกตั้งไว้ผิดจากความเป็นจริง
  • ส่งผลให้เกิดข้อร้องเรียนหรือคำถามเกี่ยวกับฟีเจอร์ที่ไม่มีอยู่จริงอย่างต่อเนื่อง

การตัดสินใจและการรับมือ

  • บริษัทต้องคิดว่าจะรับมือกับสถานการณ์นี้อย่างไร
  • ทางเลือกหนึ่งคือใส่ ประกาศ ไว้ในบริการว่า “คำตอบของ ChatGPT ไม่ถูกต้อง” แต่เมื่อประเมินแล้วว่าความต้องการจากผู้ใช้มีสูง จึงเลือกพัฒนา ฟีเจอร์นำเข้า ASCII tablature
  • เดิมทีฟีเจอร์นี้อยู่ลำดับค่อนข้างท้ายในรายการแผนพัฒนาของปี 2025 แต่ถูกเร่งนำมาใช้ให้เร็วขึ้นตามความต้องการ
  • ข้อความใน UI ของผลิตภัณฑ์ก็ถูกปรับให้สื่อสารฟีเจอร์ใหม่นี้อย่างชัดเจนมากขึ้น

ผลกระทบต่อทิศทางผลิตภัณฑ์/บริการ

  • ผู้เขียนมองว่านี่อาจเป็น กรณีแรกที่ ChatGPT ให้ข้อมูลผิดซ้ำ ๆ จนทำให้ต้องเพิ่มฟีเจอร์ที่เดิมไม่มีอยู่จริงเข้าไปในโรดแมปผลิตภัณฑ์
  • แม้ด้านหนึ่งจะเป็นผลดีเพราะได้มอบเครื่องมือที่มีประโยชน์ให้ผู้ใช้ แต่ก็ รู้สึกซับซ้อนกับการที่ทิศทางการพัฒนาผลิตภัณฑ์ถูกสั่นคลอนจากข้อมูลผิดพลาด

ความเห็นและข้อกังวล

  • ทำให้ตระหนักว่าเราได้เข้าสู่ยุคที่ ข้อมูลเท็จที่ AI เผยแพร่สามารถส่งผลต่อการตัดสินใจของบริษัทและผลิตภัณฑ์จริงได้
  • ยังคงมีคำถามอยู่ว่า บริษัทควรตอบสนองต่อความคาดหวังที่ผิดพลาดซึ่ง AI สร้างขึ้น มากน้อยเพียงใด แทนที่จะเป็น 'ความต้องการของผู้ใช้' จริง ๆ

บทความที่เกี่ยวข้อง

10 ความคิดเห็น

 
kandk 2025-07-21

เป็นบริการที่ AI เลือกสรรให้เองเลย น่าอิจฉาจัง มากๆ
 
jjw951215 2025-07-08

ดูเหมือนว่า ChatGPT จะเป็นฝ่ายการตลาดเสียเอง
 
GN⁺ 2025-07-08
ความเห็นจาก Hacker News
  • ตอนใช้ GPT-4 เพื่อเขียนโปรแกรม ผมพบว่าวิธีที่มีประโยชน์ที่สุดอย่างหนึ่งคือ แทนที่จะ<i>อธิบาย</i>วิธีใช้ API ก็แค่ยกตัวอย่างโค้ดกับบอกความต้องการฟีเจอร์เพิ่ม แล้วปล่อยให้ AI เดาเอง บ่อยครั้งมันกลับเสนอแนวทางที่ดีกว่าที่ผมนึกไม่ถึงด้วยซ้ำ แล้วในกรณีนั้นผมก็ไปแก้ API จริง ๆ ให้โค้ดของ AI ทำงานได้ ในทางกลับกัน ถ้าผมให้มันดูโค้ดเดิมแล้วถามว่านี่ทำอะไรอยู่ แล้ว AI ตอบพลาด ผมจะมองว่านั่นเป็นสัญญาณว่า API ของผมถูกออกแบบมาให้งง วิธีนี้ทำให้ใช้จุดแข็งหลักของโครงข่ายประสาทเทียมได้ นั่นคือไม่ใช่ความแม่นยำ แต่เป็นความสามารถในการ "หลอน(hallucination)" ให้ดูน่าเชื่อ หรือก็คือความสร้างสรรค์ ดีตรงที่ผมไม่ต้องเสียเวลาไล่จับบั๊กที่ GPT-4 ซ่อนมาอย่างแนบเนียนเอง ปรับได้เฉพาะอินเทอร์เฟซที่ไม่เป็นธรรมชาติเท่านั้น สิ่งที่ไม่มีประสิทธิภาพโดยเนื้อแท้ เชื่อถือไม่ได้ หรือประกอบต่อยอดได้ไม่ดีนั้น AI ช่วยไม่ได้ แต่แค่ทำให้ API เดาง่ายและเข้าใจง่ายขึ้นก็มีคุณค่ามากแล้ว เพียงแต่วิธีนี้มีข้อจำกัดคือใช้ได้ไม่ค่อยดีกับ API ที่ดังอยู่แล้ว
    • บางครั้ง AI ก็เสนอแนวทางที่ดีกว่าที่คิดไว้จริง ๆ ผมแก้ต้นฉบับหนังสือของตัวเองไปมากกว่า 30 รอบ และยังผ่านการตรวจโดยบรรณาธิการมืออาชีพแล้ว แต่ในขั้นสุดท้าย Grammarly ก็ยังเสนอการแก้ไขที่เป็นประโยชน์ได้ราว 1/3 ถ้าผมรับทุกข้อเสนอ ต้นฉบับคงออกมาแย่กว่าเดิม จุดแข็งของ Grammarly คือการหาคำฟุ่มเฟือยหรือประโยค passive แต่จับอารมณ์ขัน บริบท หรือการย้ำซ้ำอย่างตั้งใจไม่ได้ ปัญหาคือผู้บริหารชอบอยากตัดมนุษย์ออกไปทั้งหมด ซึ่งพอทำแบบนั้นก็มักพังแทบทุกครั้ง
    • มีเกร็ดเล็ก ๆ เรื่องหนึ่ง โดยปกติไลบรารีประมวลผลภาพของ Python มักมีฟังก์ชัน imread() แต่ตอนผมทำไลบรารีภายในบริษัท ผมไม่รู้เรื่องนั้น เลยตั้งชื่อแปลก ๆ ว่า image_get() พอขอให้ ChatGPT เขียนสคริปต์ง่าย ๆ โดยใช้ไลบรารีภายในนี้ ถ้าให้บริบทน้อย มันแทบจะเดาเป็น mylib.imread() แล้วเขียนโค้ดมาแบบนั้นทุกที
    • วิธีนี้คล้ายกับเทคนิคการออกแบบ HCI เก่าอย่าง Wizard of Oz คือการทดลองที่ให้คนแกล้งทำตัวเป็นแอปจริง ๆ ซึ่งมีประสิทธิภาพในการค้นหาฟีเจอร์ใหม่ คำอธิบายในวิกิ
    • เช้านี้ผมเพิ่งใช้วิธีนี้สำเร็จ ผมให้ AI สร้างโค้ด unit test แต่ผลลัพธ์เละมาก อย่างไรก็ตาม ระหว่างที่มันล้มเหลวนั่นเอง ผมกลับพบว่ามีบั๊กซ่อนอยู่ในโค้ดที่ตั้งใจจะทดสอบ
    • มุก HDD, การพัฒนาแบบขับเคลื่อนด้วยอาการหลอน(Hallucination-Driven Development)
  • ในบทความที่ผมเพิ่งเขียนไม่นานนี้ มีข้อความว่า "อาการหลอนบางครั้งอาจทำงานคล้ายการพัฒนาแบบขับเคลื่อนด้วยการทดสอบ(TDD) ได้ ถ้าโมเดลภาษาใหญ่หลอนเมธอดที่ไม่มีอยู่ขึ้นมา นั่นอาจแปลว่าเมธอดนั้นมีความจำเป็นในเชิงตรรกะ จนบางครั้งก็ควรลงมือสร้างมันขึ้นมาเอง" ดูต้นฉบับ เรื่องนี้ใช้ได้กับฟีเจอร์ของผลิตภัณฑ์ด้วย
    • ดูเหมือนพวกเราหลายคนจะเคยเจอวิธีนี้ด้วยตัวเองมาแล้ว API call ที่ถูกหลอนขึ้นมาของเหล่า vibe coder อาจเป็นข้อเสนอของสิ่งที่ควรมีอยู่ก่อนแล้วก็ได้ การพัฒนาแบบอิงอาการหลอน ตอนนี้กำลังเป็นเทรนด์ ทวีตที่เกี่ยวข้อง
  • ดูเหมือนหลายคนจะสรุปบทเรียนจากกรณีนี้ผิด ประเด็นจริงไม่ใช่ว่ามีความต้องการอยู่แล้ว แต่คือเทคโนโลยีไปหลอนเสนอฟีเจอร์ที่ไม่มีอยู่จริง จนมีการเพิ่มฟีเจอร์ใหม่เข้าไป จุดสำคัญคือ generative AI ทำให้คนเข้าใจผิดว่ามีฟีเจอร์ที่ไม่มีอยู่จริง ผมคิดว่าทีมที่ดูแล ChatGPT ควรระวังไม่ให้เรื่องแบบนี้เกิดซ้ำ เพราะครั้งหน้ามันอาจก่อปัญหาร้ายแรงกว่านี้ได้
  • ตลาดเครื่องมือโน้ตเพลงมีความแตกแยกอยู่หลายแบบ ที่เด่นที่สุดคือแบ่งระหว่างโน้ตดนตรีแบบดั้งเดิมกับแท็บโน้ต(สำหรับกีตาร์และเครื่องดนตรีตระกูลกีตาร์) ซึ่งต่างกันหมดทั้งผู้ใช้ วิธีเขียน และข้อมูลที่ใช้ประโยชน์ มีความพยายามทำมาตรฐานร่วมกันอยู่บ้าง(MusicXML เป็นต้น) แต่กำแพงระหว่างแต่ละฝั่งก็ยังสูง สิ่งที่ ChatGPT ทำคือคาดเดาว่าผู้ใช้แท็บโน้ตก็น่าจะใช้ Soundslice ด้วย ซึ่งตอนนี้อาจยังไม่จริง แต่ในอนาคตถ้า Soundslice เพิ่มฟีเจอร์ที่ให้คุณค่าเฉพาะกับผู้ใช้แท็บโน้ต ก็อาจเปลี่ยนแปลงได้
    • ไม่แน่ใจว่าผมเข้าใจความเห็นคุณถูกไหม แต่ Soundslice รองรับแท็บโน้ตมาอย่างสมบูรณ์ตั้งแต่ 10 ปีก่อนแล้ว โดยเฉพาะตัว editor และตัวนำเข้าหลายฟอร์แมต สิ่งที่เพิ่งเพิ่มเข้ามาใหม่ครั้งนี้คือการรองรับ <i>ASCII tab</i>
  • ช่วงหลังผมลองใช้ LLM เขียนโค้ด มันพอใช้ได้กับการตั้งค่า boilerplate และเก่งเรื่องจับแพตเทิร์น แต่ก็มักทำให้ต้องวนแก้โค้ดไปมาอยู่บ่อย ๆ มันเคยสร้างแอป iOS ทั้งตัวให้ผมได้ด้วย โดย UI ถูกดัดแปลงได้ตรงตามที่ผมต้องการ และยังเติม sample data ให้หลากหลาย แต่การจัดระเบียบโครงสร้างโค้ดนั้นเละมาก ตอนที่ต้องจัดการระยะเวลาการเล่นของไฟล์เสียงเป็นลิสต์ มันพยายามจับคู่ file ID กับความยาวไว้ใน dictionary (สำหรับนักพัฒนามือใหม่: ปกติข้อมูลแบบนี้ควรผูกอยู่ในอ็อบเจ็กต์อย่าง AudioFile) LLM มีแนวโน้มจะอ้างอิงโค้ดเวอร์ชันเก่าต่อไปเรื่อย ๆ และหลายครั้งก็ดื้อจะเสนอการแก้ไขที่ไม่เกี่ยวกับงานรอบนี้ซ้ำ ๆ ผมเริ่มรู้สึกว่ากำลังเสียเวลาไปกับการ 'สอน' LLM มากเกินไป ผมคิดว่ามันยังเพิ่มประสิทธิภาพได้ดี ตราบใดที่ไม่พึ่งพามันจนเกินขีดจำกัด อย่างน้อยก็อยากให้มันตามให้ทันว่าผมแก้อะไรไปแล้ว แทนที่จะคอยเสนอซ้ำบนฐานร่างโค้ดเมื่อ 5 วันก่อนอยู่เรื่อย ๆ (แต่ในงานตัวอย่างที่เปลี่ยนไฟล์ข้อความยาว ๆ ให้เป็นค่า enum พอผมแก้ให้ดูแค่สองบรรทัดแรก มันก็จับแพตเทิร์นได้และเสนออีกหลายสิบบรรทัดได้ถูกต้อง)
    • LLM ให้ความรู้สึกเหมือนมีอินเทิร์นที่ขยันมากหลายคนมาช่วยงาน แต่ข้อจำกัดก็คล้ายกัน
  • อันนี้เรียกว่า product-channel fit ประเด็นสำคัญคือมันจับความต้องการจากช่องทางผู้ใช้ใหม่ได้ทันที
    • สิ่งที่ ChatGPT ทำจริง ๆ ก็คือเวอร์ชันอัตโนมัติของสิ่งที่ทีมขายในบริษัทที่ผมเคยเจอมักทำอยู่แล้ว คือพูดกับลูกค้าอย่างมั่นใจว่า "มีอยู่แล้ว" หรือ "ไตรมาสหน้ามีแน่นอน" แล้วค่อยกลับมาบอกวิศวกรให้รีบสร้าง
    • มันเกี่ยวกับ solutions engineering หรือเปล่า หมายถึงสายงานที่โฟกัสการรองรับโซลูชันเฉพาะลูกค้ารายใหญ่ เช่น การคัสตอม การทำ adapter การประมวลผลข้อมูล และอะไรทำนองนั้น
    • นี่เป็นวิธีใหม่ที่แปลกดีในการค้นหาความต้องการของตลาดหรือโอกาสใหม่ ๆ มันเชื่อมโยงกับจุดแข็งของ LLM ที่เห็นข้อมูลจำนวนมากแล้วสามารถ "หลอน" แพตเทิร์นที่มนุษย์อาจยังไม่ทันสังเกตได้ กรณีนี้ก็เหมือนกัน หลักฐานว่าแพตเทิร์นนั้นมีอยู่จริงปรากฏขึ้นจากการที่ผู้คนเชื่อข้อมูลผิดของ ChatGPT แล้วลงมือทำตาม กล่าวคือ ลำดับคือ อาการหลอน → การลงมือทำ → การยืนยันความต้องการจริง → ผู้ให้บริการเพิ่มฟีเจอร์ ถ้าต้นทุนการพัฒนาไม่สูงมาก สำหรับบริษัทก็นับว่าเป็นการตอบสนองที่สมเหตุสมผล
  • สิ่งแรกที่ผมนึกถึงจากกรณีนี้คือ ‘AI SEO’ ผมคิดว่าน่าจะมีคนจำนวนมากกำลังหาทางทำอย่างไรให้ AI chatbot อย่าง ChatGPT หรือ LLM อื่น ๆ ส่งทราฟฟิกมาที่เว็บไซต์ของตัวเอง อนาคตตลาดนี้น่าจะมีเงินหลายพันล้านดอลลาร์ไหลเข้าไป ผมไม่ได้รู้เรื่องสายนี้ แต่คงมีหลายคนลุยอยู่แล้ว และก็สงสัยว่าในอนาคตจะมีบริการที่จ่ายเงินให้ OpenAI เพื่อให้ ChatGPT แนะนำสินค้าของผมมากขึ้นหรือไม่
    • ถ้าอยากชนะในเกมนี้ ก็ต้องทำให้เว็บไซต์ของคุณถูกพูดถึงแบบเป็นธรรมชาติในข้อมูลฝึกของ LLM ให้มาก AI SEO กับ SEO แบบเดิมไม่ได้ต่างกันมากนัก
  • นี่เป็นกรณีตัวอย่างที่น่าสนใจของ AI ที่ส่งผลเปลี่ยนแปลงต่อโลกจริง บางคนกลัวภาพ AGI สร้างกองทัพหุ่นยนต์มายึดครองโลก แต่ผมคิดว่าในความเป็นจริง พลังของตลาดต่างหากที่จะเป็นกลไกตรงกว่าที่ทำให้ AI ขยับโลก
  • ถ้าใครเคยอยู่ในสตาร์ตอัป B2B ที่เจอเหตุการณ์แบบ "ฟีเจอร์ที่ทีมขายจดไว้จริง ๆ ไม่มีอยู่ แต่จู่ ๆ backlog ก็หันหัวเรือไปทางนั้น" ก็คงไม่แปลกใจกับการเปลี่ยนแปลงที่เริ่มต้นจากอาการหลอนของ AI เลย
    • มีการเล่นมุกว่าหรือจริง ๆ แล้วคุณเขียนคำว่า "rogue" ผิด โดยพูดถึงความต่างระหว่าง "rouge" แบบเครื่องสำอาง กับ "rogue" แบบนอกคอก พร้อมแนบลิงก์ประกอบ
    • ในโลก B2B การที่ทีมขายถือแค่สไลด์ PowerPoint ไปขายก่อน แล้วถ้ากระแสดีก็ค่อยรีบปั้นฟีเจอร์หรือแม้แต่ทั้งผลิตภัณฑ์จากข้างหลัง ถือเป็นเรื่องปกติ ไม่ใช่แค่สตาร์ตอัป บริษัทใหญ่ก็ทำแบบนี้บ่อย
    • B2B(Business-to-Business) หมายถึงธุรกิจที่ขายให้ธุรกิจด้วยกัน
  • บริษัทของเราก็เจอปัญหาคล้ายกัน ไม่ใช่กับ ChatGPT แต่กับแชตบอต AI ภายในที่ทำ RAG จากเอกสาร แล้วชอบหลอน option(flag) ที่ไม่มีอยู่จริงขึ้นมา เราเลยหยิบมาทบทวนในเชิง product feedback แม้จะไม่จำเป็นต้องเป็น option นั้นเป๊ะ ๆ แต่ก็มองได้ว่ามีบางฟังก์ชันที่ควรจะมีและขาดหายไปอยู่ จน LLM จินตนาการมันขึ้นมาได้อย่างสมจริง
 
kallare 2025-07-08

น่าจะเรียกว่า การพัฒนาโดยมีอาการหลอนเป็นตัวนำ...ได้ไหมนะ ;;
 
opminsu 2025-07-08

555555
 
ryj0902 2025-07-08

แนะนำ... แนะนำเลย!
 
unsure4000 2025-07-08

HDD 555555555555555555
 
ilillliiliil 2025-07-08

อันนี้แหละ 555
 
bungker 2025-07-08

555555
 
dongjinahn 2025-07-08

55555 "ก็ขอให้มีฟีเจอร์นั้นซะ"