OpenAI ปิดเครื่องมือตรวจจับ AI ของตัวเองแบบเงียบ ๆ

 (decrypt.co)
1 คะแนน โดย GN⁺ 2023-07-27 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • AI Classifier เป็นเครื่องมือที่เปิดตัวมาเพื่อระบุข้อความที่เขียนโดย generative AI อย่าง ChatGPT แต่ยุติการให้บริการภายในราวครึ่งปีเนื่องจาก ความแม่นยำต่ำ
  • การยุติบริการไม่ได้ประกาศแยกต่างหาก แต่แจ้งเพียงผ่าน บันทึกที่เพิ่มเข้าไปในบล็อกโพสต์ ซึ่งเคยใช้แนะนำเครื่องมือนี้ครั้งแรก และลิงก์ไปยังตัวจำแนกก็เข้าใช้งานไม่ได้อีกต่อไป
  • ตั้งแต่ตอนเปิดตัว OpenAI ก็ระบุว่าเครื่องมือนี้ "ไม่สามารถเชื่อถือได้อย่างสมบูรณ์" โดยตรวจจับข้อความที่ AI เขียนได้เพียง 26% และยังจัดข้อความของมนุษย์ 9% ผิดเป็น AI
  • มีข้อจำกัดทั้งเรื่องความน่าเชื่อถือที่ลดลงกับ ข้อความต่ำกว่า 1,000 ตัวอักษร, การจัดข้อความมนุษย์ผิดเป็น AI และประสิทธิภาพที่ลดลงนอกเหนือจากข้อมูลฝึก
  • วงการ การศึกษา เป็นกลุ่มที่ให้ความสนใจเป็นพิเศษจากความกังวลเรื่องนักเรียนใช้ ChatGPT เขียนเรียงความ และการตระหนักถึงข้อจำกัดกับผลกระทบของตัวจำแนกข้อความ AI จึงเป็นเรื่องสำคัญ

การยุติ AI Classifier

  • AI Classifier ถูกยุติการให้บริการอย่างเงียบ ๆ เมื่อสัปดาห์ที่แล้ว โดยให้เหตุผลว่า "ความแม่นยำต่ำ (low rate of accuracy)"
  • ไม่มีประกาศใหม่แยกต่างหาก แต่มีเพียง บันทึกที่เพิ่มในบล็อกโพสต์ ที่เคยใช้เปิดตัวเครื่องมือนี้
  • ลิงก์ ที่เคยเชื่อมไปยังตัวจำแนกของ OpenAI ก็ ไม่มีให้ใช้อีกต่อไป

ที่มาของการเปิดตัวและประสิทธิภาพในช่วงแรก

  • ในเดือนมกราคม OpenAI เปิดตัวเป็นเครื่องมือสำหรับตรวจจับว่าคอนเทนต์นั้นสร้างโดย generative AI อย่าง ChatGPT หรือไม่
  • แม้จะเปิดตัวพร้อมอ้างว่าสามารถแยกข้อความที่มนุษย์เขียนกับที่ AI เขียนได้ แต่ในเวลานั้นก็ระบุไว้แล้วว่า "ไม่สามารถเชื่อถือได้อย่างสมบูรณ์"
  • มีการเปิดเผยตัวเลขผลประเมินจาก "challenge set" ของข้อความภาษาอังกฤษ
    • ตรวจจับข้อความที่ AI เขียนได้ถูกต้อง 26% ว่า "มีแนวโน้มสูงว่าเขียนโดย AI"
    • จัดข้อความที่มนุษย์เขียน 9% ผิดว่าเขียนโดย AI

ข้อจำกัดของ AI Classifier

  • มีความน่าเชื่อถือต่ำกับข้อความที่มีความยาว ต่ำกว่า 1,000 ตัวอักษร
  • อาจ จัดข้อความที่มนุษย์เขียนผิดว่าเป็นข้อความจาก AI
  • ตัวจำแนกที่อิงโครงข่ายประสาทเทียม ทำงานได้ไม่ดีในขอบเขตที่อยู่นอกข้อมูลฝึก

ทิศทางต่อไปของ OpenAI

  • กำลังดำเนินการโดยนำฟีดแบ็กมาปรับใช้ และกำลังวิจัย เทคนิคด้านแหล่งที่มา (provenance) ที่มีประสิทธิภาพมากขึ้นสำหรับข้อความ
  • ให้คำมั่นว่าจะพัฒนาและนำกลไกมาใช้เพื่อให้ผู้ใช้ตรวจสอบได้ว่าเนื้อหาเสียงและวิดีโอ สร้างโดย AI หรือไม่

วงการการศึกษาและความต้องการเครื่องมือตรวจจับ AI

  • หลังการเปิดตัว ChatGPT ในเดือนพฤศจิกายน ผู้สอนได้แสดงความกังวลเกี่ยวกับการนำไปใช้ในทางที่ผิดเพื่อ เขียนเรียงความ ของนักเรียน
  • แม้จะยอมรับว่าการระบุข้อความ AI เป็นหัวข้อถกเถียงสำคัญในหมู่ผู้สอน แต่ก็ย้ำว่าการตระหนักถึง ข้อจำกัดและผลกระทบของตัวจำแนกข้อความที่สร้างโดย AI ในห้องเรียนก็สำคัญไม่แพ้กัน
  • เครื่องมือ AI ที่ซับซ้อนขึ้นเรื่อย ๆ ปรากฏออกมาแทบทุกวัน จนเกิดเป็น อุตสาหกรรมเครื่องมือตรวจจับ AI (cottage industry)
  • ยังไม่มีการตอบกลับต่อคำขอความเห็นของ Decrypt

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-07-27
ความคิดเห็นจาก Hacker News

  • ดีแล้วที่ทำแบบนั้น แต่แน่นอนว่าควรต้องมี ประกาศ ด้วย
    น่าทึ่งที่ในระบบนิเวศนี้มีคนจำนวนมากเกินไปที่เชื่อว่าสามารถตัดสินได้ว่า AI เขียนหรือไม่จากการดูข้อความเพียงไม่กี่ประโยค ที่น่าประหลาดยิ่งกว่าคือผู้มีอำนาจบางคนเชื่อและลงมือทำตามผลตัดสินของเครื่องมือ “AI เขียน vs มนุษย์เขียน” ทั้งที่จริงแล้วรับประกันไม่ได้
    หวังว่าเรื่องนี้จะกลายเป็นอีกตัวอย่างหนึ่งที่ชี้ว่าเราไม่สามารถตัดสินได้ง่าย ๆ ว่าสตริงที่ LLM สร้างออกมาหรือไม่

    • จริง ๆ แล้วเป็นไปไม่ได้ แม้จะมี classifier ที่ใช้ตัดสินว่าข้อความใดสร้างโดย AI หรือไม่ ก็สามารถนำ classifier นั้นไปต่อท้ายโมเดลสร้างข้อความ แล้วฝึกให้หลอกมันได้ และสามารถ backpropagate จากผลลัพธ์ใช่/ไม่ใช่ย้อนกลับไปจนถึงชั้นอินพุตของโมเดลสร้างข้อความได้ จากนั้นก็สร้างข้อความที่หลอก classifier นั้นได้อย่างง่ายดาย
      โมเดลแบบนี้ถูกกำหนดให้ล้มเหลวตั้งแต่แรก เว้นแต่ว่าพารามิเตอร์จะถูกเก็บเป็นความลับอย่างเข้มงวดและไม่มีวันรั่วไหล แต่ถึงจะเป็นความลับ ก็หมายความว่าหลอกได้เฉพาะคนที่มีสิทธิ์เข้าถึงเท่านั้น ส่วนคนอื่นหลอกไม่ได้ สุดท้ายอีกฝ่ายก็มีแรงจูงใจที่จะสร้างโมเดลของตัวเอง และกลายเป็น การแข่งขันสะสมอาวุธ ที่ไม่มีที่สิ้นสุด
      คำตอบที่แท้จริงควรเป็นการมีเครื่องมือที่ดีกว่าสำหรับตัดสินโดยอัตโนมัติว่าเนื้อหาดีหรือไม่ ไม่ว่าจะเขียนโดยมนุษย์หรือ AI ถ้าทำได้ก็จะช่วยได้มาก และต่อให้กลายเป็นการแข่งขัน ก็เป็นการแข่งขันกันสร้างเนื้อหาที่มีคุณภาพสูงขึ้น
    • แนวคิดนี้ไม่ดีตั้งแต่ต้น ChatGPT เป็นเครื่องมือที่มีเป้าหมายตั้งแต่แรกให้เขียนได้จนแยกไม่ออกจากมนุษย์
      ข้อมูลที่ “ตัวตรวจจับ” มีนั้นน้อยมาก และเกณฑ์ที่พอมีเหตุผลก็มีแค่เรื่องอย่างสำนวนการเขียนเท่านั้น ChatGPT มีสำนวนเฉพาะบางอย่างก็จริง แต่ไม่ใช่สำนวนเดียว และยิ่งประสิทธิภาพดีขึ้น ตามนิยามแล้วก็จะยิ่งเขียนได้ดีในสำนวนที่หลากหลายขึ้น
    • มีบทความที่พูดถึงการที่ข้อความซึ่งมนุษย์เขียนถูก false positive ว่าเป็น output ของ AI ด้วย โดยเฉพาะกับคนออทิสติกบางกลุ่ม ดูเหมือนจะไร้ประโยชน์พอ ๆ กับเครื่องจับเท็จหรือเปล่า?
    • การเอาเครื่องมือออกไปดูไม่เหมือนเป็นวิธีรับมือที่ดีที่สุด การแก้ด้วยการลบอะไรบางอย่างออกไปโดยทั่วไปไม่ค่อยใช่วิธีแก้ที่ดี
      ถ้าปัญหาคือผู้คนใช้งานผิด ก็ใกล้เคียงกับว่าเครื่องมือนั้นไม่ได้ถูกออกแบบให้เหมาะกับสิ่งที่ผู้คนต้องการใช้มากกว่า เช่น ถ้าปัญหาคือใช้ผิดเมื่อมีประโยคน้อยเกินไป ก็ใส่เงื่อนไขอย่างจำนวนประโยคขั้นต่ำเพื่อให้มีความเชื่อมั่นขั้นต่ำได้
      วิธีแสดงความหมายก็เช่นกัน ถ้าผู้คนไม่เข้าใจสถิติหรือคณิตศาสตร์ ก็แสดงความหมายด้วยภาพ เช่น วงกลมหรือเหรียญ การตัดตัวเลือกออกไปดูไม่ใช่เรื่องดี และโดยเฉพาะถ้าตัดออกเพราะมองผู้คนแบบถากถางว่าไม่คู่ควร ยิ่งไม่สมเหตุสมผล
    • เกี่ยวกับประเด็นที่ว่า “มีคนจำนวนมากจนน่าตกใจที่เชื่อว่าสามารถตัดสินได้ว่า AI เขียนหรือไม่จากไม่กี่ประโยค” รายงานที่ออกวันนี้ค่อนข้างชวนอึ้ง: https://gpai.ai/projects/responsible-ai/social-media-governa...
      Foundation AI Models Need Detection Mechanisms as a Condition of Release [pdf]

  • ดีแล้ว ถ้ามันเชื่อถือไม่ได้ การมีอยู่ของมันกลับเป็นโทษเพราะทำให้เกิด ความรู้สึกปลอดภัยปลอม ๆ
    ตัวอย่างคล้ายกันคือร้านพิซซ่าส่งถึงบ้านในละแวกที่ผมเคยทำงานอยู่ จะปิดผนึกกล่องด้วยสติกเกอร์นิรภัยเพื่อไม่ให้คนส่งแตะต้องหรือหยิบกิน แต่ด้วยเหตุผลด้านโลจิสติกส์ บางครั้งก็ลืมติด กล่องที่ไม่มีสติกเกอร์เริ่มถูกลูกค้าส่งคืนทั้งหมดเพราะกังวลว่าเปปเปอโรนีอาจถูกขโมยไปหรือเปล่า และไม่นานหลังจากนั้นก็ยกเลิกระบบนี้

    • ผมมองว่านั่นใกล้เคียงกับความล้มเหลวในการฝึกอบรมพนักงานมากกว่า และในทางกลับกัน ผมจะให้โบนัสรายสัปดาห์กับกะที่ไม่ลืม สติกเกอร์นิรภัย
      คล้ายกับว่าเราไม่ได้จะยกเลิกซีลทั้งหมดบนขวดยาแอสไพริน เพียงเพราะมีคนในกระบวนการผลิตลืมซีลขวดบางขวด

  • เครื่องมือนี้กระตุ้นให้เกิด ข้อกล่าวหาเท็จ จำนวนมหาศาลในแวดวงวิชาการ ภรรยาผมกำลังเรียนปริญญาเอกอยู่ และเล่าให้ฟังบ่อย ๆ ว่าอาจารย์กล่าวหานักศึกษาผิด ๆ ว่าใช้ ChatGPT

    • ใน Reddit ก็มีเรื่องมากมายที่ครูในโรงเรียนกล่าวหานักเรียนอย่างไม่เป็นธรรมว่าใช้ ChatGPT ทำการบ้าน
    • นักศึกษาบางคนในมหาวิทยาลัยของเรายืนยันว่า งานของพวกเขาถูกให้คะแนนด้วย LLM โดยอ้างผลจากการนำคอมเมนต์ feedback ไปใส่ใน classifier แบบเดียวกับของ OP
    • นี่ไม่ใช่ปัญหาของเครื่องมือตัวเดียว บนออนไลน์มี “ตัวตรวจจับ AI” แบบยาหมอเถื่อนไร้สาระขายอยู่เป็นร้อย ๆ ตัว และอาจารย์กับผู้บริหารโรงเรียนที่ตื่นกระแสก็ยังจะจ่ายเงินต่อไป
    • ผมกำลังเรียนปริญญาเอกอยู่และใช้ ChatGPT เป็นประจำ
    • ที่น่าสนุกคือ output ของ GPT ที่ตั้ง temperature ไว้ค่อนข้างต่ำ ยังถูกตัดสินว่า มนุษย์เขียน ได้เสถียรกว่างานเขียนของมนุษย์เสียอีก

  • เท่าที่ได้ยินมาเมื่อเร็ว ๆ นี้ ครูให้ส่งการบ้านผ่าน Google Docs เพื่อดูประวัติการแก้ไข และตรวจว่าเขียนทั้งชิ้นเองจริง ๆ หรือแค่วางเรียงความที่ทำเสร็จแล้วแล้วแก้ไขเล็กน้อย
    แน่นอนว่านักเรียนที่ฉลาดย่อมหาวิธีสตรีมผลลัพธ์จาก GPT เข้า Google Docs ได้ไม่ยาก อาจทำให้ดูเหมือนมีการเดินกลับไปกลับมา “แก้ไข” เป็นช่วง ๆ ได้ด้วย
    นักเรียนที่ฉลาดและไร้จริยธรรมแทบจะตรวจจับไม่ได้ ไม่ว่าจะวางอุปสรรคอะไรไว้ก็ตาม วิธีนี้แค่กันนักเรียนที่ไม่ฉลาดเท่านั้น

    • ใกล้เคียงกับ proof of work สำหรับมนุษย์
      ใคร ๆ ก็สร้างเอเจนต์ที่ค่อย ๆ พิมพ์ข้อความที่ ChatGPT สร้างลงใน Google Docs ได้ Google เองก็น่าจะประเมินได้ว่าเอกสารถูกพิมพ์โดยมนุษย์มากน้อยแค่ไหน แต่ก็คงไม่ทำ ด้วยเหตุผลเดียวกับที่ OpenAI ยุติเครื่องมือนี้
      คงมีใครสักคนเห็นข่าวนี้หรือเธรดนี้แล้วสร้างตัวแก้ไขหรือตัวประเมินแบบนั้นขึ้นมา อีกทางออกหนึ่งคืออัดหน้าจอระหว่างเขียนงาน ทางออกที่ดีที่สุด และเป็นทางออกที่ยากที่สุดสำหรับนักการศึกษา คือไม่ควรกำหนดหรือให้คะแนนสิ่งที่หุ่นยนต์ทำได้ดีกว่ามนุษย์ส่วนใหญ่
    • วิธีนี้น่าจะเจาะยาก โดยเนื้อแท้แล้วมันคือ CAPTCHA ความยาวหนึ่งชั่วโมง สามารถดูช่วงเวลาระหว่างการกดแป้นพิมพ์ การเคลื่อนไหวของเมาส์ รูปแบบการแก้ไข ฯลฯ ได้ ดูไม่น่าเป็นไปได้ที่ LLM จะเจาะวิธีแยกแยะงานเขียนมนุษย์ด้วยแนวทางนี้ได้
    • แค่ดูข้อความจาก ChatGPT แล้วพิมพ์ใหม่เอง พร้อมเปลี่ยนประโยคเป็นครั้งคราว ก็น่าจะพอแล้ว
    • มีวิธีหนึ่งอยู่ คือ การสอบ ที่มีเวลาจำกัดและมีผู้คุมสอบ
      แต่ก็ไม่ค่อยดีนัก โปรเจกต์ที่ทำที่บ้านวัดชุดความสามารถอีกแบบหนึ่ง และบางคนถนัดด้านหนึ่ง ในขณะที่บางคนถนัดอีกด้านหนึ่ง ถึงอย่างนั้น ความเป็นจริงก็คือความเป็นจริง
    • ไม่จำเป็นต้องทำให้ซับซ้อนขนาดนั้น แค่เริ่มเขียนเรียงความตามปกติ แล้วค่อยวางผลลัพธ์จาก GPT ลงไปแบบธรรมดาก็พอ
      ถ้ามีนักเรียนเกิน 30 คน โอกาสที่ครูจะตรวจประวัติการแก้ไขทีละคนก็คงต่ำ

  • ข้อสรุปที่ว่า “ครึ่งปีต่อมา เครื่องมือนั้นก็ตายไป เพราะมันทำตามวัตถุประสงค์การออกแบบไม่ได้” เป็นข้อสรุปเดียวกับที่ผมได้จากการทดสอบตัวตรวจจับภาพ
    การตรวจจับอัตโนมัติในปัจจุบันไม่น่าเชื่อถือเท่าไร ผมลองใช้ AI or Not ของ Optic ที่อ้างความแม่นยำ 95% กับภาพของผมหลายภาพ ภาพที่มีคอนเทนต์ AI ถูกระบุถูกต้องว่าเป็นภาพที่สร้างด้วย AI แต่ภาพคอมโพสิตจากสต็อกโฟโตที่ผมทำเองประมาณ 50% ก็ถูกระบุว่าเป็นภาพที่สร้างด้วย AI เช่นกัน
    ถ้า generative AI ไม่ใช่เป้าหมายที่เคลื่อนไหวตลอดเวลา ผมคงมองโลกในแง่ดีว่าเครื่องมือแบบนี้จะพัฒนาไปจนเชื่อถือได้มาก แต่ความจริงไม่ใช่อย่างนั้น และผมก็สงสัยว่ามันจะกลายเป็นทางออกที่เชื่อถือได้ในสักวันหรือไม่
    นี่เป็นเนื้อหาที่นำมาจากบทความ AI art ของผม: https://www.mindprison.cc/p/ai-art-challenges-meaning-in-a-w...

    • เป็นไปได้ไหมว่าสต็อกโฟโตจำนวนมากที่ใช้เป็นต้นฉบับ แท้จริงแล้วเป็น ภาพที่สร้างด้วย AI?

  • จากประสบการณ์ของผม ถ้าคำตอบของ ChatGPT ถูกเครื่องมืออย่าง ZeroGPT จัดว่าเป็น AI-generated แค่ปรับพรอมป์เล็กน้อยและสั่งไม่ให้เขียนให้ฟังดูเหมือน AI เป็นคนเขียน ก็สามารถหลบการตรวจจับได้ด้วยโอกาสสูงมาก
    ยิ่งกว่านั้น ถ้าสั่งให้สร้างคำตอบในสำนวนของนักเขียนชื่อดังบางคน ก็มักจะได้ผลเป็น มนุษย์เขียน 100% ในโมเดลตรวจจับ AI ส่วนใหญ่

    • เมื่อครึ่งปีก่อน วิธีนี้ใช้ไม่ได้ ข้อความที่เขียนใหม่ก็ยังถูกเหมารวมว่าเป็น AI-generated อยู่ดี
      ดูเหมือนว่าอัปเดตล่าสุดทำให้โทนของ ChatGPT เปลี่ยนไปมาก จนตอนนี้ไม่ติดเรดาร์ของตัวตรวจจับแล้ว

  • ดีแล้ว ผมมองว่าการใส่ watermark ในผลลัพธ์ของ AI ก็เป็นทางตันเหมือนกัน สู้ตั้งสมมติฐานว่าคอนเทนต์ทั้งหมดเป็นของปลอมจนกว่าจะพิสูจน์เป็นอย่างอื่นได้ดีกว่า
    ถ้าต้องการภาพถ่ายที่เชื่อถือได้ วิธีที่ดีกว่าน่าจะเป็นการเซ็นภาพด้วยวิธีเข้ารหัสในระดับฮาร์ดแวร์ ณ ขณะถ่ายภาพ การใส่ watermark ให้คอนเทนต์ AI โดยสมัครใจนั้นไร้ความหมายโดยสิ้นเชิง

    • สำหรับอุปกรณ์เฉพาะทางอย่างกล้องติดตัวตำรวจ อาจพอใช้ได้ แต่ถ้าผู้ผลิตกล้องทั่วโลกทุกเจ้าต้องจัดการคีย์และติดตั้งอย่างปลอดภัยในเซนเซอร์ ไม่กี่สัปดาห์ก็คงมี คีย์รั่ว ออกมา
    • ในกรณีนี้ แม้แต่วิทยาการเข้ารหัสก็ช่วยไม่ได้ ผู้คนจะหาวิธีส่งภาพ AI เข้าไปให้ฮาร์ดแวร์เข้ารหัสเซ็นรับรองได้ภายในไม่กี่เดือน มันก็จะเป็นแค่ ชั้นความปลอดภัยปลอม อีกชั้นหนึ่งเท่านั้น

  • ผมอยู่ในวงการ SEO และได้คุยกับ “ขาใหญ่” หลายคน ซึ่งเชื่อกันว่า Google AI update กำลังจะมา ในสภาพตอนนี้ อนาคตอันใกล้ผลการค้นหาจะถูกคอนเทนต์ AI กลืนกินจนหมด
    ในระยะยาวผมมองว่าเป็นการเดิมพันที่โง่ แต่ปัจจุบันมีตัวตรวจจับ AI classifier ที่ตรวจจับ ChatGPT และโมเดลอื่น ๆ ในบทความยาวได้ค่อนข้างสำเร็จอยู่แล้ว Originality.ai เป็นตัวอย่างเด่น
    วิธีทำค่อนข้างตรงไปตรงมา คือสร้างตัวอย่างจำนวนมหาศาลจากโมเดลหลัก ๆ เช่น ChatGPT, GPT-4, LLaMA แล้วนำไปสร้างโมเดลจำแนกประเภท
    จุดอ่อนที่ชัดเจนของกลยุทธ์นี้คือ fine-tuning จะเปลี่ยนผลลัพธ์ด้านสำนวน “ขาใหญ่” คนเดิมบอกว่าเขาประสบความสำเร็จในการหลบตัวตรวจจับของ Originality.ai ด้วยวิธี fine-tuning ของตัวเอง และใช้เวลาทดสอบหลายเดือนกับเงินหลายพันดอลลาร์ในกระบวนการนั้น

    • Google ควรกลับทิศ 180 องศาโดยสิ้นเชิง และดันเฉพาะเว็บไซต์ที่ตอบคำค้นหาได้ กระชับ ที่สุดขึ้นมา
      สภาพของ Google ตอนนี้เป็นหายนะ ทุกบทความยาว 100 ย่อหน้า และคำตอบที่ต้องการถูกฝังไว้แถวกลาง ๆ เพื่อเพิ่มเวลาอยู่บนหน้าและการเลื่อนอ่านให้ถูกใจอัลกอริทึม
      ผมกำลังรอให้ Google กดเว็บไซต์สแปมพวกนี้ให้จมทั้งหมด

  • หลายความเห็นที่นี่ดูเหมือนคิดว่าในทางปฏิบัติแล้ว การจำแนกระหว่างข้อความที่มนุษย์สร้างกับข้อความที่ AI สร้างจะกลายเป็นสิ่งเป็นไปไม่ได้ เพราะความพยายามแบบนั้นถูกทำให้ไร้ผลได้หลายทางในเกมแมวจับหนูที่ไม่มีวันจบ
    ถ้ายอมรับข้อนั้น โจทย์ที่ผมคาดว่าจะเกิดขึ้นคือแบบนี้
    เรายังอยู่แค่ช่วงเริ่มต้นมาก ๆ ของการปฏิวัติ AI และในอนาคต LLM จะต้องการ ข้อมูลฝึกสอน คุณภาพสูงที่มนุษย์สร้างหรือมนุษย์คัดเลือก เพื่อให้ซับซ้อนและทรงพลังยิ่งขึ้น ขนาดของมันน่าจะใหญ่จนยากต่อการคัดเลือก ทำความสะอาด และตรวจคุณภาพด้วยมือ
    และไม่ต้องสงสัยเลยว่าในอนาคต สื่อทุกประเภทจะถูกถล่มและทำให้กลายเป็นสแปมด้วยคอนเทนต์ที่สร้างโดย AI
    ถ้าอย่างนั้น เราจะกรองข้อมูลจริงออกจากสัญญาณรบกวนที่ AI สร้างขึ้นได้อย่างไร เพื่อฝึก LLM ในอนาคตและดึงศักยภาพของมันออกมา?
    ปัญหานี้ค้างคาใจผมมาสักพัก และเพราะยังไม่มีคำที่ดีกว่า ก่อนหน้านี้ผมเคยเรียกมันชั่วคราวว่า data contamination อยากฟังมุมมองอื่น ๆ

    • ก็แค่คัดเลือกไม่ใช่หรือ? ถ้าคอนเทนต์ถูกตัดสินว่าดี แล้วมันสำคัญด้วยหรือว่า LLM เป็นคนสร้างขึ้นมา?

  • วิธีเดียวที่จะป้องกันไม่ให้ AI ตอบคำถามบนแพลตฟอร์มดิจิทัลได้ ก็คือการสร้างฐานข้อมูลแมชชีนเลิร์นนิงจาก สไตล์การพิมพ์ ที่สะสมมาตลอดช่วงที่นักศึกษาเรียนอยู่ในสถาบันหนึ่ง
    ขอให้โชคดีกับการขออนุมัติเรื่องนั้น ภาควิชาต่าง ๆ แม้แต่จะเข้าถึงข้อมูลเกรดหรือข้อมูลประชากรได้ กลุ่มปฏิบัติการยังต้องผ่านกระบวนการคณะกรรมการ 3 ขั้น
    ¯_(ツ)_/¯ ถ้าอย่างนั้นก็คงต้องลองใช้กระดาษแล้วล่ะ ถึงเวลาฝึก OCR กันใหม่แล้ว

    • ถ้า AI สามารถเลียนแบบรูปแบบภาษาได้จนทั้งมนุษย์และโมเดลตรวจจับไม่ได้ โมเดลแมชชีนเลิร์นนิงที่เลียนแบบสไตล์การพิมพ์ จังหวะ และท่วงทำนองการพิมพ์ตามธรรมชาติให้ตรวจจับไม่ได้ ก็ดูจะง่ายกว่า
      แต่ที่จริงแล้ว คนที่มีข้อมูลสไตล์การพิมพ์จริงมากกว่าคือ Google, Microsoft, Meta และบริษัททั้งหมดที่ให้บริการ SaaS ด้านเอกสาร อีเมล และการส่งข้อความ นักศึกษาจำนวนมากน่าจะเขียนเรียงความในที่อย่าง Google Docs, Word แล้วส่งเป็นไฟล์แนบ หรือคัดลอกไปวางในกล่องข้อความ