Markov Chain เป็นเทคโนโลยีที่สนุกกว่า LLM

 (emnudge.dev)
5 คะแนน โดย GN⁺ 2024-08-19 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

Markov Chain คืออะไร

  • ตอนที่ LLMs (โมเดลภาษาขนาดใหญ่) ปรากฏขึ้นครั้งแรก ผู้คนอธิบายมันว่าเป็น Markov Chain ที่ฉลาดมาก
  • ทุกวันนี้ผู้คนคุ้นเคยกับ LLMs มากกว่า Markov Chain
  • อาจพูดได้ว่า Markov Chain คือ LLM ขนาดเล็กมาก เรียบง่ายมาก และไร้เดียงสามาก
  • Markov Chain ทำนายคำถัดไปจากบริบทปัจจุบัน แต่ไม่ได้คำนึงถึงความหมาย มิติข้อมูล หรือคณิตศาสตร์เวกเตอร์ซับซ้อนอื่น ๆ
  • Markov Chain เป็นโมเดลเชิงสถิติแบบดั้งเดิม
  • ฟีเจอร์ "แนะนำคำถัดไป" บนคีย์บอร์ดมือถือโดยทั่วไปมักใช้ Markov Chain
  • Markov Chain มีต้นทุนการรันต่ำและอัปเดตให้เข้ากับสไตล์การพิมพ์ของผู้ใช้ได้ง่าย
  • แม้จะอธิบายกลไกการทำงานของ LLMs และ Markov Chain ได้อย่างลึกซึ้งกว่านี้ แต่ในที่นี้เพียงแค่รู้ว่า Markov Chain ทำงานได้ด้อยกว่า LLMs ก็พอ

ความตลกคืออะไร

  • อารมณ์ขันเกี่ยวข้องกับความประหลาดใจที่ไม่จริงจัง
  • มุกที่ดีที่สุดมักมี "snap" ที่ทั้งสนุกและสำคัญ
  • "snap" หมายถึงแรงกระแทกที่เกิดจากความประหลาดใจ
  • ยิ่งมีความประหลาดใจน้อย ก็ยิ่งตลกน้อยลง
  • นี่คือเหตุผลว่าทำไมเมื่อได้ยินมุกเดิมบ่อย ๆ มันถึงตลกน้อยลง
  • มุกตลกแบบ "สุ่ม" ไม่น่าขำ เพราะความคาดเดาไม่ได้ของมันกลับคาดเดาได้
  • การเขียนมุกคือการทำลายรูปแบบที่มีอยู่
  • สามารถเพิ่มพลังของ snap ได้ด้วย "การทำให้ฉากนั้นเป็นจริง"
  • หากใช้ภาษาที่แปลกใหม่หรือพรรณนาได้ชัดเจนขึ้น ฉากก็จะดูสมจริงมากขึ้น
  • มุกตลกมีได้หลากหลาย และอารมณ์ขันเป็นเรื่องอัตวิสัย

ความคาดเดาได้ของ LLMs

  • การคาดเดาประโยคให้สำเร็จต้องอาศัยบริบทจำนวนมาก
  • LLMs มีบริบทจำนวนมาก
  • LLMs ใช้การคำนวณทางคณิตศาสตร์จำนวนมากเพื่อหาว่าโทเคนถัดไปใดมีความเป็นไปได้มากที่สุด
  • LLM ที่ "ดีกว่า" จะยิ่งคาดเดาได้มากกว่า
  • LLMs ไม่เหมาะกับงานเขียนเชิงสร้างสรรค์
  • LLMs สร้างผลลัพธ์แบบเฉลี่ย ๆ
  • หากจะสร้างมุกตลก LLM ต้องทำให้เกิดความประหลาดใจ
  • LLM ที่ดีทำสิ่งนี้ได้ไม่ดีนัก
  • LLMs ไม่เหมาะกับการแสดงออกทางศิลปะ
  • LLMs อาจพลาดแนวคิดที่น่าสนใจ
  • กรอบแนวคิดนี้อาจนำไปสู่การสร้างโมเดลภาษาแบบใหม่ได้

ทำไมเรื่องนี้จึงน่าสนใจ

  • สิ่งนี้ชี้ไปยังบางอย่างที่ลึกกว่านั้น
  • นี่ไม่ใช่ข้อถกเถียงเรื่องจิตวิญญาณปะทะเครื่องจักร
  • แต่มันแสดงให้เห็นข้อบกพร่องที่มีอยู่ในตัวโมเดล
  • ข้อความของ ChatGPT ดูเหมือนเรียงความระดับมัธยมปลาย
  • มันคือการทำซ้ำผลลัพธ์แบบเฉลี่ย
  • มันคือการตัดบุคลิกออกไปแล้วเสริมด้วยความเคร่งครัดเชิงวิชาการ
  • มันเป็นน้ำเสียงที่จืดชืดและเป็นองค์กร
  • เราสามารถแยกแยะรีวิว Amazon ปลอมได้อย่างง่ายดาย
  • อีกไม่นานโมเดลตรวจจับ LLM คงต้องตรวจสอบบุคลิกด้วย

สรุปโดย GN⁺

  • บทความนี้อธิบายความแตกต่างระหว่าง Markov Chain กับ LLMs และสำรวจธรรมชาติของอารมณ์ขัน
  • Markov Chain เป็นโมเดลเชิงสถิติแบบเรียบง่าย และมีความสามารถในการทำนายน้อยกว่า LLMs
  • อารมณ์ขันตั้งอยู่บนความประหลาดใจที่ไม่จริงจัง และการเขียนมุกคือการทำลายรูปแบบ
  • LLMs มีความคาดเดาได้สูง จึงไม่เหมาะกับงานเขียนเชิงสร้างสรรค์
  • บทความนี้แสดงข้อจำกัดของ LLMs และชี้ให้เห็นความเป็นไปได้ของโมเดลภาษาแบบใหม่

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-08-19
ความคิดเห็นบน Hacker News

  • เมื่อหลายปีก่อนตอนทำ side project ก็ได้ข้อสรุปเดียวกัน

    • สร้างเว็บไซต์ที่สร้างโพสต์บล็อกของ AWS ขึ้นมา
    • ใช้ตัวสร้าง Markov chain ฝึกกับโพสต์ประกาศของ AWS
    • คัดลอก HTML และ CSS มาผสานกับ Python และ JS
    • ผลลัพธ์ออกมาค่อนข้างตลกดี
    • พยายามอัปเกรดโดยใช้ GPT แต่กลับสนุกน้อยกว่า
    • LLM สมัยใหม่สมจริงเกินไป เลยตลกน้อยลง
    • อารมณ์ขันของตัวสร้าง Markov ยุคแรกมาจากความเหลวไหลสุดโต่ง
    • LLM สมัยใหม่บางครั้งก็ผิด แต่ไม่ได้เหลวไหลขนาดนั้น

  • ขอให้ Claude 3.5 Sonnet เขียนมุกสั้น 10 ข้อในหัวข้อว่า Markov chain ตลกกว่า LLM

    • ทำไม Markov chain ถึงข้ามถนน? เพื่อไปยังอีกฝั่งของความคาดเดาไม่ได้
    • เมื่อ LLM กับ Markov chain เดินเข้าบาร์ LLM สั่งเครื่องดื่มที่มีความเป็นไปได้ทางสถิติ ส่วน Markov chain สั่งโคมไฟทำจากชีส
    • ถ้า Markov chain เล่นมุกพ่อ จะเรียกว่า "Mark-ov Twain"
    • LLM ใช้เวลา 20 นาทีอธิบายวิธีที่เหมาะสมที่สุดในการเปลี่ยนหลอดไฟ
    • Markov chain พูดว่า "Markov chain reaction of nonsensical hilarity"
    • เมื่อ LLM, Markov chain และ GPT-4 เดินเข้าบาร์ GPT-4 ก็เดินออกไป LLM เริ่มถกปัญหาจริยธรรม ส่วน Markov chain สั่งจักรยานที่ทำจากสปาเกตตี
    • หนังเรื่องโปรดของ LLM คือ "Predictable and Furious 17: The Safest Driving Yet"
    • Markov chain เล่าเรื่อง "เจ้าหญิงที่อาศัยอยู่ในปราสาทกล้วยและอาณาจักรเครื่องปิ้งขนมปังที่มีอารมณ์ความรู้สึก"
    • Markov chain บอก LLM ว่า "แม่ของเธอคือเครื่องลูกคิด และพ่อของเธอมีกลิ่นซิลิคอน"
    • เหตุผลที่ Markov chain ไม่เหมาะจะเป็นนักบำบัดที่ดี คือมันจะแนะนำว่า "เอาความรู้สึกของคุณไปทำเป็นกล้วยแล้วสวมเป็นหมวก"

  • ไม่ได้หมายความว่า Markov chain ดีกว่า

    • โมเดลที่ฝึกมาเพื่อการทำนายก็คงไม่ควรต่างจากกลไกการทำนายภายในหัวเรามากนัก
    • ปัญหาคือมันกำลังเข้าใกล้ uncanny valley ของข้อความ

  • ตอนเรียนมหาวิทยาลัย เพื่อน ๆ เคยใช้ตัวสร้าง Markov chain กับคอลัมน์ "รายงานตำรวจ" ของหนังสือพิมพ์มหาวิทยาลัย

    • ราว 10% ของผลลัพธ์ตลกที่สุด
    • LLM สมัยใหม่พยายามรักษาความหมายระดับสูงไว้ จึงหลีกเลี่ยงความเหลวไหลแบบนี้

  • รู้สึกไม่สบายใจกับการใช้พระคัมภีร์ในการทดลองแบบนี้

    • คล้ายกับการเอาภาพการตรึงกางเขนของพระเยซูไปใช้กับโมเดลแก้ไขภาพ AI

  • ในฐานะหลักฐานเชิงประจักษ์ /r/subreddit simulator เป็นงานล้อเลียน Reddit แบบอิง Markov

    • /r/SubSimulatorGPT2 เป็นเวอร์ชันที่อิง LLM
    • เวอร์ชัน Markov ได้อัปโหวตมากกว่าและตลกกว่า

  • เคยโพสต์ "XYZ ปลอมที่ AI เขียน" ลง Reddit หลายครั้ง

    • โมเดลที่ได้เสียงตอบรับดีที่สุดคือ GPT-2
    • Markov chain ไม่น่าสนใจเกินหนึ่งหรือสองประโยค
    • โมเดลหลัง GPT-3 สะอาดเนี้ยบเกินไปและน่าเบื่อ
    • GPT-2 ยังพอรักษาไวยากรณ์และคงแนวคิดให้สอดคล้องได้ ขณะเดียวกันก็รู้เรื่องเฉพาะทางไม่มากพอ จึงตลกกว่า

  • ราว 10 ปีก่อนตอนยังเรียนอยู่ เคยทำบอต Twitter แบบ Markov

    • ฝึกมันด้วยอีเมล LKML ของ Linus Torvalds และคำอ้างอิงจาก King James Bible ของพระเยซู
    • ชุดข้อมูลฝึกทั้งสองแทบไม่ทับซ้อนกันเลย จึงต้องเพิ่ม hysteresis เข้าไป

  • วิวัฒนาการของบล็อก AI weirdness สนับสนุนแนวคิดนี้

    • LLM ยุคแรก ๆ โดยเฉพาะเวอร์ชันก่อน GPT-3 ตลกกว่า
    • ตัวอย่างเช่น ชื่อซีเรียลที่ GPT รุ่น Ada สร้างขึ้นตลกกว่าของรุ่น Da Vinci

  • มีบอตอยู่สองตัวในเซิร์ฟเวอร์ Discord ส่วนตัว

    • ตัวหนึ่งเป็นบอต Markov chain พื้นฐานที่ฝึกจากประวัติแชตทั้งหมด
    • อีกตัวเป็นบอต LLM แบบจริงจัง
    • บอต Markov chain ตลกกว่าเสมอ