1 คะแนน โดย GN⁺ 1 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Claude Opus 4.7 ของ Anthropic ระบุว่า Kelsey Piper เป็นผู้เขียนที่มีความเป็นไปได้สูงสุดจากการดูเพียงร่างต้นฉบับ 125 คำที่ไม่เคยเผยแพร่ และได้ผลเหมือนกันทั้งในโหมดไม่ระบุตัวตน บนคอมพิวเตอร์ของเพื่อน และการทดสอบผ่าน API
  • ChatGPT และ Gemini เดาว่าเป็น Matt Yglesias หรือ Scott Alexander จากข้อความเดียวกัน แต่ Claude Opus 4.7 ระบุว่าเป็น Piper ซ้ำๆ แม้ในงานเขียนที่ แนวและช่วงเวลาต่างกัน เช่น ร่างงานด้านการศึกษา รีวิวภาพยนตร์ นิยายแฟนตาซี และเรียงความสมัครมหาวิทยาลัยเมื่อ 15 ปีก่อน
  • เหตุผลประกอบ ที่โมเดลให้มามักไม่น่าเชื่อถือ และดูเหมือนว่าแท้จริงแล้วมันกำลังจับ ลักษณะติดตัวทางสำนวน ที่สังเกตได้ยาก มากกว่าจะอนุมานแบบนักสืบอย่างมนุษย์
  • คนอย่าง Piper ที่มีงานเขียนเปิดเผยชื่อจริงบนอินเทอร์เน็ตจำนวนมาก อาจสูญเสีย ความไม่ระบุตัวตน แม้ในแชตกับ AI หรือโพสต์จากบัญชีนิรนาม และนักวิชาการกับนักวิจัยในอุตสาหกรรมหลายคนก็รายงานว่าถูกระบุตัวได้ระหว่างเขียนร่างหรือพูดคุย
  • คนที่ไม่มีงานเขียนสาธารณะภายใต้ชื่อจริงมากนัก ยังไม่ถึงขั้นถูกถอดความนิรนามได้จากย่อหน้าเดียว แต่โมเดลก็สามารถตีวงให้แคบลงถึงระดับเพื่อนสนิทหรือสมาชิกในช่อง Discord เดียวกันได้ และปริมาณ ข้อความสาธารณะ ที่ต้องใช้ในอนาคตอาจลดลงอีกมาก

การทดลองระบุตัวผู้เขียนของ Opus 4.7

  • โมเดลใหม่ของ Anthropic คือ Claude Opus 4.7 ระบุว่า Kelsey Piper เป็นผู้เขียนที่มีความเป็นไปได้สูงสุดจากการดูเพียงร่างต้นฉบับ 125 คำที่ Piper ยังไม่เคยเผยแพร่
  • สำหรับข้อความเดียวกัน ChatGPT เดาว่าเป็น Matt Yglesias ส่วน Gemini เดาว่าเป็น Scott Alexander
  • ไม่มีการเปิดใช้ความจำของบัญชีหรือข้อมูลผู้ใช้ ทดสอบใน Incognito Mode และได้ผลเหมือนกันทั้งบนคอมพิวเตอร์ของเพื่อนและผ่าน API
  • ย่อหน้าทดสอบแรกดูคล้ายบทนำของคอลัมน์การเมือง และเพราะ Piper มีงานเขียนสาธารณะอยู่บนอินเทอร์เน็ตจำนวนมาก การระบุจากสไตล์ในระดับนี้จึงไม่ถึงกับเป็นไปไม่ได้
  • แต่ Opus 4.7 ยังคงระบุว่าเป็น Piper แม้กับงานเขียนที่ห่างไกลจากขอบเขตกิจกรรมสาธารณะที่เธอทำอยู่ จึงทำให้ผลลัพธ์ยิ่งน่าประหลาดใจ

ระบุตัวได้ต่อเนื่องแม้ต่างแนวและต่างช่วงเวลา

  • ร่างงานด้านการศึกษา

    • แม้เป็นร่างรายงานความคืบหน้าของโรงเรียนที่ไม่เคยเผยแพร่ Claude ก็ยังตอบว่า “Kelsey Piper”
    • สำหรับข้อความเดียวกัน ChatGPT เดาว่าเป็น Freddie deBoer ส่วน Gemini เดาว่าเป็น Duncan Sabien
    • การศึกษาไม่ใช่เรื่องที่ไม่เกี่ยวข้องเสียทีเดียว เพราะเป็นหัวข้อที่ Piper เคยเขียน
  • รีวิวภาพยนตร์

    • แม้จะอยู่ในรูปแบบ รีวิวภาพยนตร์ ซึ่ง Piper ไม่เคยทำในงานเขียนสาธารณะ Claude และ ChatGPT ก็ยังตอบถูกว่าเป็น Kelsey Piper
    • Gemini เสนอชื่อ Ursula Vernon ส่วน Claude Opus 4.6 ในสัปดาห์ก่อนหน้าตอบอย่างมั่นใจว่าเป็น Elizabeth Sandifer
    • รีวิวที่ใช้ทดสอบเป็นบทความเกี่ยวกับภาพยนตร์ยุคสงครามโลกครั้งที่สองและ To Be or Not To Be
  • นิยายแฟนตาซี

    • ในร่างนิยายแฟนตาซี Claude ต้องใช้ราว 500 คำจึงจะตอบว่าเป็น Kelsey Piper
    • ในกรณีเดียวกัน ChatGPT เดาว่าเป็นนักเขียนแฟนตาซีตัวจริง K.J. Parker
  • เรียงความสมัครมหาวิทยาลัยเมื่อ 15 ปีก่อน

    • แม้เป็นเรียงความสมัครมหาวิทยาลัยที่เขียนไว้เมื่อ 15 ปีก่อน Claude และ ChatGPT ก็ยังระบุว่าเป็น Kelsey Piper
    • การทดสอบนี้ต้องใช้พรอมป์ต์ที่แรงขึ้นเพื่อข้ามแนวโน้มของ Claude ที่จะปฏิเสธการระบุตัวนักเรียนผู้สมัครมหาวิทยาลัย
    • ยังเป็นไปได้ว่ามันใช้เบาะแสจากประสบการณ์การถกเถียงเชิงนโยบายที่อยู่ในเรียงความ

คำอธิบายของโมเดลเชื่อถือได้ยาก

  • หลังจาก AI ระบุว่าเป็น Kelsey Piper แล้ว เหตุผลประกอบ ที่ให้มามักฟังไม่ขึ้น
  • Claude พยายามโน้มน้าวว่า To Be or Not To Be เป็นภาพยนตร์ที่กลุ่ม effective altruist ชื่นชอบกันอย่างเด่นชัด แต่ Piper มองว่าไม่เป็นความจริง
  • ChatGPT ตอบว่าเรียงความสมัครมหาวิทยาลัยดูเหมือนงานเขียนของคนที่จะไปทำงานอธิบายแนวคิดนโยบายที่ซับซ้อน จึงตีวงมาที่ Kelsey Piper
  • คำอธิบายลักษณะนี้ดูเหมือนถูกสร้างขึ้นภายหลัง โดยโมเดลพูดเหมือนกำลังอนุมานแบบนักสืบมนุษย์ แต่จริงๆ แล้วน่าจะกำลังจับลักษณะติดตัวทางสำนวนที่สังเกตได้ยาก
  • อาการหลอนของ AI ยังไม่ใช่ปัญหาที่ถูกแก้แล้ว และแม้ Opus 4.7 จะหาเหตุผลรองรับวิธีของตัวเองได้แปลกๆ แต่ความสามารถพื้นฐานในการระบุตัวผู้เขียนนั้นแข็งแกร่งมาก

ความไม่ระบุตัวตนที่หายไปเมื่อคุยกับ AI

  • เวลาเปิดแชต AI ใหม่อาจรู้สึกเหมือนยังมีความไม่ระบุตัวตน แต่เมื่อมีการสนทนาจริงเพียงไม่กี่รอบ ก็มีเหตุให้คิดว่า Claude สามารถรู้ได้ว่าคู่สนทนาเป็นใคร
  • สำหรับคนอย่าง Piper ที่ทิ้งงานเขียนสาธารณะไว้บนอินเทอร์เน็ตจำนวนมาก มองได้ว่า ความไม่ระบุตัวตน ไม่เหลือแล้ว
  • แม้ด้วยเครื่องมือ AI ในปัจจุบันเพียงอย่างเดียว ก็อาจเป็นไปได้ที่จะถอดความนิรนามของข้อความจากบัญชีนิรนาม หากผู้เขียนมีคลังงานเขียนสาธารณะขนาดใหญ่ที่ใช้ชื่อจริง
  • อย่างไรก็ดี หากใครระมัดระวังอย่างยิ่งมาหลายปีไม่ให้ลายนิ้วมือทางสำนวนของบัญชีหลักหลุดไปอยู่ในบัญชีรอง ก็อาจเป็นข้อยกเว้นได้
  • นักวิชาการ และนักวิจัยในอุตสาหกรรม หลายคนก็รายงานประสบการณ์ว่าถูกระบุตัวได้ระหว่างเขียนร่างหรือระหว่างพูดคุย

ยังไม่สามารถระบุตัวทุกคนได้จากย่อหน้าเดียว

  • AI ยังไม่สามารถถอดความนิรนามของ ทุกคน ได้จากเพียงย่อหน้าเดียว
  • เมื่อนำร่างและย่อหน้าของเพื่อนที่มีงานเขียนเผยแพร่ภายใต้ชื่อจริงไม่มากมาทดสอบ AI ก็ยังไม่สามารถถอดความนิรนามของพวกเขาได้
  • หากไม่มีงานเขียนภายใต้ชื่อจริงบนอินเทอร์เน็ตอย่างมีนัยสำคัญ ในตอนนี้ก็ยังถือว่าปลอดภัย
  • แต่ในข้อความที่เพื่อนซึ่งแทบไม่มีบัญชีสาธารณะหรือบทความออนไลน์โพสต์ในช่อง Discord นั้น Claude 4.7 แม้จะระบุตัวไม่สำเร็จ ก็ยังเดาว่าเป็นเพื่อนสนิทอีกสองคนที่อยู่ในช่องเดียวกัน
  • เมื่อป้อนย่อหน้าเพิ่ม ก็เริ่มมีชื่อเพื่อนร่วมกลุ่มคนอื่นๆ โผล่มาด้วย และในบางกรณีข้อความของเพื่อนอีกคนก็ถูกระบุผิดว่าเป็นชื่อเพื่อนอีกคน

สำนวนมีเอกลักษณ์กว่าที่คิด

  • ผู้คนมักรับเอา ลักษณะติดตัวทางสำนวน จากวัฒนธรรมย่อยที่ตนสังกัด จึงทำให้ข้อความมีพลังในการระบุตัวตนสูงกว่าที่คาด
  • โมเดลสามารถเข้าใกล้ตัวตนจริงได้อย่างน่าประหลาดด้วยข้อมูลเพียงเล็กน้อย
  • โมเดลปัจจุบันอาจเป็นเพียงรุ่นที่อ่อนที่สุดในบรรดา AI ที่จะตามมาในอนาคต
  • ปริมาณข้อความสาธารณะที่จำเป็นต่อการถอดความนิรนามแบบนี้มีแนวโน้มจะลดลงเรื่อยๆ ตามเวลา
  • คาดว่าเมื่อคนลาออกจากงานแล้วไปเขียนรีวิวแบบนิรนามอย่างละเอียดบน Glassdoor ภายใน 1–2 ปี บริษัทอาจคัดลอกข้อความนั้นไปใส่ AI แล้วรู้ได้ว่าใครเป็นคนเขียน

วิธีหลีกเลี่ยงและข้อสรุปที่ยังคงอยู่

  • หากต้องการรักษาความไม่ระบุตัวตน ก็อาจต้องเขียนให้ต่างจากสไตล์ปกติอย่างตั้งใจมาก
  • หรืออาจให้ AI เขียนใหม่ทุกอย่างแทน แต่ผู้เขียนมองว่าโลกแบบนั้นไม่น่าปรารถนา
  • นี่ไม่ใช่การเปลี่ยนแปลงที่ดี แต่ใกล้เคียงกับการเปลี่ยนแปลงที่คาดเดาได้
  • สาเหตุที่เรื่องนี้เกิดกับ Piper ก่อนก็เพราะเธอเขียนบนอินเทอร์เน็ตอย่างเอาจริงเอาจังมาตลอดชีวิตผู้ใหญ่ และท้ายที่สุดมันก็น่าจะเกิดกับคนอื่นเช่นกัน
  • ความไม่ระบุตัวตนของคนที่เขียนมากอาจอยู่ได้ไม่นาน และผู้เขียนนิรนามควรรู้เรื่องนี้ล่วงหน้าแทนที่จะต้องมาแปลกใจในภายหลัง

1 ความคิดเห็น

 
GN⁺ 1 시간 전
ความเห็นจาก Hacker News
  • น่าทึ่งจริง ๆ ลองให้ Kimi K2.6 เขียนบล็อกโพสต์สไตล์ James Mickens แล้วเอาผลลัพธ์นั้นไปใส่ใน Opus 4.7 จากนั้นถามว่าใครน่าจะเป็นผู้เขียน ก็ชี้ได้ถูกต้องว่าเป็นงานเลียนแบบ James Mickens
    มันตอบว่า “ถ้ามองจากลายนิ้วมือทางสไตล์การเขียน นี่ใกล้เคียงงาน pastiche/งานเลียนแบบที่ผสมสไตล์ของนักเขียนหลายคนมากกว่า แต่ถ้าต้องเลือกคนเดียว ตัวเต็งที่แรงที่สุดคือข้อความที่เขียนด้วยน้ำเสียงของ James Mickens” และยังบอกด้วยว่า “สไตล์ของ Mickens นั้นโดดเด่นมากจนถูกล้อเลียนบ่อย ดังนั้นมันอาจเป็นงานคารวะโดยตั้งใจหรือข้อความที่ AI สร้างขึ้นก็ได้”
    https://kagi.com/assistant/5bfc5da9-cbfc-4051-8627-d0e9c0615...
    https://kagi.com/assistant/fd3eca94-45de-4a53-8604-fcc568dc5...

    • สงสัยว่ามีโอกาสแค่ไหนที่มันตัดสินแบบนั้นเพราะรู้อยู่แล้วจากข้อมูลฝึกล่าสุดว่านี่ไม่ใช่งานของ Mickens เอง น่าจะต้องลองกับงานเขียนใหม่ของ Mickens ที่ออกมาหลังช่วงฝึกดูว่ามันยังระบุว่าเป็น งานของเจ้าตัวเอง ได้ไหม
    • น่าสนใจอยู่ แต่ไม่ถึงกับน่าประทับใจเท่าโพสต์ต้นฉบับ Mickens มีสไตล์ที่แปลกมาก และงานเขียนครั้งนี้ก็ใกล้เคียงพอสมควรแต่ยังจับได้ไม่หมด ดังนั้นถ้าเป็นฉันก็คงมองว่าเป็น งานเลียนแบบ เหมือนกัน ตรงกันข้ามกับชิ้นส่วนงานเขียนของตัวเองที่ Kelsey ยกมา ซึ่งถึงจะอ่านมามากก็ยังคงระบุไม่ได้เลย
    • จุดที่สะดุดตาคือมันไม่ได้แค่เดาว่าเป็น James Mickens แต่ยัง ระบุได้ว่าเป็นงานเลียนแบบ
      ดูเหมือนมันจะจับได้ไม่ใช่แค่สไตล์ แต่รวมถึงช่องว่างระหว่างสไตล์จริงกับสไตล์ที่ถูกแสดงด้วย เรื่องนี้มีประโยชน์กับการตรวจจับ pastiche แต่เป็นสัญญาณที่ค่อนข้างน่ากังวลสำหรับการเขียนภายใต้นามแฝง
    • อ้างอิงเพิ่มเติม เอาสองสามย่อหน้าแรกจากลิงก์แรกไปวางใน pangram แล้วมันก็ระบุได้ถูกต้องว่าเป็นข้อความที่ AI เขียน: https://www.pangram.com/history/790fc2b8-6348-47fa-ad3e-8bae...
    • อยากรู้ว่าถ้าใส่งานของ Mickens จริง ๆ โดยเฉพาะงานล่าสุดที่ไม่น่าอยู่ในชุดฝึก มันจะตอบว่าอย่างไร มีแค่ ตัวอย่างเดียว ยังน่าจะเร็วเกินไปที่จะทึ่งมากนัก
  • ผมค่อนข้างสงสัยอย่างมากกับคำกล่าวพวกนี้ รวมถึงคอมเมนต์อื่น ๆ ที่บอกว่าทำซ้ำผลลัพธ์ได้
    อย่างแรก ผู้เขียนเอาร่างที่ยังไม่เผยแพร่ไปใส่ในโมเดลที่ Anthropic โฮสต์ไว้ และน่าจะทำผ่านบัญชีส่วนตัว ซึ่งอาจผูกกับบัตรเครดิตหรืออย่างน้อยก็ชื่อแฝงที่ระบุตัวตนได้เฉพาะเจาะจง
    จากนั้นก็เอาร่างเดิมไปใส่อีกครั้งในสภาพแวดล้อมอย่างหน้าต่างไม่ระบุตัวตน แต่เราไม่รู้เลยว่า Anthropic แยกสองคำขอนี้ออกจากกันได้จริงแค่ไหน ผมค่อนข้างไม่เชื่อว่ามีการ air gap อย่างเหมาะสมจนไม่สามารถมองว่าเป็นคำขอจากผู้ใช้คนเดิมไปยังโมเดลโฮสต์ตัวเดียวกันได้
    ต่อมาก็ให้เพื่อนเอาร่างนั้นไปโพสต์ ซึ่งก็น่าจะมีร่องรอยดิจิทัลที่เชื่อมความสัมพันธ์ระหว่างเพื่อนกับผู้เขียนได้เช่นกัน metadata แบบนี้สามารถถูกประมวลผลที่ฝั่ง backend ได้มากพอก่อนที่เราจะเห็นคำตอบจากกล่องดำ
    ถ้ามีจุดข้อมูลมากขนาดนี้ ผมคิดว่าโมเดลระดับนี้อาจเดาผู้เขียนได้จากรูปแบบพฤติกรรมที่เชื่อมทั้งสามเหตุการณ์เข้าด้วยกัน ไม่ใช่แค่วิเคราะห์สำนวนการเขียนอย่างเดียว และยังมีสมมติฐานด้วยว่า Anthropic ไม่ได้เอาแชตไปฝึกโมเดล แต่จะเชื่อได้อย่างไรว่าโมเดลโฮสต์ปฏิบัติตามเรื่องไม่ใช้ฝึกและปิด session memory จริง ๆ

    • ผมลองทำอะไรคล้าย ๆ กันจริงผ่าน API แล้ว บน Opus 4.6 โดยเปิด chain of thought และสรุปไว้
      ก่อนอื่น LLM API นั้นไร้สถานะโดยสมบูรณ์ ไม่มีข้อมูลผู้เรียกติดไปด้วย และไม่มี memory หรือการเข้าถึงเว็บค้นหา เว้นแต่จะส่งให้โดยชัดเจน
      ข้อสรุปคือ ถ้าข้อความที่ใส่เข้าไปดูเหมือนคนดังบนอินเทอร์เน็ตเป็นคนเขียน มันจะบอกอย่างมั่นใจมากว่าคนนั้นเป็นคนเขียน ผมลองใส่คอมเมนต์ HN จากไม่กี่วันที่ผ่านมาและจากปี 2023 ซึ่งอยู่ก่อนช่วงตัดข้อมูลฝึก ส่วนใหญ่ถูกจัดไปเป็น Scott Alexander หรือ Patrick McKenzie ทั้งที่สไตล์จริงของผมต่างจากสองคนนั้นมาก
      พอดู chain of thought จะเห็นว่ามันพยายามเทียบกับบุคคลดังบนอินเทอร์เน็ตทั้งวงการ ถ้าเป็นข้อความแนว HN ก็จะไหลไปประมาณ “tptacek ไหม? ไม่ใช่ jacquesm ไหม? ไม่ใช่ patio11 ล่ะ? ใช่ คนนั้นแหละ!”
    • แล้วจะอธิบายอย่างไรกับคนอื่นที่บอกว่าได้ผลลัพธ์คล้ายกันในแชตนี้ ทุกคนกำลังทำพลาดแบบเดียวกันหมดงั้นหรือ?
  • ใน Claude แบบหน้าต่างไม่ระบุตัวตน ปิดการค้นหา แล้วคัดลอกเฉพาะเนื้อหาของ https://simonwillison.net/2026/Apr/30/zig-anti-ai/ โดยตัด Markdown link ออก จากนั้นถามว่า “ลองเดาผู้เขียนดู” ก็ได้คำตอบแบบนี้
    “Simon Willison. เบาะแสค่อนข้างชัด: การอ้างที่มาแบบ ‘(via Lobsters)’, การแก้ไขในวงเล็บกลางบทความอย่าง ‘(Update:...)’, การใส่ลิงก์และคำอ้างจำนวนมาก, การโฟกัสที่ LLM และเครื่องมือ AI, และโครงสร้างแบบลิงก์โพสต์เชิงอรรถที่เติมคอมเมนต์ลงบนงานเขียนของคนอื่น ทั้งหมดนี้ตรงกับโพสต์ในบล็อก simonwillison.net อย่างเป๊ะ”

    • ผมลองทดลองแบบเดียวกันกับบทสนทนาที่คุยกับเพื่อนร่วมงานเมื่อกว่าสิบปีก่อน เป็นข้อความที่เคยคิดจะตีพิมพ์แต่สุดท้ายก็เงียบไปและนอนอยู่ในฮาร์ดดิสก์ของผม
      ในนั้นมีน้ำเสียงเฉพาะตัวของคนสองคน และทั้งคู่ต่างก็มีงานเขียนที่เผยแพร่ภายใต้ชื่อตัวเองซึ่งอาจเข้าไปอยู่ในชุดฝึกของ LLM แล้ว แถมในบริบทยังมีเบาะแสบางอย่างด้วย
      พอรัน Opus 4.7 ในโหมดไม่ระบุตัวตนและไม่เปิดเว็บค้นหา มันยอมแพ้ โดยตอบว่า “ผมไม่สามารถระบุผู้เขียนทั้งสองได้อย่างมั่นใจ ผมไม่รู้จักบทสนทนานี้โดยเฉพาะ และขอพูดแบบนั้นดีกว่าเสี่ยงระบุผิด แต่ผมพอจะบอกเบาะแสจากตัวข้อความเองได้: ทั้งสองเป็นเพื่อนร่วมงานในมหาวิทยาลัยเดียวกัน มีออฟฟิศอยู่ตึกเดียวกัน...”
      แต่พอเปิดบทสนทนาไม่ระบุตัวตนใหม่อีกอัน ใช้พรอมป์ต์เดิมแต่อนุญาตให้ค้นเว็บได้ จากร่องรอยการอนุมานดูเหมือนมันค้นหาไป 26 ครั้งแล้วก็หาชื่อผมเจอได้ตรงเป๊ะ ดูเหมือนจะใช้ทั้งเนื้อหาและสไตล์เป็นเบาะแส ส่วนเรื่องที่เพื่อนร่วมงานเป็นชาวอังกฤษมันเดาถูก แต่หาชื่อเขาไม่เจอ
    • ดูเหมือนคุณจงใจไม่สรุปข้อสรุปสุดท้ายไว้ แปลว่ายังชั่งใจอยู่ ถ้าอย่างนั้นก็อยากอ่านว่าคุณคิดอย่างไรกับเรื่องนี้
  • ผมลองเอาบล็อกโพสต์ที่คนอ่านเยอะที่สุดของตัวเองไปให้มันระบุตัวตน ผลคือมันฟันธงอย่างมั่นใจว่าเป็นงานของ Kelsey Piper ดูเหมือนใน “หัว” ของ Opus จะให้น้ำหนักกับนักเขียนบางคน มากเกินไป

    • ใช่แล้ว การระบุเจ้าของสำนวน เป็นงานที่โมเดลอเนกประสงค์ขนาดใหญ่ทำได้ไม่ค่อยดีนัก และเป็นแบบนี้แม้กับเนื้อหาที่น่าจะเคยถูกฝึกมาแล้วก็ตาม แม้มันจะเป็นงานจำแนกประเภท แต่ความสามารถด้านนี้ก็มีขีดจำกัด ภายในมันมีอะไรเกิดขึ้นเยอะมากและไม่ใช่เวทมนตร์ จำเป็นต้องมีการทดลองที่ออกแบบมาดีจริง ๆ ไม่ใช่อาศัยเกร็ดเล่า
    • หรืออาจต้องมีจำนวนตัวอย่างขั้นต่ำในชุดฝึกก็ได้ ผมลองใส่บทสนทนาส่วนตัวสั้น ๆ ไม่กี่ชิ้น มันปฏิเสธ แต่พอใส่เนื้อหาเพิ่มขึ้น มันเดาว่าเป็น John Carmack ซึ่งก็ฟังแล้วรู้สึกดีแต่ไม่ถูก
  • ว้าว ผมก็โดนเดาถูกเหมือนกัน ผมดังน้อยกว่า Kelsey Piper มาก แต่พอให้มันดูส่วนหนึ่งของหนังสือที่ยังไม่ตีพิมพ์ มันก็เดาชื่อผมได้ทันที
    “จากทั้งสไตล์และเนื้อหา ข้อความนี้น่าจะเป็นงานของ Michael Lynch ซึ่งเขียนที่ refactoringenglish.com และก่อนหน้านี้ที่ mtlynch.io” จากนั้นยกเบาะแสอย่างอุปมา “clean room” ที่เอาไปใช้กับคำแนะนำเรื่องการเขียน, โครงสร้างที่เสนอข้อแก้ตัวที่มีข้อบกพร่องแล้วขนานกับสถานการณ์เหลวไหลแบบระเบิดเวลานับถอยหลัง, ประเด็นเรื่องใช้เครื่องมือ AI แต่ไม่ให้โทนแบบ AI มาปนเปื้อนสำนวน, และน้ำเสียงที่เป็นกันเองแต่แม่นยำ
    https://kagi.com/assistant/bbc9da96-b4cf-456b-8398-6cf5404ea...

    • หลังจากลองทำซ้ำแล้วผมก็ลองกับงานเขียนของตัวเอง มันตอบว่างานนี้ไม่มีโครงสร้างที่ขับเคลื่อนด้วยอุปมาอย่างชัดเจนแบบงานของ Lynch แต่มีความเป็นภาษาพูดมากกว่า กระจัดกระจายเล็กน้อย และเป็นน้ำเสียงที่ตระหนักถึงความขัดแย้งในตัวเอง
      มันยกชื่อ Henrik Karlsson, Simon Willison, Scott Alexander, Paul Graham ฯลฯ เป็นผู้ต้องสงสัย แต่ความมั่นใจต่ำ และเดาที่ดีที่สุดคือใครสักคนในสายบล็อกเกอร์/นักวิจารณ์ AI ฝั่ง rationalist/tech เช่น Gergely Orosz, Nat Eliason หรือ Dan Shipper จาก Every
      ซึ่งแต่ละคนก็มีสไตล์ต่างกันมาก เลยดูเหมือนว่า Opus จะ พึ่งพาหัวข้ออย่างมาก และมีแนวโน้มเดาไปหานักเขียนที่ผลงานเยอะ
    • ถามจริงจังเลย ถ้าคุณรู้ว่าโมเดลสามารถเขียนเหมือนคุณได้ มันทำให้คุณอยากใช้มันช่วยเขียนหนังสือเล่มใหม่ไหม?
  • น่าจะมีคนควรรู้มากกว่านี้ว่าข้อความของมนุษย์มีข้อมูลที่ใช้ระบุตัวตนได้เยอะมาก และเมื่อสิบปีก่อนโมเดลสถิติแบบง่าย ๆ ก็ทำอะไรระดับนี้ได้แล้ว
    เมื่อก่อนมี Show HN ที่วิเคราะห์ความคล้ายกันของผู้ใช้ HN อยู่หลายอัน เท่าที่จำได้ โมเดลเหล่านั้นเรียบง่ายมากจนแทบใช้แค่คู่คำที่ดูน่าเชื่อที่สุดก็ยังหลอกได้ยาก แต่กลับมีประสิทธิภาพมาก ถึงตอนนี้อาจหายไปแล้วแต่ กล่องแพนโดรา ได้ถูกเปิดไปนานแล้ว
    ดังนั้นบัญชี “นิรนาม” ก็เชื่อมกับตัวตนจริงได้มาหลายสิบปี ทางที่ดีที่สุดคืออย่าโพสต์อะไรที่ย้อนมาทำร้ายตัวเองจริง ๆ อีกทางเลือกคือเขียนเสร็จแล้วให้ LLM ช่วยเขียนใหม่ แต่ผมก็ไม่รู้เหมือนกันว่าปลอดภัยแค่ไหน

    • ตั้งแต่ยุค Markov chain ก็สร้างข้อความเพี้ยน ๆ สไตล์ Shakespeare ได้แล้ว เพราะงั้นการทำย้อนกลับก็คงไม่ใช่เรื่องน่าแปลก
      เพียงแต่ LLM สามารถตอบสนองได้แม้กระทั่งการพิมพ์ผิดครั้งเดียว แล้วอ้างว่า “นี่คือข้อผิดพลาดที่คนอิตาลีมักทำ” พร้อมใช้เบาะแสแบบนั้นได้ มันมีความรู้พื้นหลังดีกว่ามาก เลยตัดสินใจบนฐานข้อมูลที่แน่นกว่า
    • ในฐานะคนที่โตมากับการเล่น MUD ผู้คนมักจำกันได้ว่าเป็นใครจาก แพตเทิร์นประโยค ล้วน ๆ แม้จะไปอยู่ในเกมกราฟิกที่ต่างกันโดยสิ้นเชิงก็ตาม
    • ถ้าอยากได้รายละเอียด มีงานทำซ้ำพร้อมคำอธิบายอยู่ที่นี่: https://antirez.com/news/150
  • เมื่อหลายปีก่อนผมคุยเรื่องนี้กับนักฟิสิกส์ที่ค่อนข้างมีชื่อเสียงคนหนึ่ง เขามีสิทธิ์เข้าถึง GPT-4 เวอร์ชันดิบ ก่อน instruction tuning ในฐานะผู้ทดสอบยุคแรก
    เขาบอกว่าถ้าเอาชิ้นส่วนต้นข้อความไปใส่ โมเดลจะเขียนต่อด้วยน้ำเสียงของเขาและลงท้ายด้วยการเซ็นชื่อเขาเอง ปรากฏการณ์นี้เป็นไปได้มานานพอสมควรแล้ว และอาจอ่อนลงเล็กน้อยเพราะการฝึกแบบ instruction-following ภายหลัง ขณะที่ระดับความชัดก็น่าจะต่างกันไปตามขนาดของการ pretrain

    • สิ่งสำคัญคือข้อความนั้นเป็นงานสาธารณะที่อยู่ในชุดฝึกแล้วหรือไม่ หรือเป็นงานส่วนตัวที่สำหรับ AI แล้วแทบไม่ต่างจากการแต่งสดตรงนั้น
      ผมไม่สงสัยเลยว่า AI สามารถ “พิมพ์ลายนิ้วมือ” ผู้เขียนจากองค์ประกอบอย่างไอเดีย คำศัพท์ และโทนได้ แต่ในแง่ความสามารถแล้วมันเป็นคนละเรื่องกัน
  • อาจมีคำตอบที่ง่ายกว่าและน่าสนใจน้อยกว่าอยู่ นี่อาจไม่ใช่ความสามารถในการถอดนิรนามที่จะใช้ได้กับคนธรรมดาที่ไม่ใช่นักเขียน แต่เป็นแค่การจับ น้ำเสียงและสไตล์ ได้หรือเปล่า?
    คนนี้เป็นนักเขียนฝีมือดี และส่วนหนึ่งของความสามารถนั้นคือการสร้างน้ำเสียงกับสไตล์ที่เป็นเอกลักษณ์ AI สามารถระบุสิ่งนั้นได้ และการที่มันระบุนักเขียนเฉพาะทางได้แม้จะค่อนข้างเฉพาะกลุ่มก็ถือว่าน่าประทับใจ แต่ก็เป็นคนละเรื่องกับความสามารถที่กว้างกว่านั้นในการถอดนิรนามผู้คนจากข้อความสุ่มอย่างโพสต์ Facebook หรือข้อความแชต
    ถ้าเป็นนักดนตรีมืออาชีพ การฟังไม่กี่วินาทีแล้วเดาได้ว่าเป็นนักแสดงหรือการบันทึกเสียงของใครไม่ใช่เรื่องยาก ไม่ว่าจะเล่น Bach หรือ Rachmaninov สไตล์มันก็ยังเป็น “คนนั้น” อยู่ดี แต่จะให้เดานักเรียนมัธยมที่ไม่เปิดเผยชื่อ แม้จะเป็นลูกศิษย์ตัวเอง ก็ยากกว่ามาก ค่ากลางของคนส่วนใหญ่มักถอยกลับไปสู่สไตล์ที่คล้ายกันและโดดเด่นน้อยกว่าอย่างรวดเร็ว

    • ก็จริง แต่ในการทดลองที่เธอทำกับงานร้อยแก้วของเพื่อน ๆ โมเดลก็ยังจับได้ว่าพวกเขาเป็น “คนรอบตัวเธอ”
      ดังนั้นมันไม่ใช่แค่เรื่องที่บางคนพัฒนาน้ำเสียงเฉพาะตัวขึ้นมาแล้ว “ปิด” มันไม่ได้เท่านั้น
    • เมื่อหลายสิบปีก่อนผมอยู่ตามฟอรัมออนไลน์สายพังก์ ฮาร์ดคอร์ และเฮฟวีเมทัล ซึ่งมีปัญหาคนคุณภาพแย่ที่ชอบพูดเรื่องเหยียดเชื้อชาติหรือแนวนาซีเข้ามาซ้ำ ๆ
      พอถูกแบน พวกนี้ก็จะกลับมาด้วยบัญชีใหม่และพยายามอยู่แบบ “เงียบ ๆ” โดยใช้ภาษาที่อ้อมขึ้น แต่ผู้ดูแลฟอรัมกลับมีเซนส์ที่น่าเหลือเชื่อในการจำคนได้จากสไตล์การเขียนล้วน ๆ
      เว็บไม่เคยนิรนามเท่าที่คนคิด และดูเหมือนผู้เขียนโพสต์นี้จะสับสนระหว่างความหมายของ anonymity กับการปกปิดตัวตนจริง การเป็นนักเขียนที่ตีพิมพ์งานและมีสำนวนโดดเด่นก็แทบไม่ต่างจากทิ้ง ลายนิ้วมือ ไว้บนขวาน
    • โดยรวมแล้วคนที่ถูกระบุตัวได้ดูเหมือนจะเป็นคนที่มีงานเขียนสาธารณะอยู่เยอะ ผมลองยัดคอมเมนต์ที่ตัวเองเขียนใน Discord ส่วนตัวจำนวนมากเข้าไป มันตอบทุกครั้งว่าไม่สามารถระบุตัวได้ ทั้งที่มีเบาะแสอย่างที่ทำงาน เมืองที่อยู่ นายจ้างของภรรยา หรือนายจ้างของผม ซึ่งคนที่รู้จักผมดีคงเดาออกทันที
      คนที่ถูกระบุตัวได้น่าจะเป็นพวกบล็อกเกอร์ นักข่าว หรือนักเขียนที่ตีพิมพ์งาน
  • “ขอเพียงให้ผมเห็นหกบรรทัดที่เขียนโดยคนที่ซื่อสัตย์ที่สุดในโลก ผมก็จะหาหลักฐานจากมันมาส่งเขาขึ้นตะแลงแกงได้”
    Cardinal Richelieu หรือไม่ก็สมัยนี้คือ AI

  • ผมลองทำซ้ำผลลัพธ์ชุดที่สองด้วย Opus 4.7 หลายครั้งแล้วแต่ไม่สำเร็จ ต่อให้เปลี่ยนพรอมป์ต์หลายแบบ มันก็ยังเดาไปที่พวกนักคิดฝั่ง ชุมชน rationalist ทุกครั้ง