ผู้ที่โหยหาความแน่นอน ก็คือผู้ที่โหยหาความเท็จ

• กราฟความถี่คำของ Google Ngram Viewer อาจบิดเบือน การเปลี่ยนแปลงของการใช้ภาษาอังกฤษในศตวรรษที่ 20 ได้จากทั้งข้อมูล Google Books และข้อบกพร่องของสูตรคำนวณ ทำให้แม้แต่คำที่ใช้บ่อยอย่าง said และ toast ก็ดูเหมือนหายไปในช่วงทศวรรษ 1970–1980 แล้วกลับมาอีกครั้ง
• คลังข้อความของ Google Books มีสัดส่วนสูงจากสิ่งพิมพ์ที่มหาวิทยาลัยรวบรวมไว้ รวมถึงวารสารวิทยาศาสตร์และวิชาการสมัยใหม่กับตำราเรียน จึงอาจทำให้ความถี่ของบางคำสูงเกินจริง และกด ความถี่ของคำอื่น ให้ต่ำลงเมื่อเทียบกัน
• เพราะ long s(ſ) ในสิ่งพิมพ์เก่า ความแปรผันของการสะกด รูปพหูพจน์ และวันที่ที่ผิดพลาด ทำให้ Ngram แยกกรณีอย่าง fuck กับ suck, authorise กับ authorize, และ dog กับ dogs ได้ไม่ดี
• คำอธิบายรากศัพท์ของ Etymonline อาศัยเอกสารสิ่งพิมพ์และการทำงานของมนุษย์ แต่ Ngram ใกล้เคียงกับสื่อภาพเชิงตกแต่งมากกว่า จึงเชื่อถือได้ยาก เมื่อขัดแย้งกับคำอธิบายรากศัพท์
• บนโลกออนไลน์ รูปภาพมักถูกเลือกง่ายกว่าตัวอักษร แต่กราฟ Ngram ไม่ควรถูกมองเป็นหลักฐานชี้ขาดของการใช้คำ หากควรมองว่าเป็น การทำภาพข้อมูลที่ไม่สมบูรณ์

---

ความถี่คำประหลาดที่ Google Ngram สร้างขึ้น

• ใน Google Ngram Viewer ความถี่ของ said ดูคล้ายกราฟอุณหภูมิของยุคน้ำแข็งครั้งล่าสุดที่แกว่งขึ้นลง มากกว่าจะสะท้อนการเปลี่ยนแปลงจริงของคำกริยาในภาษาอังกฤษศตวรรษที่ 20
  • ไม่ได้หมายความว่านักเขียนภาษาอังกฤษในทศวรรษ 1970 เลิกใช้ said ไปกะทันหันแล้วค่อยกลับมาใช้อีก
• toast ก็ปรากฏใน Ngram ราวกับว่าเกือบหายไปจากภาษาอังกฤษแถวปี 1980 แล้วค่อยกลับมาอีกครั้ง
  • มีการเปรียบเทียบเชิงขำว่าเป็น “วิกฤตขาดแคลนโทสต์ครั้งใหญ่ปี 1977”
• ส่วนหนึ่งของปัญหาอยู่ที่ ข้อบกพร่องของสูตรคำนวณ Ngram ที่รู้กันมานาน ที่สืบเนื่องมาจาก Google Books
  • ความผิดพลาดนี้ทำให้คำภาษาอังกฤษจำนวนมากดูเหมือนค่อย ๆ ลดลงตลอดศตวรรษที่ 20 แล้วฟื้นกลับมาราวปี 1980
• คลังข้อความของ Google Books มีสิ่งพิมพ์จากมหาวิทยาลัยจำนวนมาก และยังมีสัดส่วนของวารสารวิทยาศาสตร์และวิชาการสมัยใหม่กับตำราเรียนที่ไม่สมดุลสูงเป็นพิเศษ
  • งานเขียนเชิงวิชาการมักใช้คำเดิมไม่กี่คำซ้ำ ๆ
  • ผลคือคะแนนของบางคำถูกดันสูงเกินจริง ขณะที่คำอื่น ๆ ถูกกดลงเมื่อเทียบกัน
  • โครงสร้างแบบนี้จึงเป็นสาเหตุที่ทำให้ Ngram ของแทบทุกคำเกิด ร่องตกลงกลางศตวรรษที่ 20
• said มีแนวโน้มถูกใช้ในงานวิชาการน้อยกว่าในนิยายหรือหนังสือพิมพ์ แต่คำอย่าง graph ถูกใช้ในงานวิชาการบ่อยกว่ามาก
  • Ngram ของ graph ในศตวรรษที่ 20 จึงไม่ปรากฏร่องตกแบบเดียวกัน

ความบิดเบือนจาก OCR การสะกด และวันที่ผิด

• ใน Ngram F-word ดูเหมือนแทบไม่ถูกใช้ก่อนยุคสมัยใหม่ แต่ยิ่งย้อนก่อนปี 1820 ปริมาณการใช้กลับพุ่งสูงขึ้น
  • หลายกรณีในนั้นไม่ใช่ fuck จริง ๆ แต่เป็น suck แบบเก่า
  • long s(ſ) ในงานพิมพ์โบราณอาจดูเหมือนตัวพิมพ์เล็ก f ได้ โดยเฉพาะในแบบอักษรเก่าและกระดาษราคาถูก
  • อักขระนี้เลิกใช้ลงราวปี 1820 และบางครั้งต้องอาศัยบริบทเท่านั้นจึงจะแยก f ออกจาก s ได้
  • มีมุมมองว่า AI ไม่เข้าใจความต่างนี้
• Google Books ยังรับรู้ความเป็นคำเดียวกันของรูปสะกดต่าง ๆ ได้ไม่ดี
  • Ngram ของ authorise ต่างจาก authorize และทั้งคู่ก็ไม่รวม authorizes
  • แม้แต่ Ngram ของคำนามก็ยังนับรูปพหูพจน์ไม่ได้ ทำให้ dog กับ dogs ถูกแยกกัน
• ยังมีไฟล์ใน Google Books จำนวนมากที่ติดวันที่ผิด
  • ตัวเลข 1896 บนปกหนังสือห้องสมุดเก่าอาจถูกสแกนดิจิทัลมองเป็น 1800
  • เคยมีกรณีชุดแผ่นพับพระคัมภีร์จากทศวรรษ 1910 ถูกแสดงว่าเป็นสิ่งพิมพ์ปี 1799 อยู่ช่วงหนึ่ง
  • วันที่นั้นไม่ใช่วันพิมพ์ แต่เป็นปีที่ก่อตั้งซึ่งอยู่ในโลโก้ของสมาคมผู้พิมพ์แผ่นพับพระคัมภีร์
  • มีวิดีโอ ที่พูดถึงปัญหานี้ด้วย
• เนื้อหาของ Etymonline สร้างจากเอกสารสิ่งพิมพ์ทั้งหมดและผ่านการทำงานของมนุษย์ แต่ Ngram ไม่ใช่เช่นนั้น
  • Ngram ถูกประเมินว่าเป็นผลผลิตหยาบ ๆ จากเทคโนโลยีที่ไม่น่าเชื่อถือและไม่รู้จริง
  • ที่เว็บไซต์มี Ngram อยู่ก็เพราะบนโลกออนไลน์นั้นรูปภาพชนะตัวอักษรในสภาพแวดล้อมแบบนี้
• แทนที่จะรับ Ngram เป็นหลักฐานยืนยันการใช้คำอย่างเด็ดขาด ควรมองมันเป็นภาพประกอบเชิงตกแต่งหรือไว้เปลี่ยนอารมณ์มากกว่า
  • หากคำอธิบายรากศัพท์ของ Etymonline ขัดกับ Ngram ตั้งแต่แรก จุดยืนคือ Etymonline ถูกต้อง และ Ngram ผิด

[GN⁺]

ความคิดเห็นบน Hacker News

• ส่วนที่ดีที่สุดของบทความนี้คือ การวิจารณ์ ngrams และในมุมกว้างกว่านั้นคือการวิจารณ์วิธีที่ ngrams ถูกใช้อย่างแพร่หลายในอัลกอริทึมสมัยใหม่
  ประโยคที่ว่า Etymonline อ้างอิงจากแหล่งสิ่งพิมพ์และข้อความที่มนุษย์สร้างขึ้น ขณะที่ ngrams เป็นผลผลิตหยาบ ๆ ของเทคโนโลยีอันโง่เขลาที่แม้แต่ความต่างระหว่าง “influence” กับ “inform” ก็ยังเรียนรู้ไม่ได้ นั้นคมเป็นพิเศษ
  อ่านแล้วเหมือนเป็นการโต้กลับอย่างเผ็ดร้อนต่ออัลกอริทึมและโซเชียลมีเดียที่พยายามทำให้คำพูดและปฏิสัมพันธ์ของมนุษย์เป็นตัวเลข แต่มักผิดพลาดเสียส่วนใหญ่ ทั้งยังมุ่งเพิ่มผลประโยชน์สูงสุดให้เจ้าของ
  ในยุคที่เราได้ยินกันว่า AI เชิงสร้างสรรค์แท้จริงแล้วคือ ตัวทำนาย ngram เรื่องนี้จึงยิ่งให้ความรู้สึกหนักแน่นขึ้น

  • ตรงที่ว่า “Etymonline มาจากแหล่งสิ่งพิมพ์และข้อความที่มนุษย์สร้างขึ้นทั้งหมด ส่วน Ngrams ไม่ใช่” นั้นชวนสับสนอยู่บ้าง
    ถ้า “แหล่งสิ่งพิมพ์” หมายถึงไม่รวมแหล่งดิจิทัล ก็ดูไม่ค่อยเกี่ยวกับปัญหาที่บทความพูดถึงเท่าไร
    หากไม่ได้ครอบคลุมสิ่งพิมพ์ทั้งหมดอย่างสมบูรณ์ ก็อาจเกิดปัญหา ชุดข้อมูลที่มีอคติ ได้เช่นกัน และมนุษย์ก็ทำผิดพลาดได้เหมือน OCR
  • “การได้รับอิทธิพล” กับ “การได้รับข้อมูล” ดูเหมือนเป็นสองด้านของเหรียญศีลธรรมเดียวกัน
    เป็นทำนองว่าความคิดของคนอื่นไม่ใช่ของพวกเขาเอง แต่เราต่างหากเป็นผู้รับข้อมูลที่มีคุณธรรมซึ่งสรุปได้ด้วยตนเอง
    ตัวกรองความถี่ต่ำ ของจิตใจจะรับเฉพาะสิ่งที่เข้ากับกรอบเดิมเท่านั้น
    หากคุณไม่ได้ปฏิเสธสิ่งใดสิ่งหนึ่ง การได้รับข้อมูลจากสิ่งนั้นกับการได้รับอิทธิพลจากสิ่งนั้นก็คือเรื่องเดียวกัน และในกรอบแบบนั้น คนที่พูดว่า “ฉันแค่ได้รับข้อมูลเท่านั้น” ก็ดูอวดดีและขาดการตระหนักรู้ในตนเอง
  • ความรู้ระดับสูงสุดยังคงอยู่ใน สิ่งพิมพ์ และยังคงสร้างขึ้นโดยมนุษย์
    สื่ออิเล็กทรอนิกส์เหมือนวิญญาณที่กลืนกิน มันไม่ผลิต แต่กินทุกอย่างเข้าไป

• มุกในคอมเมนต์ของหน้านั้นที่ว่า “สำนักพิมพ์ยังสั่งคำว่า ‘is’ เป็นรถบรรทุกหลายคันทุกฤดูใบไม้ผลิที่น้ำแข็งละลายอยู่ไหม...” ถือว่าถูกต้องใน Dictionopolis
  มีใครชอบ The Phantom Tollbooth บ้างไหม?
  https://en.wikipedia.org/wiki/The_Phantom_Tollbooth

• ปัญหาพื้นฐานของการวิเคราะห์ข้อมูลคือ คุณภาพของการวิเคราะห์ดีได้เท่ากับคุณภาพของข้อมูลเท่านั้น
  แค่การประเมินคุณภาพข้อมูลก็ยากแล้ว และการจะรู้ได้อย่างไรว่าข้อมูลดีหรือไม่ มั่นใจได้แค่ไหน รวมถึงจะวัดและรายงานอย่างไร ล้วนไม่ง่าย
  ต่อให้มีการประเมินคุณภาพข้อมูลทั้งเชิงคุณภาพและเชิงปริมาณแล้ว ก็ยังมีปัญหาอีกว่าจะนำเสนอร่วมกับผลการวิเคราะห์อย่างไร
  หากต้องการปรับแก้ผลลัพธ์เชิงปริมาณให้สอดคล้องกับคุณภาพข้อมูล ก็ต้องปรับแต่งเฉพาะโครงการค่อนข้างมาก และเกินกว่าระดับกราฟเส้นง่าย ๆ
  สำหรับ Google Ngrams อาจทำแผนภูมิแสดงองค์ประกอบของแหล่งข้อมูลตามเวลา โดยแบ่งเป็นหมวดใหญ่ ๆ อย่าง “วิชาการ”, “ข่าว” ได้ แต่ก็ต้องติดหมวดหมู่ให้เอกสารทุกชิ้น และต้องวางลิงก์กับข้อความอธิบายไว้ในตำแหน่งที่เด่นพอให้ผู้คนเห็นจริง ๆ
  ถึงอย่างนั้นก็ยังไม่อาจหยุดปฏิกิริยาโดยสัญชาตญาณของคนเมื่อเห็นอนุกรมเวลาที่การใช้คำลดลงได้
  วิธีที่ดีกว่าอาจเป็นการหาปริมาณ ความไม่แน่นอน ของอนุกรมเวลาการใช้คำ แล้วแสดงซ้อนลงไปในแผนภูมิ
  แต่ในกรณีนี้ จำนวนครั้งที่ใช้เองนั้นถูกต้อง และความไม่แน่นอนมาจากการสุ่มตัวอย่าง จึงต้องประมาณว่าเอกสารทั้งหมดที่ใช้ในช่วงเวลานั้นต่างจากเอกสารตัวอย่างมากแค่ไหน
  อาจทำได้ แต่ดูไม่ง่าย และถึงทำแล้วก็ยังมีปัญหาว่าผู้คนจะตีความเครื่องหมายแสดงความไม่แน่นอนได้ถูกต้องหรือไม่ หรือจะดูแค่เส้นที่ลดลงแล้วละเลยส่วนที่เหลือ
  เมื่อเราเข้าสู่ยุค AI มากขึ้น เราควรจำปัญหานี้ไว้
  ชีวิตของเราก็เช่นเดียวกัน เราเรียนรู้จากข้อมูลที่สังเกตเห็นและก่อรูปความเห็นขึ้นมา แต่ข้อมูลที่เราเห็นดีแค่ไหนและข้อสรุปของเราใช้ได้จริงหรือไม่ ยังคงเป็นคำถามเสมอ

• ผู้เขียนยืนยันว่า สถิติ ngram ของคำว่า “said” ผิด และพูดราวกับมีหลักฐานโต้แย้ง แต่ไม่ได้แสดงหลักฐานจริงเลย
  แม้แต่ในไซต์ของตัวเองก็ให้ไว้แค่สถิติ Google ngram: https://www.etymonline.com/word/said#etymonline_v_25922
  เมื่อรวมกับ ความผิดพลาดครั้งใหญ่ที่ไม่แสดงค่า 0 บนแกน y ของกราฟ และการตีความกราฟผิด ก็แทบไม่น่าเชื่อถือเลย และดูเป็นบทความคุณภาพต่ำมาก

  • บอกว่าภายใน 60 ปี การใช้ “said” ลดลงเหลือครึ่งหนึ่ง แล้วภายใน 20 ปีถัดมาก็กลับสู่ระดับเดิมงั้นหรือ? ต้องแสดงหลักฐานว่าอังกฤษเปลี่ยนเร็วขนาดนั้นในลักษณะนั้นจริง
    ข้อกล่าวอ้างแบบนั้นไม่ธรรมดา จึงต้องมีหลักฐานที่โน้มน้าวใจ
    ถ้าไม่มีหลักฐาน ผมคงเชื่อสมมติฐานและข้อสรุปของบทความที่ว่า ngrams นั้นมั่ว
    การตีความกราฟ “toast” ผิดนั้นใช่ และควรอ่านกราฟห่วย ๆ ที่ตัดช่วงค่าต่ำออกอย่างระมัดระวังกว่านี้
  • เหตุผลที่นำเสนอหลักฐานได้ยากคือ แทบมีแหล่งข้อมูลอยู่เพียงแหล่งเดียว
    ดังนั้นโดยพื้นฐานแล้ว บทความนี้จึงชี้ข้อบกพร่องของ ระเบียบวิธีของ Google Books/Ngram
    ผมมองว่าแนวทางแบบนี้สมเหตุสมผล
    ไม่อย่างนั้นเราจะยอมรับสิ่งที่มีข้อบกพร่องเพียงเพราะมันมีอยู่และใช้งานง่าย
    ไม่จำเป็นต้องไปทำงานวิจัยแยกเพื่อหาความจริง เพื่อตอบคำพูดว่า “สิ่งที่ถูกทวีตมากที่สุดคือ X ดังนั้นมันจึงเป็นสิ่งที่ได้รับความนิยมและสำคัญที่สุด”
    แค่บอกว่า “นั่นเป็นระเบียบวิธีที่โง่ อย่าเชื่อเพียงเพราะ Twitter พูดอย่างนั้น” ก็พอแล้ว
  • สิ่งที่ต้องการน่าจะเป็นการที่ใครสักคนตรวจสอบแหล่งข้อมูลอย่างหนังสือพิมพ์ เพื่อดูว่าสัดส่วนความถี่ของ “said” เปลี่ยนไปตามเวลาอย่างไร
    เป็นข้อเรียกร้องที่สมเหตุสมผล แต่ผมก็คิดว่าไม่เป็นไรที่ผู้เขียนจะพูดในฐานะ ผู้เชี่ยวชาญ ว่าหนังสือพิมพ์ยังคงใช้ said ในความถี่ใกล้เคียงเดิม
    คำอธิบายนั้นฟังขึ้น และผมไม่คิดว่าภาระการพิสูจน์จะต้องตกอยู่กับผู้เขียนเสมอไป
  • ฝั่งที่ต้องมีหลักฐานไม่ใช่ฝั่งที่บอกว่า “said” ลดลงแล้วกลับขึ้นมาตามกราฟ
    ตรงกันข้าม ข้อกล่าวอ้างที่ว่าเปลี่ยนไปในลักษณะนั้นต่างหากคือ ข้อกล่าวอ้างที่ไม่ธรรมดา และต้องมีหลักฐาน
    ข้อกล่าวอ้างนั้นมาจากฝั่ง Google และก่อนจะโทษผู้เขียนบล็อก ควรดูก่อนว่าชุดข้อมูลที่มองไม่เห็นนั้นเป็นตัวแทนได้แค่ไหน
    เราควรยอมรับสถิติที่ไม่รู้ชุดข้อมูลอินพุตแบบตรง ๆ ในทำนอง “จงเชื่อ Google” หรือ?
  • EtymOnline ไม่ใช่ที่สำหรับติดตามการเปลี่ยนแปลงความนิยมของคำ แต่เป็นที่ที่พยายามติดตาม การเปลี่ยนแปลงของความหมาย
    ดังนั้นจึงพอเข้าใจได้ที่รายการ “said” ไม่มีหลักฐานโต้แย้งอย่างเป็นรูปธรรม
    เหตุผลที่ในเนื้อหาไม่มีหลักฐานก็เพราะฝั่งที่บอกว่า “said” ลดลงจนเหลือเกือบหนึ่งในสามของจุดสูงสุดนั้นเป็นข้อกล่าวอ้างที่ไม่ธรรมดากว่ามาก จึงต้องมีหลักฐานที่หนักแน่น
    แค่พูดว่า “ดูเผิน ๆ ก็ไม่สมเหตุสมผลเลย และมีแนวโน้มสูงว่าเป็นเพราะองค์ประกอบด้านประเภทงานเขียนของชุดข้อมูล Google เปลี่ยนไปมาก” ก็เพียงพอแล้ว

• กราฟ Ngram ไม่ได้บอกว่า toast แทบหายไปจากภาษาอังกฤษราวปี 1980 แล้วกลับมาใหม่
  มันแค่ดูเหมือนว่าปริมาณการใช้ลดลงประมาณ 40% หลังปี 1800
  อย่างที่คนอื่น ๆ พูดกัน ปัญหาที่แกน y ไม่เริ่มจาก 0 นั้นมีอยู่ชัดเจน
  แต่ถ้าผู้เขียน etymonline ไม่ทันสังเกตเรื่องนั้นแล้วประกาศผิด ๆ ก็ยากจะเชื่อถือ โดยเฉพาะตัวอย่างถัดมาที่ว่า “ดูสิ ไม่มีการลดลง” ยิ่งย้อนแย้ง เพราะแกน y เป็น 0 และยังเห็นช่วงทรงตัวเล็ก ๆ ราวปี 1980 ด้วย
  ยิ่งเมื่อคิดถึงชื่อเรื่องและประโยคแรกที่เกินจริงและก้าวร้าวด้วยแล้ว ก็ยิ่งเป็นเช่นนั้น

  • ไม่ใช่แค่ปัญหาเรื่องแกนกราฟ
    การใช้คำว่า “toast” ไม่ได้ลดลง 40% แต่ชุดข้อมูลของ Google ต่างหากที่เปลี่ยนอย่างรวดเร็วไปเป็น องค์ประกอบด้านประเภทงานเขียน ที่ต่างจากเดิมมาก
    ผมเคยคุยกับคนที่พยายามอธิบายการลดลงในทศวรรษ 1970 และไม่มีใครเลยรวมถึงผมที่ตระหนักว่านั่นเป็นข้อบกพร่องรุนแรงของข้อมูล

• ผมคิดว่าชื่อเรื่องไม่ค่อยเข้ากับบทความนี้
  ผลลัพธ์แบบนี้ใกล้กับ ความปรารถนาคลิกเบต หรือเวอร์ชันสายวิทยาศาสตร์ของมัน มากกว่า “ความชัดเจน”
  เช่น บทความใน Science หรือ Nature ไม่ได้มีโอกาสถูกต้องเป็นพิเศษ แต่โดยเฉพาะในสาขาอย่างฟิสิกส์ที่ไม่ใช่สาขาหลักของตนเอง ก็มักมีแนวโน้มจะหวือหวาและสุดโต่ง
  ในทางกลับกัน ชื่อ “Real Clear Politics” ฟังดูรุนแรงสำหรับผมเสมอ
  เพราะผมคิดว่าในการเมืองไม่มีทั้ง “Real” และ “Clear”
  หนังสือเกี่ยวกับการเมืองที่ดีที่สุดในความเห็นผมคือ Fear and Loathing on the Campaign Trail ‘72 ของ Hunter S. Thompson
  เป็นบันทึกประสบการณ์ส่วนตัวที่ตามติดผู้สมัคร รับคนโบกรถตอนตี 3 และแม้จะเมายาบนรถไฟ ก็ยังมีชั่วขณะของความแจ่มชัดเฉียบคมที่เข้าใจกระบวนการในสภาซึ่งนำไปสู่การเสนอชื่อ McGovern
  อีก 20 ปีข้างหน้า จะมีหนังสือที่รอบคอบและมีข้อโต้แย้งหนักแน่นออกมาบอกว่า สิ่งที่เราเคยเชื่อเกี่ยวกับเหตุการณ์การเมืองวันนี้ล้วนผิด และความจริงเป็นอีกเรื่องหนึ่ง
  ระหว่างนั้นผู้คนจะมีมุมมองที่ต่างกันสุดขั้ว และนั่นแหละคือความจริง
  คำคุณศัพท์อย่าง “real” และ “clear” เป็นความพยายามที่จะปิดมุมมองส่วนใหญ่เหล่านั้น แล้วให้สิทธิพิเศษแก่มุมมองเดียว
  ยังทำให้นึกถึงตอนที่ Baudrillard รื้อคำว่า “real” อย่างถึงรากใน Simulacra and Simulation
  ทำให้เข้าใจได้ว่าคนที่ขายของปลอมมักชูคำว่า “real” นำหน้า
  การที่ Scientology เรียกตัวเองว่า “วิทยาศาสตร์แห่งความแน่นอน” ก็อยู่ในบริบทเดียวกัน

  • หนังสือเล่มนั้นที่จะออกมาในอีก 20 ปีข้างหน้าก็จะผิดเช่นกัน
    ข้อดีอย่างหนึ่งของการเมืองคือ แรงจูงใจนั้นชัดเจนมาก
    นักการเมืองต้องการ รักษาอำนาจ ก่อน แล้วความปรารถนาที่จะปรับปรุงสถานการณ์จึงตามมาทีหลัง
    เมื่อรู้เรื่องนี้แล้ว ทุกอย่างก็เข้าใจได้
    ต่อให้สุดท้ายเราไม่รู้ว่าเกิดอะไรขึ้นจริง ๆ ก็ยังเป็นเช่นนั้น

• เราไม่มีทางสร้างภาพแทนอดีตที่เป็นตัวแทนได้อย่างแท้จริง
  ต้องทำงานกับแหล่งข้อมูลจำกัดที่เหลือรอดมาเท่านั้น และสิ่งเหล่านั้นไม่ได้กระจายอย่างสม่ำเสมอทั้งตามเวลาและพื้นที่
  เมื่อคนตายไป ก็เกิด การสูญเสียข้อมูล โดยเนื้อแท้ ทั้งความประทับใจ ประสบการณ์ที่ไม่ถูกบันทึก ไปจนถึงกลิ่นที่คุ้นเคย
  แม้แต่ความทรงจำของคนที่ยังมีชีวิตอยู่ เมื่อถึงจุดหนึ่งก็อาจไม่น่าเชื่อถือ

  • ดังนั้นผมจึงรู้สึกแปลกเสมอว่าทำไมเฉพาะคนที่มีความเป็นตัวแทนทางสังคมซึ่งบิดเบี้ยวด้วยชื่อเสียงหรือความมั่งคั่งเท่านั้น จึงได้มีชีวประวัติใน Wikipedia
  • ไม่ใช่แค่เมื่อถึงจุดใดจุดหนึ่งเท่านั้น แต่ ความทรงจำของมนุษย์ นั้นไม่น่าเชื่อถืออย่างน่าทึ่ง
    ตัวอย่างที่ลองทดสอบเองได้: https://youtu.be/vJG698U2Mvo?si=16fwk8wG8Yyhim5t

• คงพูดยากว่า Google Ngram ผิด
  มันรายงานสถิติของคำที่ระบุได้อย่างถูกต้องจากคลังข้อความ
  ปัญหาอยู่ที่ บริบท ของสถิตินั้น
  เราพอจะพูดได้อย่างมั่นใจระดับหนึ่งว่า “การใช้คำว่า said ในคลังข้อความ Google Books ลดลง ณ ช่วงเวลาหนึ่ง”
  และในชุดย่อยของคลังข้อความที่ OCR ระบุทุกกรณีของคำนั้นได้ถูกต้อง ก็ยิ่งพูดได้มั่นใจขึ้น
  แต่ไม่ควรอ้างแบบกว้างกว่านั้นว่า “คำนี้มีการใช้งานลดลง ณ ช่วงเวลาหนึ่ง” โดยไม่มีข้อมูลเพียงพอ

  • ถ้ามีมของนักเศรษฐศาสตร์คือ “แล้วแต่สถานการณ์” มีมขั้นเหนือกว่าของนักสถิติก็คือ ต้องมีข้อมูลมากกว่านี้
    จนกว่าจะไขทฤษฎีเอกภาพได้ เราก็ยังไม่อาจมั่นใจได้เต็มที่เรื่องความสมบูรณ์ของข้อมูลหรือการอนุมานทางสถิติ
    สิ่งที่ผิดคือการทำให้สาธารณชนเข้าใจไขว้เขวและห่างไกลจากความเข้าใจแบบนี้
  • ดังนั้นเวลาใช้สถิติเชิงอนุมานกับประชากร วิธีการสุ่มตัวอย่าง จึงสำคัญกว่าขนาดตัวอย่างมาก
    การสุ่มหนังสือ 1 ล้านเล่มจากคลังข้อความวิชาการ กับการเลือกหนังสือขายดี 10 เล่มจากแต่ละทศวรรษของศตวรรษที่ 20 จะสร้างคลังภาษาที่แตกต่างกันอย่างมาก

• นี่เป็นความผิดพลาดคลาสสิกที่แกนตั้งของกราฟ ไม่รวมค่า 0
  ถ้าคิดว่า “งั้นก็แทบมองไม่เห็นการเปลี่ยนแปลงสิ” ก็ใช่แล้ว
  การตัด 0 ออกทำให้การเปลี่ยนแปลงเล็ก ๆ ดูใหญ่ขึ้นได้

  • ในทางกลับกัน ก็มีกรณีที่ต้องเน้นการเปลี่ยนแปลงเล็ก ๆ เช่นกัน
    ถ้าเป็น control chart ที่แสดงน้ำหนักบรรจุในกล่องซีเรียล ก็คงไม่อยากใส่ 0 ลงในชาร์ต
    หรือไม่จำเป็นต้องวาดชาร์ตอุณหภูมิรายวันของเมืองหนึ่งให้ครอบคลุมลงไปถึง 0 เคลวิน
  • มีแค่ผมหรือเปล่าที่คิดว่าตัวกราฟเองก็โอเค แค่เนื้อหาขยายความเกินจริงไปนิดหน่อย?
    มันดูคงที่มาเกือบหนึ่งศตวรรษ แล้วจู่ ๆ ก็ลดลงประมาณ 50%
  • การรวมค่า 0 คงช่วยกราฟของ “said” ได้บ้าง แต่ก็ไม่ใช่การแก้ปัญหา
    มันยังคงดูเหมือนว่า “said” ลดลงเหลือเกือบหนึ่งในสามของความนิยมเดิม ทั้งที่จริงแล้วองค์ประกอบของกลุ่มตัวอย่างเปลี่ยนไปมาก

• นี่คือ n-gram ผิด หรือหมายความว่าสิ่งที่พูดได้จาก n-gram มีข้อจำกัดกันแน่?
  ข้อมูลน่าสนใจ แต่ไม่แน่ใจว่าควรสรุปอะไรจากมัน
  มันให้ความรู้สึกแปลก ๆ เหมือนเราใช้คำศัพท์ปัจจุบันไปค้นหนังสือในอดีต
  ตัวอย่างง่าย ๆ ที่ผมรู้คือถ้าค้นหา “þe” ผลลัพธ์จะมีไม่มาก
  ในแง่ประวัติศาสตร์ โดยรวมก็ถูกที่ “þ” หายไปราวคริสต์ทศวรรษ 1400
  แต่ถ้าใส่ “ye” เข้าไปด้วย จะเห็นกรณีการใช้งานจำนวนมหาศาล
  นี่คือฟังก์ชันที่ n-gram ตั้งใจให้เป็นแบบนี้หรือเปล่า?
  มันดูใกล้เคียงกับ ข้อผิดพลาดด้านการเข้ารหัส ที่ตกทอดผ่านกาลเวลามากกว่า
  คล้ายกับการโกรธ Great Vowel Shift โดยไม่ตระหนักว่าสัญลักษณ์เสียงของเราไม่ใช่ความจริงสากลที่หยุดนิ่ง