การแมป Hacker News เพื่อค้นหาว่าใครรู้อะไรในชุมชน HN

 (blog.wilsonl.in)
1 คะแนน โดย GN⁺ 2024-07-27 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

40 million embeddings to find who knows what on Hacker News

ที่มาของโปรเจกต์

  • ในโพสต์ก่อนหน้า ผู้เขียนได้สร้าง embedding จากโพสต์และคอมเมนต์ 40 ล้านรายการของ Hacker News เพื่อสร้างแผนที่เชิงความหมายของชุมชน
  • พบว่าชุมชนสนับสนุนโปรเจกต์นี้ และจากข้อเสนอแนะต่าง ๆ ก็เห็นว่ามันย่อลงสู่ความสัมพันธ์จริงทั่วโลกได้อย่างรวดเร็ว
  • จากการพูดคุยกับ Robert ได้มีการพูดถึงงานของเขาในการสร้างอัลกอริทึมความหมายเชิงสังคมตั้งแต่ปี 2008
  • น่าประหลาดใจที่ผ่านไป 16 ปีแล้ว แต่โซเชียลเน็ตเวิร์กอย่าง Hacker News ก็ยังไม่คำนวณและแสดงเสียงที่น่าเชื่อถือในแต่ละหัวข้อ

คำถามหลัก

  • ทำไมการค้นหาและสำรวจคนที่รู้เรื่องหัวข้อใดหัวข้อหนึ่งดีที่สุดจึงเป็นเรื่องยาก?
  • ขอบเขตความรู้ของพวกเขา และความสัมพันธ์กับคนที่มีแนวคิดคล้ายกันเป็นอย่างไร?

ฟีเจอร์ใหม่ของแอป

  • แอปใหม่ช่วยให้สามารถสำรวจและโต้ตอบกับแผนที่เชิงความหมายของ Hacker News ได้ (hn2.wilsonl.in)

สิ่งน่าสนใจที่ค้นพบ

  • การจัดระเบียบความหมายตามผู้ใช้: เริ่มจากตัวผู้ใช้และแสดงผลงานใน HN ในเชิงความหมายร่วมกับผู้ใช้ที่คล้ายกัน
    • ตัวอย่าง: ดูโปรไฟล์ใหม่ของ robg
  • การค้นหาเชิงความหมาย: สามารถค้นหาความหมายใน HN ได้จากมุมมองว่าใครรู้อะไร
    • ตัวอย่างคำค้น: สตาร์ตอัป, การเขียนโปรแกรม Go vs Rust, ประสาทวิทยาและการนอนหลับ, การตลาดอีเมล
  • การทำแผนที่ชุมชน: สามารถทำแผนที่ชุมชนโดยอิงจากความหมายที่เกี่ยวข้องกับว่าใครรู้อะไร
    • เนื่องจากความรู้ไม่ได้กระจายอย่างสม่ำเสมอ ภูมิประเทศของชุมชนจึงช่วยเน้นให้เห็นผู้คนและสิ่งที่พวกเขารู้

ศักยภาพของเทคโนโลยี

  • เมื่อรวม 3 ความสามารถคือการจัดระเบียบความหมาย การค้นหา และการทำแผนที่ชุมชน ก็จะสามารถแสดงให้เห็นผู้คนที่อยู่เบื้องหลังคำต่าง ๆ ได้
  • แทนที่จะจัดระเบียบข้อมูลของโลก อาจจัดระเบียบผู้คนของโลกได้
  • ทำให้เกิดการคิดต่อเกี่ยวกับความท้าทายด้านความรู้ทางสังคมในหลากหลายรูปแบบ
  • หากใครอยากร่วมสำรวจไปด้วยกันเมื่อโปรเจกต์มีความคืบหน้ามากขึ้น ผู้เขียนแนะนำให้ลงชื่อใน waiting list

สรุปโดย GN⁺

  • โปรเจกต์นี้นำเสนอวิธีค้นหาและสำรวจผู้เชี่ยวชาญในหัวข้อเฉพาะผ่านแผนที่เชิงความหมายของชุมชน Hacker News
  • วิเคราะห์ผลงานของผู้ใช้ในเชิงความหมายเพื่อแสดงความสัมพันธ์กับผู้ใช้ที่คล้ายกัน
  • ฟีเจอร์ค้นหาช่วยให้ค้นหาคนที่มีความรู้ในหัวข้อเฉพาะได้ง่าย
  • ภูมิประเทศของชุมชนช่วยเน้นให้เห็นผู้คนและสิ่งที่พวกเขารู้
  • โปรเจกต์นี้นำเสนอวิธีใหม่ในการเชื่อมโยงผู้คนและแบ่งปันความรู้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-07-27
ความคิดเห็นบน Hacker News

  • โดยส่วนตัวแล้วชอบที่ HN ให้ความสำคัญกับ คอนเทนต์และการอภิปราย มากกว่าผู้ใช้รายบุคคล ถ้าอยากติดตามผู้เชี่ยวชาญ ก็คงไปทำลิสต์เองในโซเชียลเน็ตเวิร์กอย่าง Mastodon หรือฝืนรวบ RSS feed เองมากกว่า
    เครื่องมือนี้ดูเหมือนจะคัด คนที่คอมเมนต์อย่างขยันขันแข็ง ได้ดีกว่าผู้เชี่ยวชาญที่มีความรู้จริง และยังมีปัญหาเรื่องบัญชีใช้ครั้งเดียวด้วย ถึงอย่างนั้นก็เป็นโปรเจกต์ที่เจ๋ง

    • โดยส่วนตัวผมไม่อ่านชื่อผู้ใช้เลย นี่เป็นวิธีที่ง่ายที่สุดในการโฟกัสที่คอมเมนต์ และการที่ไม่มี อวาตาร์หรือลายเซ็น อะไรทำนองนั้นก็ช่วยได้มาก
      ผมจำไม่ได้เลยว่าเคยโต้เถียงกับใครใน HN บ้าง แต่แน่นอนว่าต้องเคยมีอยู่หลายครั้ง
    • รู้สึกเหมือนกันเลย ชอบที่ที่นี่ไม่มีอวาตาร์หรืออะไรแบบนั้น ทำให้มัน เน้นเนื้อหา
      ขณะเดียวกันก็คิดว่าโปรเจกต์ของเจ้าของโพสต์นั้นยอดเยี่ยมด้วย
    • สิ่งที่น่าสนใจที่สุดน่าจะเป็น พื้นที่ว่าง เพราะแนวโน้มของสิ่งที่ขาดหายไปนั้นสังเกตได้ยากที่สุด Hacker News กำลังพลาดจุดบอดอะไรอยู่ในแบบที่วัดเชิงปริมาณได้บ้าง?
    • การคัดสรรรายชื่อผู้เชี่ยวชาญที่จะติดตามด้วยตัวเองต้องใช้ความพยายามพอสมควร ถ้ามีเครื่องมือช่วยเรื่องนั้นก็คงดี
      ในอุดมคติแล้ว เราควรดูแค่คอนเทนต์ได้โดยไม่ต้องมีรายชื่อผู้เชี่ยวชาญที่เชื่อถือได้ แต่เมื่อก่อนก็เคยมีช่วงที่พิมพ์ในเสิร์ชเอนจินว่า “ฐานข้อมูลที่ดีที่สุดสำหรับใช้งานคืออะไร” แล้วได้ผลลัพธ์ที่มีประโยชน์ เดี๋ยวนี้ไม่ใช่แล้ว HN อาจยังดีกว่าที่อื่น แต่สุดท้ายก็เจอปัญหาคล้ายกัน
    • ผมคิดว่าสามารถยกระดับ ชั้นทางสังคม ขึ้นอีกขั้น เพื่อให้เชื่อมโยงกับคนที่มีความสนใจคล้ายกันได้ลึกขึ้น
      แบบนี้จะไม่ใช่แค่นับการมีส่วนร่วมเท่านั้น แต่ยังคำนวณได้ด้วยว่าการมีส่วนร่วมนั้นเชื่อมโยงกับคนอื่นอย่างไร

  • ในหน้า https://hn2.wilsonl.in/user/simonw ใต้แผนที่มี “Risk of COVID from pianos” อยู่ อยากรู้จริง ๆ ว่ามาจากไหน

    • ดูเหมือนเป็นสรุปของคอมเมนต์นี้: https://news.ycombinator.com/item?id=30105274
      ถ้าซูมและเลื่อนเคอร์เซอร์สีแดงไปยังตำแหน่ง/ข้อความนั้นบนแผนที่ คอมเมนต์ต้นฉบับ จะปรากฏใต้แผนที่
    • หรืออาจจะเป็นความเสี่ยงที่จะเกิดเปียโนจาก COVID ก็ได้ไหม?
      เหมือนตอนเริ่มแพนเดมิกที่คนมองหางานอดิเรกทำที่บ้าน แล้วยอดขายกีตาร์กับอุปกรณ์โฮมยิมเพิ่มขึ้น
    • ผลลัพธ์ของผมดูค่อนข้างแม่น มี การเร่งความเร็ว RDP, เฟิร์มแวร์เครื่องพิมพ์ 3D, เจสเชอร์ Graffiti บนหน้าจอสัมผัส, Linux mainline บน SBC ซึ่งทั้งหมดเป็นงานอดิเรกของผม
      ส่วนงานจริงอย่างสถาปัตยกรรมคลาวด์, เน็ตเวิร์กกิง และ AI ซึ่งเป็นสายที่แออัดเกินไป ผมแทบไม่คอมเมนต์เลย แปลกที่แทบไม่มีเรื่องเกี่ยวกับ Apple ทั้งที่ถ้าคิดถึงบล็อกของผมแล้วมันช่างย้อนแย้งมาก ดังนั้นเครื่องมือนี้บอกได้ว่าผู้คนคุยเรื่องอะไรที่นี่ แต่ไม่จำเป็นต้องบอกได้ว่าพวกเขารู้อะไร
    • สงสัยว่าถ้าทำให้จุดต่าง ๆ โต้ตอบได้มากขึ้น จะช่วยไหม

  • https://hn2.wilsonl.in/user/c0l0 — ดูเหมือนว่าผมจะเป็นผู้เชี่ยวชาญชั้นนำด้าน การปรับแต่งการออกแบบฝารองนั่งชักโครก ถามมาได้ทุกเรื่อง

    • มีผู้ทรงอิทธิพลด้าน การออกแบบปุ่มกดน้ำแบบสองระบบ อยู่ตรงนี้ งั้นคงต้องถอยก่อน
    • ใช้อะไรตัดสินกันแน่ว่าผมเป็นที่รู้จักในเรื่องอะไร?
      หน้าเพจของผมมีรายการเยอะมาก: https://hn2.wilsonl.in/user/AndrewKemendo
    • ผลลัพธ์ของผมเป็นความเละเทะที่ไร้สาระสุด ๆ พอคิดดูแล้วก็สมเหตุสมผลนะ เพราะผมก็เป็นแบบนั้น
      https://hn2.wilsonl.in/user/SketchySeaBeast
    • นั่นยังไม่เท่าไร ผมโด่งดังไปทั่วโลกด้าน การวิเคราะห์เปรียบเทียบประสิทธิภาพเตาผิง
      สงสัยว่าตอนสร้าง embedding มีการใช้ IDF แล้วให้น้ำหนักกลุ่มคำที่พบน้อยมากเกินไปหรือเปล่า

  • บทความที่เกี่ยวข้องล่าสุด:
    Show HN: สำรวจ HN ด้วยการทำแผนที่และวิเคราะห์โพสต์กับคอมเมนต์ HN 40 ล้านรายการเพื่อความสนุก - https://news.ycombinator.com/item?id=40307519 - พฤษภาคม 2024, 159 คอมเมนต์

    • น่าทึ่งที่ HN เชื่อมผมกับ Wilson เข้าด้วยกันข้ามเวลา 16 ปีและระยะทางทั่วโลก
      เพราะมีชุมชนอย่าง HN ผมจึงยังฝากความหวังไว้กับ อนาคตของความไว้วางใจ บนอินเทอร์เน็ต

  • ดูเหมือนว่ามันดึงอีเมลของผมจากข้อความโปรไฟล์แล้วทำเป็นลิงก์ mailto: ซึ่งผมยอมรับว่าตามมาตรฐาน LLM ในปัจจุบัน ผมไม่ได้พรางมันไว้ดีพอ
    แต่ก็เท่ากับช่วยให้การเก็บข้อมูลง่ายขึ้น เลยไม่แน่ใจว่าควรขอบคุณแทน สแปมเมอร์สายใช้แรงน้อย ดีไหม

    • สงสัยว่ายังมีบอตสแปมแบบใช้แรงน้อยที่กวาดลิงก์ mailto: อยู่จริงไหม หรือว่าเรายังทำการพรางอีเมลกันต่อแบบ cargo cult
      สแปมเปลี่ยนไปมากจริง ๆ ตั้งแต่ยุคนั้น กลยุทธ์นี้ยังถูกใช้อยู่หรือเปล่า?
    • แม้แต่ LLM พื้นฐานก็น่าจะแก้ความพยายามซ่อนอีเมลแบบยุค 2000 ได้
      อย่างเช่นที่เพื่อนผมเขียนในหน้าติดต่อของบล็อกยอดนิยมว่า “firstname [cute arobase sign] domain.com” อะไรแบบนั้น
    • ปกติผมไม่ค่อยใส่ใจกับเรื่องแบบนี้มากนัก แต่แบบนี้ไม่โอเค ของผมก็ถูกทำแบบเดียวกัน
      มีวิธี opt out จากฟีเจอร์นี้ไหม?
    • กรณีของผม มันถอดรหัส base64 ไม่สำเร็จ

  • ผมนึกถึงเครื่องมือที่เคยถูกโพสต์ที่นี่เมื่อหลายปีก่อน ซึ่งตอนนั้นค่อนข้างเป็นประเด็นถกเถียงกันมาก เครื่องมือนั้นใช้ การวิเคราะห์สำนวนการเขียนและ stylometry เพื่อหา “ผู้ใช้ที่คล้ายกัน” โดยเมื่อป้อนชื่อผู้ใช้เข้าไป ก็อาจค้นหาบัญชีรองของคนคนเดียวกันให้ได้
    ได้ยินมาว่ามันแม่นจนน่าขนลุก อย่างน้อยก็ได้ยินแบบนั้นจากเพื่อนที่มีบัญชีรอง เครื่องมือนี้จะถูกนำไปใช้ในลักษณะนั้นได้ไหมนะ? น่าจะเข้ารหัส “แผนที่” ที่เรนเดอร์บนอวาตาร์ของผู้ใช้แต่ละคนเป็นเวกเตอร์ แล้วนำไปเปรียบเทียบกับผู้ใช้คนอื่นได้
    แก้ไข: เดี๋ยวก่อน เพิ่งนึกได้ว่าดูเหมือนมันทำแบบนั้นอยู่แล้ว “Explore More Users” ไม่ได้แสดงให้เห็นชัดทันทีว่าเรียงตามความคล้ายหรือเปล่าก็จริง

    • การหาบัญชีรองด้วยวิธีนั้นน่าจะทำได้ไม่ค่อยดีนัก เพราะผู้คนมักใช้ บัญชีรอง เพื่อเข้าร่วมการสนทนาที่ไม่อยากให้เชื่อมโยงกับบัญชีหลัก
      ไม่ว่าจะเป็นเรื่องนายจ้าง การเมือง หรือหัวข้ออื่น ๆ หัวข้อที่บัญชีรองเข้าไปมีส่วนร่วมจึงมีแนวโน้มจะแตกต่างกัน ในทางกลับกัน สาเหตุที่การวิเคราะห์สำนวนใช้ได้ผลก็เพราะ แม้จะพยายามแล้ว คนจำนวนไม่มากนักที่จะเปลี่ยนสำนวนการเขียนของตัวเองได้อย่างถึงรากถึงโคน
    • น่าจะเป็นอันนี้: https://news.ycombinator.com/item?id=33755016
    • ผมเคยสร้างระบบที่ทำเรื่องแบบนี้เมื่อหลายปีก่อน: https://x.com/austingwalters/status/1041894765439201281
      น่าขันที่ทั้งตอนนั้นและหลังจากนั้น ผมแทบใช้แต่ embedding มาตลอด แต่ระบบนี้ไม่ได้ใช้ embedding ปัญหาหลักของ embedding คือมันไม่ค่อยเปลี่ยนแปลงไปตามเวลา แน่นอนว่าปรับแต่งได้ แต่ไม่ง่ายเท่าวิธีอื่น ภาษาเต็มไปด้วยตัวย่อเฉพาะอุตสาหกรรม และโดยรวมแล้วโมเดลมักปรับตัวกับสำนวนและตัวย่อที่เปลี่ยนไปได้ไม่ดี สุดท้ายผมเอาหลาย ๆ อย่างมารวมกันเพิ่ม แล้วทำเป็นบริษัท: https://ipcopilot.ai
      ตอนนี้กำลังหาไอเดียจาก Hacker News สำหรับใช้เป็นเดโม: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
    • วิธีที่ สรุปภาพรวม ผู้ใช้ได้ในระดับหนึ่งน่าจะน่าสนใจ
      เช่น user123 ค่อนข้างตลก พูดมีเหตุผล สนใจ TypeScript และการพัฒนาเว็บ และได้คะแนนด้านความมีวินัยกับความเป็นคนเปิดเผยสูง อะไรทำนองนั้น
    • น่าสนใจ แต่ผมก็รู้สึกว่ามันน่าขนลุกอยู่เหมือนกัน อยากรู้ว่าจะทำให้ดีขึ้นเพื่อลดความรู้สึกแบบนั้นได้อย่างไร

  • ชื่อผู้ใช้ของผมมาจากอีกตัวตนหนึ่งของผู้เล่าใน 『Zen and the Art of Motorcycle Maintenance』 เกี่ยวข้องกับตอนที่ว่าด้วย มีดแห่งการวิเคราะห์
    “Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
    ไม่รู้ว่าชื่อเป็นตัวกำหนดชะตา หรือผมรู้จักตัวเองดีจึงเลือกชื่อนั้น หรือเพราะผมใช้คำพวกนี้บ่อยเกินไปกันแน่ แต่คีย์เวิร์ดของผมมีคำอย่าง “part, system, level, language, article, object” เป็นต้น

  • ผมลองเจาะดูด้วยชื่อผู้ใช้ของตัวเองแล้วค่อนข้างยาก และนอกจากการโปรยจุดจำนวนมากทั่วแผนที่แล้ว ดูเหมือนจะไม่ได้แสดงอะไรเด่นชัดนัก
    กำลังพยายามทำความเข้าใจว่า คลัสเตอร์ ทั้งหมดคืออะไร แต่ส่วนใหญ่ดูเหมือนเป็นแค่ android/apple/google: https://hn2.wilsonl.in/user/mmastrac

    • งั้นการที่ผมมีความเชี่ยวชาญเรื่อง Apple, Google, Tesla ก็ไม่ได้พิเศษเท่าไรสินะ?

  • น่าสนใจ ผมเคยสังเกตว่าคอมเมนต์ที่ได้รับการโหวตมากที่สุดของผมเป็นคอมเมนต์ตอบ คำถามด้านกฎหมาย เพราะผมมีความเชี่ยวชาญด้านนั้นมากกว่าผู้ใช้ HN ส่วนใหญ่ ผมเคยเป็นทนายมาก่อน
    ตามเกณฑ์ของเครื่องมือนี้ ผมไม่ได้ติดกลุ่มผู้เขียนคอมเมนต์อันดับต้น ๆ ด้าน law/legal/lawyer แต่ชื่ออันดับต้น ๆ บางคนผมจำได้แน่นอน และจำได้ว่าเคยเห็นในเธรดกฎหมายด้วย เป็นเครื่องมือที่เจ๋งทีเดียว

    • HN API มี คะแนนคอมเมนต์ รวมอยู่ด้วยไหม?

  • สิ่งที่ดีที่สุดของ HN คือคอมเมนต์ให้ความรู้สึกค่อนข้างชั่วคราว ผมไม่ชอบที่มันถูกวิเคราะห์และนำไปจัดแสดงต่อสาธารณะโดยไม่ได้รับความยินยอมจากผม
    ไม่ใช่ว่าหน้านั้นมีอะไรเกี่ยวกับผมที่น่าสนใจเป็นพิเศษ แต่รู้สึกแปลก ๆ ไม่จำเป็นต้องวิเคราะห์ทุกอย่าง และไม่จำเป็นต้องแข่งขันกันทุกที่ สิ่งที่ผมอยากบอกคือ ผมชอบที่มันโฟกัสที่เนื้อหา ไม่ใช่ว่าใครเป็นคนพูดเป็นศูนย์กลาง พอเห็นสิ่งนี้แล้วผมลบแฮนเดิล Twitter ออกจากประวัติแนะนำตัว ถ้าแอปช่วยอัปเดตตรงนั้นด้วยจะขอบคุณมาก

    • สำหรับคำว่า “คอมเมนต์ให้ความรู้สึกค่อนข้างชั่วคราว” ผมใช้ ส่วนขยาย Google Chrome ที่จะมีไฟติดขึ้นเมื่อหน้าที่ผมดูมีคอมเมนต์ HN อยู่
      เวลาบังเอิญเจอบล็อกโพสต์แล้วสัญลักษณ์นั้นติดขึ้นมา แม้จะเป็นโพสต์เมื่อหลายปีก่อน ผมก็มักจะอ่านคอมเมนต์อยู่บ่อย ๆ และมักได้อินไซต์หรือบริบทที่เป็นประโยชน์
    • ฝากไว้สำหรับทุกคนที่อ่านเรื่องนี้ คอมเมนต์เป็นสิ่งที่ตรงข้ามกับความชั่วคราวโดยสิ้นเชิง หลังจากช่วงแรกที่สั้นมากแล้ว คุณจะลบหรือแก้ไขไม่ได้
      ดังนั้นสิ่งที่คุณพูดไว้ที่นี่ ไม่ว่าจะเป็นอะไรก็ตาม สามารถและอาจจะถูกเชื่อมโยงกับคุณไปตลอดกาล ทั้งแบบตรง ๆ หรือแบบเลือนรางอย่างที่เครื่องมือนี้แสดงให้เห็น
    • เข้าใจความรู้สึกนั้น ผมเองก็เคยรู้สึกแบบนั้น
      แต่ก็ได้รู้ว่าในคอมเมนต์ไหน ๆ แค่คลิกสองครั้งก็ไปถึงคิวรีแบบนี้ได้: https://news.ycombinator.com/threads?id=RamblingCTO
    • คอมเมนต์ที่นี่ไม่เคยเป็นสิ่งชั่วคราวเลยสักครั้ง
      Hacker News เองก็มี API แบบเรียลไทม์ที่แทบจะฟรีและชุดข้อมูลขนาดใหญ่หลายชุดให้ใช้มาหลายปีแล้ว และจุดประสงค์ก็เพื่อให้ใคร ๆ วิเคราะห์คอมเมนต์ที่นี่ได้ง่าย: https://github.com/HackerNews/API
      คอมเมนต์ใด ๆ ที่เขียนบนอินเทอร์เน็ตไม่เคยเป็นสิ่งชั่วคราวเลย เลิกแม้แต่จะแสร้งทำว่าเป็นชั่วคราวไปตั้งแต่กว่า 20 ปีก่อนแล้ว