การแมป Hacker News เพื่อค้นหาว่าใครรู้อะไรในชุมชน HN

40 million embeddings to find who knows what on Hacker News

ที่มาของโปรเจกต์

• ในโพสต์ก่อนหน้า ผู้เขียนได้สร้าง embedding จากโพสต์และคอมเมนต์ 40 ล้านรายการของ Hacker News เพื่อสร้างแผนที่เชิงความหมายของชุมชน
• พบว่าชุมชนสนับสนุนโปรเจกต์นี้ และจากข้อเสนอแนะต่าง ๆ ก็เห็นว่ามันย่อลงสู่ความสัมพันธ์จริงทั่วโลกได้อย่างรวดเร็ว
• จากการพูดคุยกับ Robert ได้มีการพูดถึงงานของเขาในการสร้างอัลกอริทึมความหมายเชิงสังคมตั้งแต่ปี 2008
• น่าประหลาดใจที่ผ่านไป 16 ปีแล้ว แต่โซเชียลเน็ตเวิร์กอย่าง Hacker News ก็ยังไม่คำนวณและแสดงเสียงที่น่าเชื่อถือในแต่ละหัวข้อ

คำถามหลัก

• ทำไมการค้นหาและสำรวจคนที่รู้เรื่องหัวข้อใดหัวข้อหนึ่งดีที่สุดจึงเป็นเรื่องยาก?
• ขอบเขตความรู้ของพวกเขา และความสัมพันธ์กับคนที่มีแนวคิดคล้ายกันเป็นอย่างไร?

ฟีเจอร์ใหม่ของแอป

• แอปใหม่ช่วยให้สามารถสำรวจและโต้ตอบกับแผนที่เชิงความหมายของ Hacker News ได้ (hn2.wilsonl.in)

สิ่งน่าสนใจที่ค้นพบ

• การจัดระเบียบความหมายตามผู้ใช้: เริ่มจากตัวผู้ใช้และแสดงผลงานใน HN ในเชิงความหมายร่วมกับผู้ใช้ที่คล้ายกัน
  • ตัวอย่าง: ดูโปรไฟล์ใหม่ของ robg
• การค้นหาเชิงความหมาย: สามารถค้นหาความหมายใน HN ได้จากมุมมองว่าใครรู้อะไร
  • ตัวอย่างคำค้น: สตาร์ตอัป, การเขียนโปรแกรม Go vs Rust, ประสาทวิทยาและการนอนหลับ, การตลาดอีเมล
• การทำแผนที่ชุมชน: สามารถทำแผนที่ชุมชนโดยอิงจากความหมายที่เกี่ยวข้องกับว่าใครรู้อะไร
  • เนื่องจากความรู้ไม่ได้กระจายอย่างสม่ำเสมอ ภูมิประเทศของชุมชนจึงช่วยเน้นให้เห็นผู้คนและสิ่งที่พวกเขารู้

ศักยภาพของเทคโนโลยี

• เมื่อรวม 3 ความสามารถคือการจัดระเบียบความหมาย การค้นหา และการทำแผนที่ชุมชน ก็จะสามารถแสดงให้เห็นผู้คนที่อยู่เบื้องหลังคำต่าง ๆ ได้
• แทนที่จะจัดระเบียบข้อมูลของโลก อาจจัดระเบียบผู้คนของโลกได้
• ทำให้เกิดการคิดต่อเกี่ยวกับความท้าทายด้านความรู้ทางสังคมในหลากหลายรูปแบบ
• หากใครอยากร่วมสำรวจไปด้วยกันเมื่อโปรเจกต์มีความคืบหน้ามากขึ้น ผู้เขียนแนะนำให้ลงชื่อใน waiting list

สรุปโดย GN⁺

• โปรเจกต์นี้นำเสนอวิธีค้นหาและสำรวจผู้เชี่ยวชาญในหัวข้อเฉพาะผ่านแผนที่เชิงความหมายของชุมชน Hacker News
• วิเคราะห์ผลงานของผู้ใช้ในเชิงความหมายเพื่อแสดงความสัมพันธ์กับผู้ใช้ที่คล้ายกัน
• ฟีเจอร์ค้นหาช่วยให้ค้นหาคนที่มีความรู้ในหัวข้อเฉพาะได้ง่าย
• ภูมิประเทศของชุมชนช่วยเน้นให้เห็นผู้คนและสิ่งที่พวกเขารู้
• โปรเจกต์นี้นำเสนอวิธีใหม่ในการเชื่อมโยงผู้คนและแบ่งปันความรู้

[GN⁺]

ความคิดเห็นจาก Hacker News

• ชอบที่ HN เน้นคอนเทนต์และการสนทนามากกว่าตัวผู้ใช้รายบุคคล

  • ถ้าอยากติดตามผู้เชี่ยวชาญ ก็คงจะใช้โซเชียลเน็ตเวิร์กอย่าง Mastodon หรือ RSS feed
  • เครื่องมือนี้มีแนวโน้มจะเลือกคนที่คอมเมนต์บ่อยมากกว่าผู้เชี่ยวชาญที่มีความรู้
  • ถึงอย่างนั้นก็ยังเป็นโปรเจ็กต์ที่เจ๋ง

• ชื่อผู้ใช้ของฉันมาจากตัวตนอีกด้านของผู้บรรยายใน "Zen and the Art of Motorcycle Maintenance"

  • สะท้อนความสามารถของ Phædrus ในการใช้มีดแห่งการวิเคราะห์
  • ใช้คีย์เวิร์ดอย่าง "part, system, level, language, article, object" บ่อย

• ถูกแนะนำว่าเป็นผู้เชี่ยวชาญชั้นนำด้าน Optimizing Toilet Lid Design

• ดูเหมือนว่าจะดึงอีเมลของฉันจากข้อความโปรไฟล์แล้วทำเป็นลิงก์ mailto:

  • เป็นการประชดว่าขอบคุณมากที่ช่วยให้พวกส่งสแปมเก็บอีเมลได้ง่ายขึ้น

• มีหัวข้อ "Risk of COVID from pianos" รวมอยู่ตรงด้านล่างของแผนที่

  • สงสัยว่ามาจากไหน

• สิ่งที่ดีที่สุดของ HN คือมันให้ความรู้สึกว่าคอมเมนต์เป็นเรื่องชั่วคราว

  • รู้สึกไม่สบายใจกับการถูกวิเคราะห์และเผยแพร่โดยไม่ได้ยินยอม
  • ไม่ใช่ทุกอย่างจำเป็นต้องถูกวิเคราะห์ และไม่จำเป็นต้องแข่งขันกัน
  • ชอบที่มันโฟกัสที่คอนเทนต์
  • เลยทำให้ลบ Twitter handle ออกจาก bio

• โปรเจ็กต์ที่เกี่ยวข้องเมื่อไม่นานมานี้:

  • "Show HN: Exploring HN by mapping and analyzing 40M posts and comments for fun" (พฤษภาคม 2024, 159 คอมเมนต์)

• เมื่อไม่กี่ปีก่อนมีเครื่องมือที่เป็นประเด็นถกเถียง

  • เป็นเครื่องมือที่ใช้การวิเคราะห์ข้อความและสไตล์เพื่อหาผู้ใช้ที่คล้ายกัน
  • ได้ยินมาว่าแม่นยำมาก
  • สงสัยว่าเครื่องมือนี้อาจถูกนำไปใช้ซ้ำในจุดประสงค์แบบนั้นได้หรือไม่
  • ยังไม่ชัดเจนว่า "Explore More Users" เรียงตามความคล้ายกันหรือเปล่า

• ในฐานะผู้ใช้ที่ไม่ค่อยแอ็กทีฟ รู้สึกว่าเครื่องมือนี้ไม่ค่อยแม่นยำ

  • เหมือนจะไปเน้นคำถามเกี่ยวกับ jpeg xl ซึ่งเป็นเรื่องที่ฉันรู้น้อยที่สุด
  • อาจมีอคติไปทางหัวข้อที่ทั่วไปมากกว่า

• ขุดดูชื่อผู้ใช้ของตัวเองแล้วไม่ค่อยได้อะไรนัก

  • นอกจากมีจุดจำนวนมากกระจายอยู่บนแผนที่ ก็ไม่ได้ให้ข้อมูลอะไรมาก
  • กำลังพยายามทำความเข้าใจว่าคลัสเตอร์โดยรวมคืออะไร
  • ส่วนใหญ่เกี่ยวกับ android/apple/google