อินไซต์จากคอมเมนต์กว่า 10,000 รายการใน "Ask HN: Who Is Hiring" โดยใช้ GPT-4o

 (tamerc.com)
8 คะแนน โดย GN⁺ 2024-07-05 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ต้องการทำความเข้าใจตลาดงานและแนวโน้มปัจจุบันผ่านเธรด "Ask HN: Who Is Hiring" ของ Hacker News
  • ใช้ Selenium ค้นหาใน Google ทุกเดือนด้วยคำว่า "ask hn who is hiring {month} {year}" เพื่อรวบรวม thread ID
  • ใช้ HN-API รวบรวม ID ของคอมเมนต์ระดับบนสุด และบันทึกลงฐานข้อมูล sqlite3
  • ใช้ GPT-4o จัดหมวดหมู่คอมเมนต์
  • ใช้เมธอด llm.batch(array) ของ LangChain เพื่อประมวลผลแบบขนาน ทำให้จัดการข้อมูลได้รวดเร็ว

ผลลัพธ์

มีงานจำนวนเท่าไรที่อนุญาตให้ทำงานระยะไกล?
  • ในช่วงการระบาดใหญ่ งานที่ไม่รองรับการทำงานระยะไกลมีเพียงหนึ่งในห้า
  • สัดส่วนงานที่รองรับการทำงานระยะไกลไม่ได้ลดลงมากอย่างที่คาดไว้
มีงานจำนวนเท่าไรที่สปอนเซอร์วีซ่า?
  • สัดส่วนงานที่สปอนเซอร์วีซ่าค่อนข้างคงที่ในช่วง 2 ปีที่ผ่านมา
  • การหางานที่สปอนเซอร์วีซ่ายังคงเป็นเรื่องยาก
การกระจายตามระดับประสบการณ์เปลี่ยนไปอย่างไร?
  • การมีประสบการณ์มากกว่า 8 ปีจะมีความสำคัญภายใน 6~12 เดือนข้างหน้า
จำนวนงานในแต่ละรัฐของสหรัฐฯ เป็นอย่างไร?
  • Bay Area และ NYC มีงานเปิดรับมากกว่าพื้นที่อื่นอย่างชัดเจน
มีการใช้ฐานข้อมูลใดบ้าง?
  • PostgreSQL ถูกใช้งานมากกว่าฐานข้อมูลอื่นอย่างท่วมท้น
JavaScript framework ใดเป็นที่ต้องการสูง?
  • React เป็นที่ต้องการสูงมาก
  • สร้าง bubble chart แบบอินเทอร์แอ็กทีฟด้วย three.js โดยไม่ใช้สเกลลอการิทึม
การกระจายของเงินเดือนเป็นอย่างไร?
  • ไม่มีการให้รายละเอียดเฉพาะเกี่ยวกับการกระจายของเงินเดือน

สิ่งที่ได้เรียนรู้

  • ควรอธิบายฟิลด์ของโมเดลให้แม่นยำที่สุดเท่าที่เป็นไปได้
  • ควรระบุคลาสต่าง ๆ ไว้ในคำอธิบายเมื่อทำการจัดหมวดหมู่
  • เมื่อต้องดึงค่าประเภทเซ็ต ควรระบุตัวคั่นไว้ในคำอธิบาย

งานในอนาคต

  • จากงานตั้งต้นนี้ อาจสร้าง mini SaaS ที่ให้ผู้ใช้อธิบายงานที่กำลังมองหาในเธรด "Ask HN: Who is hiring?" แล้วระบบจะจัดหมวดหมู่และจับคู่ให้ตามแต่ละเดือนได้

ความเห็นของ GN⁺

  • บทความนี้แสดงให้เห็นได้ดีว่าการใช้วิทยาศาสตร์ข้อมูลและเทคนิคการประมวลผลภาษาธรรมชาติสามารถนำมาวิเคราะห์ตลาดงานได้อย่างไร
  • การประมวลผลแบบขนานด้วย GPT-4o และ LangChain มีประโยชน์ต่อการจัดการข้อมูลขนาดใหญ่ได้อย่างรวดเร็ว
  • เนื้อหาสะท้อนความจริงว่าการหางานที่สปอนเซอร์วีซ่าเป็นเรื่องยาก จึงน่าจะเป็นประโยชน์ต่อผู้ที่กำลังมองหาข้อมูลด้านนี้
  • ความต้องการ React และ PostgreSQL ที่สูงเป็นข้อมูลอ้างอิงที่ดีสำหรับผู้ที่ต้องการเรียนรู้เทคโนโลยีเหล่านี้
  • ไอเดีย mini SaaS หากนำไปสร้างจริง น่าจะช่วยผู้หางานจำนวนมากได้มาก

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-07-05
ความคิดเห็นจาก Hacker News

  • การวิเคราะห์โดยใช้ GPT-4o น่าสนใจ

    • ช่วงหลังได้วิเคราะห์ชุดข้อมูล "Who is Hiring" และ "Who wants to be hired" ด้วย pandas และ spacy
    • ดูเหมือนว่า LLM จะมีประโยชน์ในการแยกแยะ 'go' กับ 'rust'
    • น่าเสียดายที่ไม่ได้รวม node.js กับ nodejs รวมถึง react-native กับ react native เข้าด้วยกัน
    • สงสัยว่าทำไมจึงใช้สคริปต์ selenium เพื่อค้นหา Google ซ้ำๆ
    • ได้แชร์สคริปต์ที่ใช้ API โดยตรงและใช้ regex สำหรับจับคู่ชื่อเรื่อง

  • น่าเสียดายที่หา source code ของโปรเจ็กต์นี้บน GitHub ไม่เจอ

    • เพิ่งเคยเจอ langchain เป็นครั้งแรก และ API ก็สม่ำเสมอน้อยกว่าที่คาดไว้
    • สงสัยว่าน่าจะทำกับ Ollama ได้เหมือนกันหรือไม่
    • มี wrapper หลายชั้นพันกันอย่างซับซ้อนจนชวนสับสน
    • ต้องการทิวทอเรียลสำหรับผู้เริ่มต้น

  • ขอบคุณที่ลงทุนทั้งเวลาและเงินกับโปรเจ็กต์นี้

    • สถิติเพิ่มเติมเกี่ยวกับ "remote" และ "in-person" น่าสนใจ
    • เหตุผลที่บริษัทแบบ in-person ลงประกาศรับคนซ้ำๆ อาจเป็นเพราะกำลังเติบโต หรืออาจเป็นเพราะหาผู้สมัครที่เหมาะสมได้ยาก
    • เหตุผลที่บริษัท remote หายไปอาจเป็นเพราะหาคนที่ต้องการได้แล้ว หรือไม่ก็เลิกทำธุรกิจไปแล้ว

  • เป็นการผสมผสานที่ยอดเยี่ยมระหว่าง LLM กับการวิเคราะห์แบบดั้งเดิม

    • LLM เก่งในการเข้าใจนัยยะของมนุษย์ การเสียดสี และสำนวน
    • ML โดดเด่นในการดึงข้อมูลออกมาจากบริบท
    • LLM ยังไม่น่าเชื่อถือสำหรับการคำนวณตัวเลขจริง

  • การซ้อนแท่งในกราฟไม่ใช่ทางเลือกที่ดี

    • เพราะประเมินเลเยอร์ที่สองได้ไม่ถูกต้อง
    • ควรวาง remote กับ non-remote ไว้เคียงกันในแต่ละ timestamp จะดีกว่า

  • ควรใช้ log scale เพื่อให้กราฟไม่ดูแปลก

    • แต่กลับทำ bubble chart ด้วย three.js แทนโดยใช้โค้ด 300 บรรทัด
    • แฮ็กเกอร์ก็ทำตัวแบบแฮ็กเกอร์

  • น่าสนใจถ้าลองทำการวิเคราะห์แบบเดียวกันด้วย Claude 3 Haiku

    • ราคาถูกกว่า GPT-4o 1/40
    • มีลางสังหรณ์ว่าผลลัพธ์น่าจะคล้ายกัน

  • น่าสนใจถ้าเปรียบเทียบกับตัวอย่างสุ่มจาก Indeed หรือ LinkedIn

    • Hacker News เป็นกลุ่มที่มีอคติเอนเอียงเมื่อเทียบกับอุตสาหกรรมทั่วไป

  • ในกราฟ JS framework มีทั้ง bubble ของ "React Native" และ "React-Native"

  • อยากเห็นการวิเคราะห์ลักษณะคล้ายกันสำหรับ "Who Wants to be Hired"

    • สามารถมองเห็นเทรนด์ของผู้ที่กำลังประสบปัญหาในการหางานได้
    • สิ่งนี้อาจช่วยคนที่ตั้งเป้าการเติบโตในสายอาชีพได้