ผลกระทบของ Gen AI ต่องานที่ต้องใช้ทักษะสูง: การทดลองกับนักพัฒนาซอฟต์แวร์

 (papers.ssrn.com)
1 คะแนน โดย GN⁺ 2024-09-08 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

สรุป

  • ภาพรวมของงานวิจัย
    • งานวิจัยนี้ประเมินผลกระทบของ generative AI ต่อผลิตภาพของนักพัฒนาซอฟต์แวร์ ผ่านการทดลองแบบสุ่มมีกลุ่มควบคุม 3 ชุดที่ดำเนินการใน Microsoft, Accenture และบริษัทผู้ผลิตอุปกรณ์อิเล็กทรอนิกส์ในกลุ่ม Fortune 100 ที่ไม่เปิดเผยชื่อ
    • การทดลองดำเนินไปในฐานะส่วนหนึ่งของงานประจำวันของแต่ละบริษัท โดยมอบ GitHub Copilot ซึ่งเป็นผู้ช่วยเขียนโค้ดที่ขับเคลื่อนด้วย AI ให้แก่นักพัฒนาที่ถูกสุ่มเลือก
    • งานวิจัยนี้ซึ่งครอบคลุมนักพัฒนาซอฟต์แวร์ทั้งหมด 4,867 คน พบว่าจำนวนงานที่ทำเสร็จของนักพัฒนาที่ใช้เครื่องมือ AI เพิ่มขึ้น 26.08% (ค่าคลาดเคลื่อนมาตรฐาน: 10.3%)
    • โดยเฉพาะอย่างยิ่ง นักพัฒนาที่มีประสบการณ์น้อยกว่ามีอัตราการยอมรับการใช้งานและการเพิ่มขึ้นของผลิตภาพที่สูงกว่า

สรุปโดย GN⁺

  • งานวิจัยนี้แสดงให้เห็นว่า generative AI สามารถเพิ่มผลิตภาพของนักพัฒนาซอฟต์แวร์ได้อย่างมีนัยสำคัญ
  • มีประโยชน์อย่างยิ่งสำหรับนักพัฒนาที่มีประสบการณ์น้อยกว่า ซึ่งบ่งชี้ว่าเครื่องมือ AI อาจช่วยลดความชันของเส้นโค้งการเรียนรู้ได้
  • เครื่องมือ AI อย่าง GitHub Copilot สามารถมีบทบาทสำคัญในการเพิ่มประสิทธิภาพของการพัฒนาซอฟต์แวร์
  • โครงการอื่นที่มีความสามารถคล้ายกัน ได้แก่ TabNine และ Kite

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-09-08
ความคิดเห็นใน Hacker News

  • ความเห็นจากวิศวกรที่มีประสบการณ์

    • Copilot กลับเป็นตัวรบกวนสำหรับวิศวกรที่มีประสบการณ์
    • AI มีประโยชน์มากในขั้นตอนก่อนเริ่มเขียนโค้ด
    • หากนักพัฒนาที่มีประสบการณ์ใช้ AI ได้ดี ก็อาจได้รับประโยชน์มากยิ่งขึ้น

  • ความกังวลเกี่ยวกับคุณภาพของกำลังคนสาย IT ที่ลดลง

    • บริษัทต่าง ๆ มอบหลายบทบาทให้คนคนเดียวมากขึ้นเพื่อลดจำนวนพนักงาน
    • มีการลดกำลังคนหลังจากนำ DevOps และ DevSecOps มาใช้
    • นักพัฒนาหน้าใหม่เรียนรู้หลายบทบาทในสภาพแวดล้อมที่ซับซ้อนได้ยาก
    • การใช้ ChatGPT จึงเป็นผลลัพธ์ที่แทบหลีกเลี่ยงไม่ได้

  • หนี้ทางเทคนิคจากการใช้ AI ของนักพัฒนาที่มีประสบการณ์น้อย

    • นักพัฒนาที่มีประสบการณ์น้อยสร้างหนี้ทางเทคนิคจากการใช้ AI แล้วให้นักพัฒนาที่มีประสบการณ์มากกว่าเป็นคนแก้
    • นักพัฒนาที่ไม่ได้สนใจเทคโนโลยีมากนักกลับสนใจ AI มากกว่า

  • การสรุปผลการวิจัยที่ไม่เพียงพอ

    • ผลการวิจัยถูกสรุปอย่างเรียบง่ายเกินไป
    • ผลลัพธ์แตกต่างกันมากตามบริษัทและเส้นทางอาชีพของนักพัฒนา
    • ที่ Microsoft ไม่พบผลลัพธ์ที่มีนัยสำคัญทางสถิติ

  • ผลกระทบของ LLM ต่อการเติบโตของนักพัฒนา

    • LLM อาจขัดขวางการเติบโตของนักพัฒนา
    • เมื่อนักพัฒนารุ่นจูเนียร์ใช้ LLM กระบวนการเรียนรู้อาจถูกแทนที่
    • ทักษะที่ใช้งานจริงกลายเป็นการปรับแต่งพรอมป์ต์

  • ความแตกต่างด้านประสิทธิภาพการทำงานระหว่างนักพัฒนาที่มีประสบการณ์กับนักพัฒนารุ่นจูเนียร์

    • นักพัฒนาที่มีประสบการณ์แม้ใช้ Copilot ก็ไม่ได้เพิ่มผลิตภาพมากนัก
    • การเพิ่มขึ้นของผลิตภาพของนักพัฒนารุ่นจูเนียร์อาจนำไปสู่การลดลงของผลิตภาพของนักพัฒนาที่มีประสบการณ์

  • ความช่วยเหลือของ AI เมื่อต้องเรียนรู้เทคโนโลยีใหม่

    • AI ช่วยได้มากกว่าเมื่อต้องเรียนรู้เทคโนโลยีใหม่

  • การอัปเดตของ Copilot

    • Copilot ทำงานบนพื้นฐานของ GPT-3.5
    • Copilot Chat ที่อัปเดตเป็น GPT-4 เปิดตัวเมื่อวันที่ 30 พฤศจิกายน 2023

  • ความหมายของจำนวน PR ที่เพิ่มขึ้น

    • สิ่งสำคัญไม่ใช่การที่จำนวน PR เพิ่มขึ้น
    • สิ่งสำคัญคือ AI เพิ่มจำนวนรายการที่ผ่าน QA หรือลดบั๊กได้หรือไม่
    • การนับจำนวน PR เพียงอย่างเดียวไม่มีประโยชน์มากนัก

  • ผลลัพธ์จากการใช้ AI ของบริษัท

    • ผลจากการใช้ AI ในบริษัทคือมีการเลิกจ้างนักพัฒนาที่ไม่มีประสิทธิภาพ