ChatGPT-4 ช่วยยกระดับประสิทธิภาพของที่ปรึกษาธุรกิจอย่างมาก

 (d3.harvard.edu)
1 คะแนน โดย GN⁺ 2023-10-02 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • การทดลองภาคสนามของ Harvard Digital Data Design Institute และ BCG ประเมินว่า AI เปลี่ยนผลิตภาพและคุณภาพของคนทำงานด้านความรู้ได้มากเพียงใด โดยมีกลุ่มตัวอย่างเป็น ที่ปรึกษา 758 คน
  • งานที่ให้ทำถูกออกแบบให้ใกล้เคียงงานจริงของที่ปรึกษา โดยครอบคลุม ความคิดสร้างสรรค์, การคิดเชิงวิเคราะห์, การเขียน, ความสามารถในการโน้มน้าว เพื่อดูความสามารถในการนำไปใช้กับงาน มากกว่าการวัดด้วย benchmark แบบง่าย
  • ในงานที่ AI เหมาะสม ChatGPT-4 ช่วยเพิ่มความเร็วในการทำงาน มากกว่า 25%, เพิ่มผลงานตามการประเมินของมนุษย์ มากกว่า 40%, และเพิ่มอัตราการทำงานสำเร็จ มากกว่า 12%
  • ไม่ใช่ทุกงานจะได้ผลในระดับเดียวกัน และข้อจำกัดสำคัญที่ปรากฏคือ ขอบเขตเทคโนโลยีแบบหยักไม่สม่ำเสมอ ซึ่งมีทั้งด้านที่แข็งแกร่งและด้านที่อ่อนแอ
  • การใช้งานจริงแบ่งเป็น Centaurs ที่แบ่งงานและมอบหมายงานระหว่างคนกับ AI และ Cyborgs ที่หลอมรวม AI เข้าไปใน workflow โดยต้องพิจารณาการผสมผสานระหว่างมนุษย์กับ AI ให้เหมาะกับแต่ละงาน

การทดลองภาคสนามกับที่ปรึกษา BCG

  • Karim Lakhani และคณะจาก Harvard Digital Data Design Institute ร่วมกับ Boston Consulting Group(BCG) ประเมินผลกระทบของ AI ต่อ ผลิตภาพของคนทำงานด้านความรู้ และคุณภาพของงาน
  • กลุ่มทดลองคือ ที่ปรึกษา 758 คน คิดเป็น 7% ของพนักงานสาย individual contributor ของ BCG
  • งานที่ให้ทำสะท้อนขอบเขตงานประจำวันของที่ปรึกษา

    • ความคิดสร้างสรรค์

    • การคิดเชิงวิเคราะห์

    • ทักษะการเขียน

      • ความสามารถในการโน้มน้าว

การยกระดับผลงานและข้อจำกัด

  • ในกลุ่มงานที่ AI ทำงานได้ดี ChatGPT-4 ช่วยเพิ่มผลงานได้อย่างมาก
    • ความเร็วในการทำงานเพิ่มขึ้น มากกว่า 25%
    • ผลงานตามเกณฑ์การประเมินของมนุษย์เพิ่มขึ้น มากกว่า 40%
    • อัตราการทำงานสำเร็จเพิ่มขึ้น มากกว่า 12%
  • ในทางกลับกัน ประสิทธิภาพของ AI ไม่ได้สม่ำเสมอในทุกงาน
    • บางงานให้ผลลัพธ์ยอดเยี่ยม แต่บางงานยังไม่เพียงพอ
    • ความแตกต่างนี้ถูกสรุปเป็น jagged technological frontier

รูปแบบการใช้งานสองแบบที่พบในงานความรู้

  • ผู้ใช้ AI แบ่งได้เป็นสองรูปแบบหลัก
    • Centaurs: แบ่งงานและมอบหมายงานระหว่างมนุษย์กับ AI
    • Cyborgs: ผสาน AI เข้ากับ workflow ของตนเอง
  • สิ่งสำคัญไม่ใช่การมองแบบสองทางเลือกว่าจะใช้ AI หรือไม่ใช้ แต่คือการประเมินว่าในแต่ละกระแสงาน การผสมผสานระหว่างมนุษย์กับ AI สร้างคุณค่าได้อย่างไร

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-10-02
ความคิดเห็นจาก Hacker News

  • งานเหล่านี้ดูเหมือนเป็นงานที่เหมาะกับ GPT พอดี: ให้คิดไอเดียรองเท้า 10 อย่าง การแบ่งส่วนตลาด ข่าวประชาสัมพันธ์ และบันทึกสร้างแรงบันดาลใจสำหรับพนักงาน ในด้านอย่างความคิดสร้างสรรค์ การคิดเชิงวิเคราะห์ การเขียน และการโน้มน้าวใจ
    คำตอบของ GPT สำหรับโจทย์แรก: https://chat.openai.com/share/db7556f7-6036-4b3d-a61a-9cd253...
    อาการหลอนของ GPT ที่พูดอย่างมั่นใจ แทบแยกไม่ออกจากเอกสารที่ปรึกษาธุรกิจแบบฉบับ

    • ถ้าเป็นงานทำนองว่า “ไอเดียห่วย ๆ มีสเปรดชีตอยู่ ไม่มีใครสนใจข้อความการตลาด และไม่มีใครได้แรงบันดาลใจจากคำพูดไร้สาระสไตล์ผู้บริหารระดับสูง” งานแบบนั้น มีคุณค่าต่ำ ตั้งแต่แรก จึงแทบจะเป็นอินพุตที่สมบูรณ์แบบสำหรับ LLM
    • ถ้าดูแค่ผลลัพธ์ก็ถูก แต่คุณค่าของแรงงานความรู้ส่วนใหญ่มาจาก คุณภาพของอินพุต
      ลูกค้าไม่ได้ต้องการ “ไอเดีย 10 อย่าง” แต่ต้องการ “ไอเดียที่มีคุณค่า 10 อย่างซึ่งอิงจากความเข้าใจธุรกิจและตลาด” ถ้าที่ปรึกษาการจัดการตอบคำถามนี้ว่า “รองเท้าโบ๊ตชูส์” ลูกค้าคงไม่อยู่ด้วยนาน
      ในทำนองเดียวกัน ในวิศวกรรมซอฟต์แวร์ ถ้าบอกว่า “เขียนโค้ด 10 บรรทัดให้หน่อย” ก็อาจพูดได้ว่ามันแยกไม่ออกจากโค้ดที่ ChatGPT ผลิตออกมาทุกวัน
    • “สำหรับคนพาสุนัขเดินเล่น มีที่จ่ายถุงเก็บอึในตัว” นี่ไม่รู้ว่าควรเกลียดหรือชอบดี ส่วน “สำหรับผู้พิการทางสายตา มี haptic feedback” นี่ รองเท้าแบบ haptic ช่างล้ำจริง ๆ
    • ถ้าอาการหลอนของ GPT ที่พูดอย่างมั่นใจคล้ายกับเอกสารที่ปรึกษาการจัดการ ก็ดูเหมือนจะเข้ากับ Harvard และสถาบันแวดล้อมได้ดี
      นายจ้างของผมเคยจ้าง McKinsey ซึ่งเป็นที่รู้กันว่ารับคนจาก HYP อยู่หลายครั้ง และผลลัพธ์พูดอย่างดีก็ยังถือว่าน่าผิดหวัง ประสบการณ์ของผมกับสถาบันพวกนี้โดยรวมก็คล้าย ๆ กัน
      ผมรู้ว่านี่เป็นแค่เรื่องเล่าเชิงประสบการณ์ แต่รู้สึกว่างานวิจัยแบบนี้มี confirmation bias ปนอยู่มาก
    • คำตอบของ GPT อ่านแล้วเหมือนเอามาจากนิตยสาร MAD

  • งานวิจัยนี้กลบประเด็นสำคัญไป LLM ทำได้ดีกว่าในบางงาน แต่ในบางงานกลับทำให้ผลลัพธ์แย่ลงจริง ๆ
    งานแรกเป็นงาน generalist ที่งานวิจัยเรียกว่า “อยู่ในขอบเขต” จึงไม่น่าแปลกใจที่ประสิทธิภาพดีขึ้น เป็นงานสำรวจขอบเขตที่นิยามไว้ชัดเจนโดยไม่ต้องมีความรู้โดเมนลึกมาก จึงเข้ากับจุดแข็งของ LLM งานที่ที่ปรึกษามือใหม่ทำช่วงต้นอาชีพในบทบาทคล้าย business analyst โดยทั่วไปก็เป็นงาน generalist แบบนี้
    LLM เก่งงานสำรวจทั่วไปแบบนี้ เพราะมันสรุปทั่วไปจากข้อมูลจำนวนมาก แต่การสรุปทั่วไปนั้นเองก็เป็นจุดอ่อนด้วย เหมือนนักข่าวสายวิจัย เวลาอ่านหนังสือพิมพ์เรารู้สึกเหมือนได้ insight แต่พออ่านบทความในสาขาที่เรารู้ดี ก็จะเห็นทันทีว่าการวิเคราะห์มีข้อบกพร่องมากและไม่ได้เข้าใจหัวข้อในระดับเดียวกับเรา
    งานที่สองซึ่ง “อยู่นอกขอบเขต” ต้องใช้การวิเคราะห์สเปรดชีต การสัมภาษณ์ และการวิเคราะห์เชิงลึกที่มีหลักฐานรองรับ ซึ่งเป็นงานที่ LLM ปัจจุบันยังอ่อน ดังนั้นกลุ่มที่ไม่ใช้ LLM ได้ 84.5% ส่วนผู้ใช้ LLM ได้เพียง 60~70.6%
    ข้อสรุปคือ LLM ยอดเยี่ยมสำหรับ การสำรวจแบบทั่วไป แต่เหมาะน้อยกว่าสำหรับงานวิเคราะห์เชิงผู้เชี่ยวชาญ

    • นี่เหมือน Gell-Mann amnesia เวอร์ชันใหม่ ผมอยากเรียกว่า LLm-man amnesia
      เวลาถามคำถามด้านโปรแกรมมิง ChatGPT จะหลอนประมาณ 20% และผมมีทักษะพอที่จะจับได้ เวลาถามเรื่องสาขาอื่นก็คงต้องสมมติว่ามีอาการหลอนและข้อมูลผิดอย่างน้อยเท่านั้น
    • โดยรวมแล้ว LLM เก่งงานที่แรงงานความรู้ระดับเฉลี่ยทำได้ดี หรือสามารถฝึกให้ทำได้ดีค่อนข้างเร็ว
    • การเปรียบ LLM กับนักข่าวเป็น insight ที่ดี

  • เรื่องนี้ตลกดี ความสามารถด้านการเขียนของ GPT-3/4 ก็น่าประทับใจอยู่แล้ว แต่ที่น่าตกใจกว่านั้นคือ งานเขียนของมนุษย์ เต็มไปด้วยคำพูดพองลมแค่ไหน
    “ที่ปรึกษาธุรกิจ” คือจุดสูงสุดของบทบาทที่ต้องใช้การเขียนพองลมแบบนั้น และ ChatGPT สามารถทำตัวเป็นที่ปรึกษาธุรกิจได้ยิ่งกว่าที่ปรึกษาธุรกิจที่เก่งที่สุดเสียอีก
    ในที่ทำงาน บางครั้งถ้าอยากให้คนรับเรื่องอย่างจริงจัง ก็ต้องขยายไอเดียหรือข้อมูลสั้น ๆ ให้กลายเป็นเอกสารหลายหน้าหรือ slide deck เพื่อให้คนอื่นเห็นทันทีว่า “ทุ่มเททำงานมาแล้ว”
    บทบาทที่เหมาะกับ ChatGPT ที่สุดตอนนี้อาจเป็นการรับข้อความสั้น ๆ แล้วขยายเป็น เอกสารยืดยาวเต็มไปด้วยน้ำ จากนั้นผู้รับก็ต้องทนอ่านเอกสารหรือสไลด์ที่ยืดยาว ยอมรับว่า “ทำงานแล้ว” แล้วค่อยเอากลับไปใส่ ChatGPT เพื่อสรุปให้เหลือแต่สาระเดิม

    • คนส่วนใหญ่โฟกัสว่า LLM ทำอะไรได้ แต่สิ่งที่น่าสนใจพอ ๆ กันหรือมากกว่าคือ มันทำอะไรไม่ได้ และเพราะอะไร
      เมื่อเราพูดว่า “LLM สร้างข้อความได้” เรากำลังป้ายสีด้วยแปรงกว้างเท่าทางด่วน 10 เลน ดูเหมือนว่าเรามีคำศัพท์ค่อนข้างจำกัดในการอธิบายว่างานเขียนจริง ๆ คืออะไร และมีหมวดหมู่กับระดับแบบไหนบ้าง
      เช่น อีเมลสุภาพ สแปมสร้างแรงบันดาลใจสไตล์ LinkedIn และภาษาบริษัท GPT เอาชนะมนุษย์ได้ตั้งแต่ครั้งแรก ซึ่งน่าสนุกและสำหรับผมคาดเดาได้เต็มที่ ในทางกลับกัน ถ้าขอหนังสือ Game of Thrones เล่มถัดไปหรืองานวรรณกรรมที่เขียนดี มันจะพัง กลายเป็นงานน่าเบื่อ ทั่วไป เต็มไปด้วยสำนวนจำเจ โครงเรื่องและตัวละครว่างเปล่า
      ตอนนี้เราต้องทำแผนที่ภูมิทัศน์ของงานเขียนให้อยู่ในพื้นที่แนวคิดที่ดีกว่านี้ ตอนนี้ดูเหมือนเรายังแยกไม่ออกด้วยซ้ำว่าอะไรต่างกันระดับเลขคณิตกับพีชคณิตนามธรรม

  • LLM เก่งอย่างน่าทึ่งกับงานด้านภาษา สิ่งที่คนสมัยก่อนเรียกกันว่างานประมวลผลภาษาธรรมชาติส่วนใหญ่ ตอนนี้แทบจะถูกกลบหมดแล้ว การสรุปความ การถาม-ตอบ การวิเคราะห์อารมณ์ ฯลฯ อยู่ในระดับที่น่าทึ่งจริง ๆ
    งานเชิงสร้างสรรค์ที่ขอบเขตของ “ข้อเท็จจริง” ไม่ได้ชัดเจน และไม่จำเป็นต้องเชื่อมโยงกันอย่างหนาแน่นเหมือนนิยายของ Pynchon ก็แข็งแกร่งมาก เรื่องสั้น บทความแสดงความคิดเห็น ข้อความโฆษณาผลิตภัณฑ์ ล้วนเป็น ตัวขยายผลิตภาพ ที่สามารถปั่นไอเดีย 20 แบบออกมาเป็นเหมือนต้นแบบได้ใน 1 นาที
    แต่ตำแหน่งในปัจจุบันก็อยู่ประมาณนี้แหละ คือยกภาษาธรรมชาติขึ้นไปยัง latent space สร้างแนวคิดที่พอจะแยกออกจากกันได้ในระดับหนึ่ง ทำอะไรคล้าย affine transformation แล้วค่อยดึงกลับลงมา
    ในฐานะคอมพิวเตอร์มันน่าประทับใจสุด ๆ แต่ถ้าถามว่ามันแทนที่บัณฑิต Penn ราคาแพงได้จริงไหม สิ่งที่คนยอมจ่ายเงินให้อาจไม่ใช่อินไซต์ด้านกลยุทธ์ผลิตภัณฑ์อันเจิดจ้า แต่เป็นอะไรอย่างอื่นมากกว่า

    • สงสัยว่า AI จะใช้เวลาอีกนานแค่ไหนกว่าจะเชี่ยวชาญด้านกฎหมาย งานภาษาที่มันทำได้ดีตอนนี้คล้ายงานศิลปะ คือแก้ปัญหาที่พื้นที่คำตอบใหญ่มหาศาลและทนต่อการเปลี่ยนแปลงเล็ก ๆ ได้ดี
      ประมาณว่าถ้าปรับรูปมนุษย์ต้นไม้หน้าบึ้งนิดหน่อย ก็ยังมีแนวโน้มสูงว่าจะเป็นรูปมนุษย์ต้นไม้หน้าบึ้งที่ดีอยู่ดี
    • เห็นด้วยยากนะ LLM ไม่สามารถทำอะไรได้อย่าง น่าเชื่อถือ เลย ต่อให้จำกัดขอบเขตแค่ไหนก็ตาม
      ที่ผลลัพธ์ดูเหมือนพอรับได้ เป็นเพราะมนุษย์ใช้สมองมนุษย์เติมรอยร้าวให้เอง คนเรามองออกว่าผลลัพธ์ไหนเป็นขยะ คลี่คลายความกำกวมเล็ก ๆ และแก้ข้อผิดพลาดยิบย่อยด้านข้อเท็จจริงกับตรรกะโดยไม่รู้ตัว
      แต่คงไม่มีใครเอาผลลัพธ์จาก LLM ใส่เข้าโปรแกรมคอมพิวเตอร์อื่นโดยตรงหรอก แบบนี้งานประมวลผลภาษาธรรมชาติแบบดั้งเดิมส่วนใหญ่ก็ถูกตัดออกไป
    • ถ้าจะให้ประโยคว่า “สิ่งที่คนสมัยก่อนเรียกกันว่างานประมวลผลภาษาธรรมชาติส่วนใหญ่ ตอนนี้ถูกกลบไปแล้ว” เป็นจริงสำหรับการใช้งานในบริการโปรดักชันส่วนใหญ่ LLM ต้อง เร็วขึ้นอย่างน้อย 10 เท่า
      โดยรวมเห็นด้วยว่ามันทำงานพวกนี้ได้ค่อนข้างดี แต่ประสิทธิภาพยังไม่พอสำหรับรันบนชุดข้อมูลขนาดใหญ่
    • ถ้าลองขอข้อความที่ถูกแปลงให้เป็นงานประมวลผลภาษาธรรมชาติโดยเฉพาะ มันทำได้ดีมาก
      แต่ทันทีหลังจากนั้นมันจะบอกว่าอย่าเอาไปใช้ตรง ๆ เพราะ “ผิดจริยธรรม”

  • เรื่องนี้ยิ่งบอกได้มากกว่าว่า ที่ปรึกษา BCG ไร้ประโยชน์แค่ไหน

    • ดูเหมือน LLM ก็มีปรากฏการณ์เทียบเท่าคำพูดเก่าว่า “สื่อถูกต้องทุกเรื่อง ยกเว้นเรื่องที่ฉันเป็นผู้เชี่ยวชาญ” อยู่เหมือนกัน ผลลัพธ์ของ LLM ก็ดูดีไปหมด ยกเว้นเรื่องที่ฉันเป็นผู้เชี่ยวชาญ
      คนที่ไม่มีพื้นฐานด้านการเขียนหรือการแก้ไขคิดว่า LLM จะปฏิวัติวงการนั้น แต่นักเขียนและบรรณาธิการตัวจริงพอเห็นผลลัพธ์จาก LLM ครั้งเดียวก็รู้ว่าเวลาที่ต้องใช้แก้แทบพอ ๆ กับเขียนใหม่ตั้งแต่ต้น จึงแทบไม่มีคุณค่า
      เช่นเดียวกัน คนที่เขียนโปรแกรมไม่เป็นหรือเข้าใจหัวข้ออย่างผิวเผิน โดยเฉพาะผู้จัดการที่อยากดูเป็นสายเทคนิค จะเห็นผลลัพธ์จาก LLM แล้วคิดว่านำไป deploy ได้ทันที แต่โปรแกรมเมอร์ที่ดีจะเห็นว่ามีทั้งปัญหาใหญ่และปัญหาเล็กมากเกินไป จนไม่คุ้มจะแก้เมื่อเทียบกับเขียนใหม่ตั้งแต่ต้น
    • ที่ปรึกษาด้านการจัดการส่วนใหญ่ไร้ประโยชน์ก็จริง แต่ก็มีความจริงที่ต้องยอมรับ
      ในทีมวิศวกร 20–30 คน โดยปกติจะมีวิศวกรอยู่แค่คนเดียวที่ทั้งเก่งเทคนิคและรับมือกับคนได้ดี จนรู้สึกว่า “ทำไมเขายังอยู่กับเรา?” แต่ต่อให้บุคลิกดีแค่ไหน งานก็คืองาน เขาแค่ให้เบาะแสได้ว่าการบริหารควรเป็นอย่างไร เขายังเล่นวิดีโอเกม มีครอบครัว มีชีวิตของตัวเอง เลยไม่ได้สนใจว่าบริษัทจะไปทางไหน หรือเรื่องการบริหารกับความรับผิดชอบที่ไม่จำเป็น อีกอย่าง คนข้างบนก็มองเขาแค่เป็น “วิศวกร” ไม่ใช่ “ผู้จัดการ”
      พอวิศวกรและผู้จัดการคนอื่น ๆ ก็มีท่าทีว่า “ไม่ใช่ปัญหาของฉัน” ก็เกิดช่องว่างการสื่อสารประหลาด ๆ ขึ้นมา วิศวกรที่ทำงานใกล้ชิดกับผลิตภัณฑ์ไม่อยากคุยกับผู้จัดการ เพราะกลัวจะกลายเป็น “ถ้ารู้ดีขนาดนั้น งั้นนายมาทำเองสิ?” ส่วนผู้จัดการก็ไม่อยากคุยกับวิศวกร เพราะกลัวจะกลายเป็น “ถ้าสนใจขนาดนั้น งั้นนายมาทำเองสิ?”
      ที่ปรึกษาด้านการจัดการ จึงเข้ามาอยู่ในระยะห่างที่ขยายใหญ่ขึ้นเรื่อย ๆ ระหว่างผู้จัดการกับวิศวกร ด้วยความยืดหยุ่นที่ผู้บริหารระดับบนมอบให้ ที่ปรึกษาด้านการจัดการสามารถเดินไปมาระหว่างวิศวกรกับผู้จัดการ คุยกับใครก็ได้ และไม่ถูกผูกมัดด้วยประโยค “งั้นนายมาทำเองสิ?” จากนั้นก็ส่งรายงาน แล้วภายในหนึ่งเดือนก็รับเงินเท่ากับเงินเดือนหนึ่งปีของผู้จัดการหรือวิศวกร
      ถ้ามองอย่างจริงจัง จะมีหลายเรื่องที่บริษัทรู้ว่าควรทำแต่ไม่มีใครพูด เพราะพูดแล้วงานเพิ่ม ความเสี่ยงก็เพิ่ม “ที่ปรึกษาด้านการจัดการที่ดี” จะหาเรื่องพวกนั้นที่ “ไม่อยากทำแต่ต้องทำ” แล้วรายงานให้ผู้บริหารระดับบน จากนั้นผู้บริหารก็สร้างระบบเพื่อสั่งให้ทำงานนั้น ถ้าใครต้องการที่ปรึกษาด้านการจัดการ จะจ้างผมก็ได้ ผมจะบอกได้ 20 วิธีว่าทำไมบริษัทของคุณถึงไม่ค่อยดี และในนั้น 18 ข้อจะให้ ChatGPT สร้างให้
    • เห็นด้วยระดับหนึ่ง LLM ช่วยเพิ่มผลงานด้านโปรแกรมมิงของผมเป็นหลัก ๆ ในการเขียน JSDoc กับคำอธิบาย PR ซึ่งเป็นสิ่งที่ผมไม่ค่อยอยากทำ
    • งานวิจัยนี้แค่แสดงให้เห็นว่า 40% ของงานที่ปรึกษา BCG เป็นเสียงรบกวนที่ไม่ได้สร้างมูลค่าเพิ่มจริง ลูกค้าน่าจะเรียกร้องส่วนลด 40% ได้แล้ว
    • ทุกครั้งที่ GPT ทำอะไรสักอย่าง การพูดซ้ำ ๆ ว่า “นั่นบอกอะไรได้มากกว่าเกี่ยวกับ [เป้าหมาย]” เองต่างหากที่บอกอะไรได้มากกว่า
      มันตลกดีที่คาดเดาคอมเมนต์แบบนี้ได้ในทุกเธรด ถ้าใช้ประโยค “นั่นบอกอะไรได้มากกว่าเกี่ยวกับ [เติมคำ]” ไปเรื่อย ๆ ตัวสำนวนเองก็จะสูญเสียความหมายไป น่าจะพูดอะไรที่มีความหมายกว่านี้ได้ไม่ใช่หรือ

  • ไม่แปลกใจเลย GPT ดีจนน่ากลัว และเข้ากับงาน เขียนโปรแกรม ได้ดีมาก
    ผมให้ GPT-4 เขียนโค้ดให้แล้วลองดูว่าทำงานไหม แต่แทบไม่ค่อยคัดลอกโค้ดนั้นไปวางใช้ตรง ๆ จะเขียนใหม่เองให้เข้ากับบริบทของ codebase มากกว่า ถึงอย่างนั้นมันก็ช่วยประหยัดเวลาได้มากเวลาที่ไม่แน่ใจว่าควรทำอย่างไร
    บางครั้งข้อเสนอแนะก็ไม่ถูกใจ แต่นั่นก็มีประโยชน์เหมือนกัน เพราะบ่อยครั้งมันทำให้ problem space ชัดขึ้นในหัว

    • เมื่อวานผมลองใช้ ChatGPT กับโค้ดเป็นครั้งแรก
      ผมให้งานที่ค่อนข้างยาก ซึ่งหา答案จาก Google ไม่ได้ และก็ไม่แน่ใจด้วยว่าทำได้หรือไม่ ข้อกำหนดคือ “เมื่อมี Python object หนึ่ง ให้รายชื่อฟังก์ชันที่รับ object นี้เป็นอาร์กิวเมนต์ ห้ามแก้โค้ดเดิม แก้ได้เฉพาะโครงสร้างของ object”
      ตอนแรกมันให้ไอเดียที่ไม่ค่อยตรง เช่น แก้ฟังก์ชัน ห่อด้วย decorator หรือดูการติดตาม stack ปัจจุบัน แต่หลังคุยกันไปมาหลายรอบ มันเสนอให้แก้ด้วยวิธี intercept ตัว tracer ของ Python และมันก็ใช้งานได้จริง
      จุดที่น่าทึ่งคือมันน่าจะไม่เคยเห็นอะไรแบบนี้ในข้อมูลฝึก แต่ก็ยังประกอบชิ้นส่วนต่าง ๆ เข้าด้วยกันได้ เกือบใกล้ระดับมนุษย์เลย พอถามต่อ มันก็อธิบายข้อจำกัดได้ง่าย ๆ ว่าอาจไปรบกวน debugger
    • บทความที่เผยแพร่ไม่ได้เกี่ยวกับงานเขียนโปรแกรม แต่เกี่ยวกับการสร้างข้อความสำหรับ “ที่ปรึกษาด้านกลยุทธ์”
      ตัวอย่างในหน้า 10 ของต้นฉบับเป็นแนวนี้: เสนอไอเดียรองเท้าใหม่อย่างน้อย 10 รายการสำหรับตลาดหรือกีฬาที่ถูกมองข้าม, แบ่ง segment ตลาดอุตสาหกรรมรองเท้าตามผู้ใช้, ร่างข่าวประชาสัมพันธ์โปรโมตผลิตภัณฑ์, เขียน memo สร้างแรงบันดาลใจถึงพนักงานเพื่ออธิบายว่าทำไมจึงเหนือกว่าผลิตภัณฑ์คู่แข่ง
      โดยส่วนตัวแล้วผมมองว่าแทบไม่มีคุณค่าจริงเท่าไร
    • แค่การอธิบายปัญหาให้ GPT-4 ฟัง บางครั้งก็ช่วยได้พอ ๆ กับคำตอบเอง เกือบเหมือน rubber duck debugging แบบเสริมพลัง
    • นี่เป็นเพียงขั้นหนึ่งที่ห่างจากการเขียนโปรแกรมแบบ “ลองนั่นลองนี่จนกว่าจะได้” เท่านั้น
      ไม่ได้หมายความว่าคุณเป็นโปรแกรมเมอร์แบบนั้น แต่แน่นอนว่ามันทำให้โปรแกรมเมอร์ประเภทนั้นเป็นไปได้
    • เป็น rubber duck ที่พูดเก่งจริง ๆ: https://en.wikipedia.org/wiki/Rubber_duck_debugging

  • ในฐานะอดีตที่ปรึกษา คำถามชัดเจนถัดไปที่ผุดขึ้นมาคือ จะเป็นอย่างไรถ้าตัดที่ปรึกษาออกไปทั้งหมด แล้วให้ GPT-4 ทำงานให้ลูกค้าโดยตรง?
    หากลูกค้าจะจ้างที่ปรึกษา ก็ต้องอธิบาย requirements ตรวจสอบผลลัพธ์ ให้ feedback และเข้าประชุมอีกหลายครั้ง
    แต่ถ้า GPT-4 ทำให้ที่ปรึกษาเก่งขึ้นมาก ก็ดูเหมือนว่าน่าจะทำงานแทนพวกเขาได้ด้วย เมื่อรวมกับ ต้นทุนการสื่อสารที่ลดลง จากการไม่ต้องทำงานกับกลุ่มภายนอกแล้ว มีเหตุผลอะไรที่ลูกค้าจะไม่ตัดค่าใช้จ่ายที่ปรึกษาภายนอกและภาระการจัดการออก แล้วเก็บผลประโยชน์ไว้เองโดยตรง?
    โดยเฉพาะเมื่อลูกค้าเป็น domain expert อยู่แล้วและแค่ต้องการกำลังคนเพิ่ม เช่น marketing brand manager รู้จักผลิตภัณฑ์และการตลาดของตัวเองดี แต่เพราะข้อจำกัดด้านบุคลากรภายในจึงอาจต้องทำงานกับที่ปรึกษาการตลาด
    ผมสงสัยว่า BCG คิดถึงนัยของการเข้าร่วมงานวิจัยนี้จนสุดทางหรือยัง จาก “ทำให้ที่ปรึกษาช่วยลูกค้าได้ดีขึ้น” ไปถึง “ช่วยลูกค้าโดยตรงและแสดงให้เห็นว่าที่ปรึกษาไม่ค่อยจำเป็น” ดูเหมือนจะห่างกันสั้นมาก
    โดยเฉพาะถ้าลูกค้าจ้าง intern สักคนแล้วให้ใช้ GPT-4

    • บริษัทอย่าง BCG หรือ McKinsey โดยทั่วไปมีไว้เพื่อ ปัดความรับผิดชอบ
      ในมุม CEO ก็เรียกพวกเขาเข้ามา จ่ายเงินก้อนโตให้ทำแผนและกลยุทธ์ ถ้าไปได้ดีก็รับความดีความชอบ ถ้าไปไม่ดี ก็พูดได้ว่า “เราได้ทำงานอย่างใกล้ชิดกับผู้เชี่ยวชาญจาก McKinsey แล้ว ดังนั้นจึงไม่ใช่ความรับผิดชอบของผม”

  • HN ทำนายอะไรไม่เก่งจริง ๆ แค่ไม่กี่เดือนก่อนยังมีคอมเมนต์เต็มไปหมดที่พูดอย่างมั่นใจว่า LLM เป็นแค่ นกแก้วเชิงสถิติ และจะทำอะไรสำเร็จไม่ได้เลย
    “ผมสลัดความคิดที่ว่า AI winter รอบต่อไปอยู่ใกล้แค่เอื้อมไม่ได้เลย” งั้นสิ แน่นอน
    [0] https://news.ycombinator.com/item?id=23886325

    • ใครบอกว่าที่ปรึกษาด้านการจัดการไม่ใช่นกแก้วเชิงสถิติ?
    • คอมเมนต์นั้นยังบอกด้วยว่า “ถ้าคุณกำลังมองหาวิธีแทนที่สแปม content marketing แบบคุ้มต้นทุน ก็เยี่ยมเลย คุณทำสำเร็จแล้ว”
      และถ้าอ่านบทความ ผลลัพธ์ที่เราพูดถึงก็อยู่ในระดับนั้นแทบจะตรงเป๊ะ เช่น ไอเดียรองเท้าใหม่อย่างน้อย 10 รายการสำหรับตลาดหรือกีฬาที่ถูกมองข้าม, การแบ่ง segment ตลาดอุตสาหกรรมรองเท้า, ข่าวประชาสัมพันธ์สินค้า, memo สร้างแรงบันดาลใจให้พนักงานว่าทำไมจึงเหนือกว่าผลิตภัณฑ์คู่แข่ง
      แถมในงานที่สอง กลุ่มที่ไม่ใช้ LLM ยังทำได้ดีกว่ามาก
    • ผมไม่แน่ใจว่าบทความนี้พิสูจน์อะไรได้มากนัก การทวนข่าวประชาสัมพันธ์กลับออกมาใกล้เคียงกับงานแบบนกแก้วเชิงสถิติ
    • ทำนายพลาดยังไม่เป็นไร สิ่งที่ทนยากคือ การไม่ปรับ calibration เลยแม้แต่น้อย
      ถ้าทำนายผิดแบบเละเทะ ก็แปลว่า model ในหัวของผมเกี่ยวกับสิ่งนั้นคลาดเคลื่อนและต้องแก้ไข
      แต่ถ้าไม่แก้ model เลยแล้วยังทำนายต่อ นั่นเป็นปัญหาใหญ่
    • คอมเมนต์นั้นคงได้เข้าหอเกียรติยศของ HN เหมือนคนที่เคยบอกว่า Dropbox ถูกแทนที่ได้ง่าย ๆ ด้วยอะไรอย่าง rsync

  • เมื่อเวลาผ่านไป งานออฟฟิศจำนวนมากจะถูก optimize ด้วยบริการแบบ GPT
    ผมมี sense ทางเทคนิคพอจะรู้ว่างานออฟฟิศที่ทำอยู่มีหลายอย่างที่ทำซ้ำได้และจัดการด้วย script ได้ แต่ยังไม่ถึงขั้นเขียน script เองได้ ต้องขอบคุณ ChatGPT ที่ทำให้ผมสร้าง script เหล่านั้นได้ และใช้เวลาราว 15–20 ชั่วโมงกว่าจะทำให้มันทำงานได้สมบูรณ์
    ผมรู้ Python scripting เพียงนิดหน่อย และไม่รู้จักอะไรอย่าง pandas หรือ xlswriter เลย แต่ก็สร้างบางอย่างที่ช่วยประหยัดเวลาได้สัปดาห์ละ 20–25 ชั่วโมง
    ใน HN มีคนเขียนโปรแกรมเก่ง ๆ จำนวนมาก เลยดูเหมือนจะประเมิน โลกที่บริการอย่าง ChatGPT เปิดให้กับคนที่ไม่ใช่โปรแกรมเมอร์ ต่ำเกินไป ในทางกลับกัน มันก็อาจทำให้คนที่ไม่มีความอยากรู้อยากเห็นเรียนรู้น้อยลงได้เหมือนกัน ถ้าเป็นเมื่อก่อน ผมคงไป Google แล้วปะติดปะต่อวิธีหยุดบริการ snapd หลายตัวด้วย script แต่ตอนนี้แค่ถาม ChatGPT แล้วได้ script ที่ใช้ได้ภายในไม่ถึง 1 นาที

    • เห็นด้วยเต็มที่ ผมเริ่มจาก “X ทำได้ไหม แล้วทำอย่างไร” และทำ proof of concept แบบหยาบ ๆ ได้หลายครั้งสำหรับปัญหาที่แม้แต่คำค้นก็ยังไม่รู้ด้วยซ้ำ

  • มีสองจุดที่ควรสังเกตจากบทคัดย่อ
    มีข้อความว่า “งานให้คำปรึกษาในโลกจริง 18 งานที่อยู่ภายในขอบเขตความสามารถของ AI” กล่าวคือ ตั้งใจเลือกงานที่ GPT-4 ทำได้ งานที่ GPT-4 ทำไม่ได้มีอยู่มาก ดังนั้นแม้จะพูดว่าประสิทธิภาพเพิ่มขึ้นอย่างมาก ก็ต้องวางบริบทไว้ว่าเป็นเพียง งานที่เหมาะกับ GPT-4 เท่านั้น
    อีกอย่าง มีข้อความว่า “ผู้ปฏิบัติงานต่ำกว่าค่าเฉลี่ยเพิ่มขึ้น 43% เมื่อเทียบกับคะแนนของตนเอง ส่วนผู้ปฏิบัติงานสูงกว่าค่าเฉลี่ยเพิ่มขึ้น 17%” แม้จะเลือกเฉพาะงานที่เหมาะกับ GPT-4 เป็นพิเศษแล้ว การปรับปรุงของผู้ปฏิบัติงานสูงกว่าค่าเฉลี่ยก็อยู่ที่ 17% หากเห็นการเพิ่มขึ้นแบบนี้โดยรวมก็ยังถือว่าน่าประทับใจ แต่ผมมองว่า 17% นั้นน้อยกว่าที่บางฝ่ายพยายามขายอย่างมาก

    • ผู้ปฏิบัติงานต่ำกว่าค่าเฉลี่ยอาจมีแนวโน้มยอมรับผลลัพธ์ของ GPT ไปตรง ๆ ได้ง่ายกว่า เพราะมีความสามารถในการตรวจทานและแก้ไขต่ำกว่า
      ผู้ปฏิบัติงานสูงกว่าค่าเฉลี่ยมีความมั่นใจในความสามารถของตัวเอง จึงมีแนวโน้มจะรื้อแก้ผลลัพธ์ของ GPT มากกว่า ดังนั้นกลุ่มต่ำกว่าค่าเฉลี่ยจึงสร้างชิ้นงานสำเร็จได้เร็วกว่า และการทดสอบนี้มีการจำกัดเวลา ความเร็วจึงน่าจะสำคัญ
      ChatGPT เก่งมากในการเขียนยืดยาว และข้อความการตลาดกับข้อความสร้างแรงบันดาลใจโดยเนื้อแท้ก็เป็นงานเขียนยืดยาวอยู่แล้ว กล่าวคือโจทย์ถูกทำขึ้นให้เหมาะกับ ChatGPT แบบไม่มีตัวช่วยอื่น จนผู้มีผลงานสูงกลับเสียเปรียบ
    • กำลังประเมินต่ำเกินไป ประโยชน์จะ สะสมแบบทบต้น
      การเพิ่มประสิทธิภาพเพียงเล็กน้อยกลายเป็นข้อได้เปรียบใหญ่ในการเติบโตระยะยาว 17% ก็เป็นการปรับปรุงที่มหาศาลแล้ว