- Sam Altman CEO ของ OpenAI กล่าวว่า กลยุทธ์การวิจัยที่ให้กำเนิด ChatGPT นั้นใช้ไม่ได้ผลอีกต่อไปแล้ว และการพัฒนาอนาคตของปัญญาประดิษฐ์จำเป็นต้องมีแนวคิดใหม่
- OpenAI สร้างโมเดลภาษาอย่าง GPT-4 ขึ้นมาด้วยการขยายอัลกอริทึมแมชชีนเลิร์นนิงเดิม แต่ต่อจากนี้การพัฒนาโดยเพิ่มขนาดโมเดลให้ใหญ่ขึ้นอย่างเดียวจะทำได้ยาก
- การพัฒนา GPT-4 ใช้งบมากกว่า 100 ล้านดอลลาร์ และยังมีข้อจำกัดในการขยายดาต้าเซ็นเตอร์จากขีดจำกัดทางกายภาพ
- ทิศทางการวิจัย AI หลัง GPT-4
- Nick Frosst ผู้ร่วมก่อตั้ง Cohere ก็เห็นด้วยเช่นกันว่าการขยายขนาดโมเดลเพียงอย่างเดียวมีข้อจำกัด
- การออกแบบโมเดล AI แบบใหม่ (architecture) และการปรับจูนละเอียดผ่านฟีดแบ็กจากมนุษย์ อาจเป็นทิศทางการวิจัยที่มีอนาคต
- กระบวนการพัฒนาของโมเดลซีรีส์ GPT
- GPT-2 ที่เปิดตัวในปี 2019 เป็นโมเดลขนาดใหญ่ที่มีพารามิเตอร์ 1.5 พันล้านตัว
- ในปี 2020 GPT-3 มีขนาดเพิ่มขึ้นอย่างมากเป็น 175 พันล้านพารามิเตอร์ และกลายเป็นแรงผลักดันให้บริษัทและสถาบันวิจัยอื่น ๆ เดินหน้าพัฒนาโมเดลขนาดใกล้เคียงกัน
- แม้จะไม่มีการเปิดเผยขนาดที่แน่ชัดของ GPT-4 แต่คาดว่าได้นำเทคนิคอย่างการเรียนรู้แบบเสริมกำลังจากฟีดแบ็กของมนุษย์มาใช้ นอกเหนือจากการเพิ่มขนาดเพียงอย่างเดียว
- ผลกระทบทางสังคมและข้อถกเถียงจากการมาถึงของ GPT-4
- ความสามารถอันน่าทึ่งของ GPT-4 ทำให้ผู้เชี่ยวชาญจำนวนมากประหลาดใจ และก่อให้เกิดความกังวลว่า AI อาจเปลี่ยนแปลงเศรษฐกิจและทำให้เกิดการสูญเสียงาน
- ผู้เชี่ยวชาญและผู้ประกอบการบางส่วน เช่น Elon Musk ได้เผยแพร่จดหมายเปิดผนึกเรียกร้องให้หยุดการพัฒนา AI ที่ทรงพลังกว่า GPT-4 เป็นเวลา 6 เดือน
- Altman ระบุว่า ขณะนี้ OpenAI ไม่ได้กำลังพัฒนา GPT-5 และยังไม่มีแผนจะพัฒนาในช่วงนี้
ความเห็นของ GN⁺
- การพัฒนาโมเดลภาษาขนาดใหญ่แบบ GPT-4 ต้องใช้ต้นทุนและทรัพยากรคอมพิวต์มหาศาล ทำให้การขยายต่อเนื่องแบบนี้เป็นเรื่องยากในทางปฏิบัติ ดังนั้นอย่างที่ Altman กล่าวไว้ การมองหาทิศทางการวิจัยใหม่จึงดูเป็นสิ่งจำเป็น
- เนื่องจากมีการวิจัยเทคนิคหลากหลายเพื่อยกระดับประสิทธิภาพของโมเดล เช่น การเรียนรู้แบบเสริมกำลังจากฟีดแบ็กของมนุษย์ จึงคาดว่าความก้าวหน้าของ AI จะเกิดจากนวัตกรรมของตัวอัลกอริทึมเอง ไม่ใช่แค่การขยายขนาดโมเดล
- การมาถึงของโมเดล AI ทรงพลังอย่าง GPT-4 น่าจะก่อให้เกิดการเปลี่ยนแปลงครั้งใหญ่ต่อสังคมโดยรวม ดังนั้นนอกจากการพัฒนาเทคโนโลยีแล้ว ก็ควรมีความพยายามสร้างฉันทามติทางสังคมเกี่ยวกับประเด็นด้านจริยธรรมและกฎหมายที่เกี่ยวข้องด้วย
- แม้การพัฒนาเทคโนโลยี AI อย่างรวดเร็วจะทำให้เกิดความกังวลเรื่องผลกระทบด้านลบ เช่น การแทนที่แรงงาน แต่ขณะเดียวกันก็เปิดโอกาสใหม่ในการสร้างงานและเพิ่มผลิตภาพ จึงควรมองหาแนวทางรับมือในมุมมองระยะยาว
- ในการแข่งขันพัฒนาโมเดล AI ขนาดใหญ่ ดูเหมือนสตาร์ตอัปขนาดกลางและเล็กจะสร้างความได้เปรียบได้ไม่ง่ายนัก จึงอาจจำเป็นต้องมองหาโมเดลธุรกิจใหม่ เช่น นวัตกรรมในสาขาเฉพาะทางหรือการให้บริการแพลตฟอร์มสำหรับการพัฒนา
2 ความคิดเห็น
เป็นบทความสัมภาษณ์เมื่อเดือนเมษายนปีที่แล้ว เนื้อหาหลายส่วนอาจไม่ตรงกับปัจจุบันพอสมควรเพราะเป็นข้อมูลเมื่อ 1 ปีก่อน
พออ่านสรุปก็คิดว่าเขากำลังพูดถึงเรื่องสมัยไหนกันนะ ที่แท้ก็เป็นบทความเมื่อ 1 ปีก่อนนี่เอง 555