ความสามารถในการเล่าเรื่องอนาคตของ ChatGPT: สำรวจพรอมป์ต์เชิงบรรยายเพื่อการคาดการณ์ที่ดีขึ้น
(arxiv.org)• งานวิจัยนี้ศึกษาความสามารถในการคาดการณ์ของ ChatGPT-3.5 และ ChatGPT-4 ของ OpenAI โดยใช้กลยุทธ์พรอมป์ต์ที่แตกต่างกันอย่างชัดเจน 2 แบบ ได้แก่ การทำนายโดยตรงและการเล่าเรื่องอนาคต
• การวิเคราะห์มุ่งเน้นไปที่เหตุการณ์ที่เกิดขึ้นในปี 2022 ซึ่งอยู่หลังช่วงตัดข้อมูลการฝึกของโมเดลในเดือนกันยายน 2021 เพื่อประเมินความสามารถในการคาดการณ์เหตุการณ์ในอนาคต
• ผลการวิจัยแสดงให้เห็นว่า พรอมป์ต์การเล่าเรื่องอนาคตช่วยเพิ่มความแม่นยำในการคาดการณ์ของ ChatGPT-4 ได้อย่างมีนัยสำคัญ โดยเฉพาะในการทำนายผู้ชนะรางวัลออสการ์สาขาหลักและแนวโน้มทางเศรษฐกิจ
• พรอมป์ต์เชิงบรรยายของ ChatGPT ใช้ประโยชน์จากความสามารถในการสร้างเรื่องเล่าแบบหลอนข้อมูล ทำให้สามารถสังเคราะห์และคาดคะเนข้อมูลต่อยอดได้อย่างมีประสิทธิภาพมากกว่าการทำนายโดยตรง
• งานวิจัยนี้ชี้ให้เห็นมิติใหม่ของความสามารถด้านการคาดการณ์ของโมเดลภาษาขนาดใหญ่ (LLM) และเสนอการประยุกต์ใช้ที่เป็นไปได้ในบริบทการวิเคราะห์
• ทีมวิจัยจ้างผู้ช่วยวิจัย 2 คนเพื่อสอบถาม ChatGPT 50 ครั้งต่อพรอมป์ต์เพื่อสร้างการกระจายของคำตอบ ส่งผลให้มีการทดลองทั้งหมด 100 ครั้งต่อพรอมป์ต์
• ผลลัพธ์ถูกนำเสนอเป็นแผนภาพกล่องที่อธิบายการกระจายโดยรวมของคำตอบสำหรับแต่ละพรอมป์ต์ ซึ่งให้ข้อมูลเชิงลึกเกี่ยวกับประสิทธิภาพและข้อจำกัดของโมเดล
ยังไม่มีความคิดเห็น