ลองถาม GPT-NeoX-20B เรื่องการคำนวณเลขสี่พื้นฐานดูแล้ว
(twitter.com/moyix)-
ลองให้ GPT-NeoX ซึ่งเป็นโอเพนซอร์สโมเดลขนาดระดับ GPT-3 ทำโจทย์การคำนวณเลขสี่พื้นฐานแบบง่าย ๆ
-
จาก 100 ข้อ ตอบถูกเพียง 10 ข้อ แต่ส่วนใหญ่ก็ ใกล้เคียง กับคำตอบที่ถูกต้อง
Q: "What is 2653 * 30641?"
A: 82356113 (ผิด)
คำตอบที่ถูกต้องคือ 81290573
- โดยทั่วไปเป็นที่ทราบกันว่า "language model" นั้นไม่ได้เก่งคณิตศาสตร์มากนักโดยพื้นฐาน (อาจเป็นส่วนหนึ่งเพราะวิธีที่มัน tokenization ตัวเลขก็ได้)
4 ความคิดเห็น
คำตอบที่ถูกต้องจริง ๆ คือ 81290573 และคำตอบของ GPT-NeoX คือ 82356113 ไม่ใช่หรือครับ?
ผมลองคิดเลขในใจเองแล้วก็ลองกดเครื่องคิดเลขดูด้วย แต่ดูเหมือนว่าคำตอบที่ถูกต้องจะเป็น 81290573 นะครับ!
(ในภาพที่อยู่ในลิงก์ก็เห็นได้ว่า Correct เป็น No ด้วยครับ
ถ้าไม่ใช่ รบกวนช่วยชี้แนะด้วยครับ!)
อ๊ะ ฮือๆ ดูเหมือนว่าฉันจะพิมพ์สลับหน้าหลังไปเองนะคะ เลยแก้ไขไว้แล้วค่ะ ฮือ
กลับน่าทึ่งยิ่งกว่าอีกที่มันตอบเป็นค่าประมาณแทนคำตอบที่ถูกต้อง ทำให้รู้สึกเหมือนคนจริง ๆ
มีคอมเมนต์ใน HN ที่พูดถึงเรื่องนี้อย่างละเอียดอยู่มากมาย https://news.ycombinator.com/item?id=30299360