BloombergGPT - โมเดลภาษาขนาดใหญ่สำหรับการเงิน
(arxiv.org)- โมเดลภาษาที่มีพารามิเตอร์ 50 พันล้าน (50B) ซึ่งฝึกด้วยข้อมูลทางการเงินขนาดมหาศาล
- สร้างชุดข้อมูลขนาด 363 พันล้านโทเค็นโดยอิงจากแหล่งข้อมูลของ Bloomberg และเสริมด้วยชุดข้อมูลทั่วไปอีก 345 พันล้านโทเค็น
- ไม่มีประสิทธิภาพลดลงในการทดสอบมาตรฐานของ LLM ทั่วไป และในงานด้านการเงินแสดงประสิทธิภาพที่เหนือกว่าโมเดลเดิมอย่างมาก
- อธิบายตัวเลือกด้านการสร้างแบบจำลอง กระบวนการฝึก และวิธีวิทยาการประเมินผลด้วย
- ขั้นถัดไปมีแผนจะเผยแพร่บันทึกการฝึก (chronicle) ที่อธิบายประสบการณ์การเทรน BloombergGPT อย่างละเอียด
ยังไม่มีความคิดเห็น