- สร้างขึ้นโดยนำเนื้อหาจากงานวิจัย Orca ของ Microsoft มาทำซ้ำในรูปแบบโอเพนซอร์ส
- FLANv2 ราว 1 ล้านรายการที่เสริมด้วย GPT-4 Completion
- FLANv2 ราว 3.5 ล้านรายการที่เสริมด้วย GPT-3.4 Completion
- รวม 75k CoT ทั้งหมดที่อยู่ในชุดข้อมูล FLAN-1m
- ขณะนี้กำลังทำการ fine-tuning กับค่าน้ำหนักทั้งหมดบนฐาน LLaMA-13B จึงคาดว่าประสิทธิภาพจะใกล้เคียงกับของ Microsoft
- น่าจะสามารถปล่อย OpenOrca-LLaMA-13b ได้ราวกลางเดือนกรกฎาคม
- กำลังมองหาสปอนเซอร์ GPU computing เพื่อนำ OpenOrca ไปใช้กับแพลตฟอร์มอื่น ๆ (Falcon, LLaMA, MPT เป็นต้น)
2 ความคิดเห็น
อ๊ะ ลิงก์เป็น 404 นะครับ
สามารถดูชุดข้อมูลได้ที่ Open-Orca/OpenOrca ของ HuggingFace ครับ! :D
อ๊ะ ดูเหมือนว่าบทความจะถูกลบไปแล้ว
ยังมีเก็บอยู่ใน WaybackMachine
https://web.archive.org/web/20230629002546/…
ผมได้แก้ลิงก์เป็นลิงก์ HuggingFace ที่เขาใส่ไว้แล้วครับ