ผู้คนที่กำลังทำ Fine-tune ให้กับ llama2
(news.ycombinator.com)นี่คือตัวอย่างการทำ Fine-tune llama2 จาก Hacker News
การทำ Fine-tune คือการปรับแต่งโมเดล AI เพิ่มเติมด้วยชุดคำถามและคำตอบของเราเอง
ว่ากันว่าการทำ Fine-tune สามารถเริ่มได้ตั้งแต่ตัวอย่างอย่างน้อย 50 ชุด และถ้าเป็นไปได้ก็ควรมีตัวอย่างมากกว่า 1,000 ชุด
ผู้เขียนบอกว่าโมเดล Llama 7B ที่ผ่านการ Fine-tune แล้วมีต้นทุนถูกกว่า GPT-3.5 มากกว่า 50 เท่า
แน่นอนว่าการเปรียบเทียบระหว่าง Llama 7B กับ GPT-3.5 (165B) นั้นอาจไม่สมเหตุสมผลนัก แต่เนื่องจากโมเดล GPT ที่ผ่านการ Fine-tune แล้วไม่ได้มีราคาถูก ผมจึงคิดว่าอาจจะมีกรณีการใช้งานที่เลือก Fine-tune Llama เพิ่มมากขึ้น
2 ความคิดเห็น
"You can run 70B LLAMA on dual 4090s/3090s with quantization. Going with dual 3090s you can get a system that can run LLAMA 2 70B with 12K context for < $2K.
I built two such a systems after burning that much in a week on ChatGPT."
https://news.ycombinator.com/item?id=37489601
คอมเมนต์นี้น่าประทับใจนะครับ พอไปดูคอมเมนต์ที่เขาทิ้งไว้ต่อ บอกว่าแต่ละทีมจัดการข้อมูลกันคนละฟอร์แมต แต่ใช้ ChatGPT มาช่วยทำให้เป็นมาตรฐานเดียวกันจนปรับฟอร์แมตข้อมูลให้ตรงกันได้ภายใน 1 สัปดาห์ ถ้าเอามาผสมกันดี ๆ แบบนี้ล่ะ?!
โอ้ เป็นไอเดียที่ดีมากเลยนะครับ ประทับใจที่ถึงขั้น CEO ของ replicate ยังโผล่มาคอมเมนต์ด้วย
ผมยังจำความเห็นที่บอกว่าต้นทุนของ GPT-3.5 (คาดว่าเป็น turbo) กับต้นทุนของ llama 70b น่าจะใกล้เคียงกันได้อยู่เลย
ส่วนตัวผมคิดว่าจะใช้ GPT ในงานจริง แต่เห็นได้ชัดว่าเริ่มมีสตาร์ทอัพที่ใช้ข้อได้เปรียบจาก llama + การปรับจูนละเอียด เลยเอามาแชร์ครับ