Unix เทียบกับ Linux
Oracle เทียบกับ MySQL
โอเพนซอร์สได้สร้างนวัตกรรมผ่านความร่วมมือ พลังของโอเพนซอร์สคือความโปร่งใสและการทำงานร่วมกัน Linux, MySQL และโอเพนซอร์สที่ประสบความสำเร็จอื่น ๆ คือตัวอย่างของผลลัพธ์นั้น
GPT-n เทียบกับ Llama ?
Llama มีข้อจำกัดของนวัตกรรมแบบเปิด
การจะสร้างนวัตกรรมให้กับโมเดล Llama ได้ จำเป็นต้องทำ pretraining ได้ แต่ตอนนี้ทำได้แค่ post-training เท่านั้น เหตุผลคือไม่ได้เปิดเผยข้อมูลการฝึกของ Llama ใน AI และดีปเลิร์นนิง ซอร์สโค้ดก็คือชุดข้อมูลฝึกนั่นเอง แต่ Llama เปิดเผยแค่ model weights เท่านั้น ส่วน training data, model training code, hyperparameter เป็นต้น ไม่ได้เปิดเผย ปัจจุบันด้วย weights ของ Llama จึงทำได้เฉพาะนวัตกรรมเชิงปรับแต่ง เช่น fine-tuning หรือการทำให้เบาลง แต่การสร้างนวัตกรรมกับ model weights ซึ่งทำได้เฉพาะผ่าน pretraining นั้นเป็นไปไม่ได้ เพราะใน AI และดีปเลิร์นนิง การพัฒนาชุดข้อมูลฝึกก็คือการเขียนโค้ดและการดีบักนั่นเอง ข้อมูลการฝึกของ Llama เป็นความลับ จึงไม่มีวิธีที่สาธารณะจะร่วมมือกันปรับปรุงได้ ในแง่นี้จึงยากจะมองว่า Llama เป็นโอเพนซอร์ส
1 ความคิดเห็น
Unix เทียบกับ Linux
Oracle เทียบกับ MySQL
โอเพนซอร์สได้สร้างนวัตกรรมผ่านความร่วมมือ พลังของโอเพนซอร์สคือความโปร่งใสและการทำงานร่วมกัน Linux, MySQL และโอเพนซอร์สที่ประสบความสำเร็จอื่น ๆ คือตัวอย่างของผลลัพธ์นั้น
GPT-n เทียบกับ Llama ?
Llama มีข้อจำกัดของนวัตกรรมแบบเปิด
การจะสร้างนวัตกรรมให้กับโมเดล Llama ได้ จำเป็นต้องทำ pretraining ได้ แต่ตอนนี้ทำได้แค่ post-training เท่านั้น เหตุผลคือไม่ได้เปิดเผยข้อมูลการฝึกของ Llama ใน AI และดีปเลิร์นนิง ซอร์สโค้ดก็คือชุดข้อมูลฝึกนั่นเอง แต่ Llama เปิดเผยแค่ model weights เท่านั้น ส่วน training data, model training code, hyperparameter เป็นต้น ไม่ได้เปิดเผย ปัจจุบันด้วย weights ของ Llama จึงทำได้เฉพาะนวัตกรรมเชิงปรับแต่ง เช่น fine-tuning หรือการทำให้เบาลง แต่การสร้างนวัตกรรมกับ model weights ซึ่งทำได้เฉพาะผ่าน pretraining นั้นเป็นไปไม่ได้ เพราะใน AI และดีปเลิร์นนิง การพัฒนาชุดข้อมูลฝึกก็คือการเขียนโค้ดและการดีบักนั่นเอง ข้อมูลการฝึกของ Llama เป็นความลับ จึงไม่มีวิธีที่สาธารณะจะร่วมมือกันปรับปรุงได้ ในแง่นี้จึงยากจะมองว่า Llama เป็นโอเพนซอร์ส
อีกทั้งยังมีปัญหาการขาดแคลนทรัพยากร GPU ของชุมชน
มีการกล่าวว่าการฝึก Llama ใช้ GPU H100*16k เฉพาะค่า GPU ก็เกิน 6 แสนล้านวอนแล้ว หากคิดรวมค่าโครงสร้างพื้นฐานและค่าไฟฟ้าในการรันเพิ่มเติม ก็น่าจะทะลุ 1 ล้านล้านวอนได้ไม่ยาก ไม่ใช่เรื่องที่ใคร ๆ ก็ลองทำได้ หากต้องการให้นวัตกรรมเกิดขึ้นในชุมชนโอเพนซอร์ส ก็จำเป็นต้องมี public GPU cluster
สรุปคือ
หากต้องการให้ open innovation เกิดขึ้นได้ในวงการ AI และดีปเลิร์นนิง อย่างน้อยต้องมีสองอย่างต่อไปนี้
แต่ข้อ 1 แทบเป็นไปไม่ได้เพราะปัญหาลิขสิทธิ์ และข้อ 2 ต้องใช้เงิน 1 ล้านล้านวอน
ข้อสรุปคือ ในสถานการณ์ปัจจุบัน open innovation ในวงการ AI และดีปเลิร์นนิงมีความเป็นไปได้ต่ำมาก แต่ถ้าเกิดนวัตกรรมด้านฮาร์ดแวร์ เช่น GPU หรือ neuromorphic chip เรื่องก็อาจเปลี่ยนไป