- ในยุคเริ่มต้นของคอมพิวติ้งสมรรถนะสูง บริษัทเทคโนโลยีรายใหญ่ต่างพัฒนา Unix เวอร์ชันปิดของตนเอง
- เมื่อเวลาผ่านไป Linux แบบโอเพนซอร์สเริ่มได้รับความนิยม และปัจจุบันได้กลายเป็นมาตรฐานของคลาวด์คอมพิวติ้งและระบบปฏิบัติการมือถือ
- คาดว่า AI ก็จะพัฒนาไปในลักษณะเดียวกัน
- ขณะนี้หลายบริษัทเทคโนโลยีกำลังพัฒนาโมเดลแบบปิด แต่โอเพนซอร์สกำลังไล่ตามอย่างรวดเร็ว
- เมื่อปีที่แล้ว Llama 2 ยังตามหลังโมเดลรุ่นก่อนหน้า แต่ในปีนี้ Llama 3 ไปถึงระดับที่แข่งขันกับโมเดลชั้นนำได้แล้ว
- ตั้งแต่ปีหน้าเป็นต้นไป คาดว่าโมเดล Llama จะกลายเป็นโมเดลชั้นนำที่สุดในอุตสาหกรรม
- Llama เป็นผู้นำอยู่แล้วในด้านความเปิดกว้าง ความสามารถในการปรับแก้ และความคุ้มค่าด้านต้นทุน
- ตอนนี้เรากำลังก้าวสู่ขั้นถัดไปเพื่อทำให้โอเพนซอร์ส AI กลายเป็นมาตรฐานของอุตสาหกรรม
- วันนี้ Meta เปิดตัว Llama 3.1 405B ซึ่งเป็นโมเดล AI โอเพนซอร์สล้ำสมัยรุ่นแรก พร้อมทั้งโมเดล Llama 3.1 70B และ 8B
- มีประสิทธิภาพต่อราคาที่ดีกว่าโมเดลแบบปิดอย่างมาก และการที่โมเดล 405B เป็นโอเพนซอร์สทำให้มันเป็นตัวเลือกที่ดีที่สุดสำหรับการ fine-tune และปรับแต่งโมเดลขนาดเล็กกว่า
- กำลังร่วมมือกับหลายบริษัทเพื่อขยายระบบนิเวศให้กว้างขึ้น
- ร่วมมือกับ Amazon, Databricks, NVIDIA และอีกหลายราย เพื่อให้บริการครบวงจรที่รองรับการ fine-tune และ distillation ของโมเดล AI
- Groq กำลังสร้างบริการ inference ที่มี latency ต่ำและต้นทุนต่ำ
- สามารถใช้งานโมเดลได้บนคลาวด์รายใหญ่ทั้งหมด เช่น AWS, Azure, Google และ Oracle
- Scale.AI, Dell, Deloitte และอีกหลายราย กำลังช่วยให้องค์กรนำ Llama ไปใช้และฝึกโมเดลเฉพาะทางด้วยข้อมูลของตนเอง
- เมื่อคอมมูนิตี้เติบโตขึ้นและมีองค์กรต่าง ๆ พัฒนาบริการใหม่มากขึ้น เราจะสามารถทำให้ Llama กลายเป็นมาตรฐานของอุตสาหกรรมและนำประโยชน์ของ AI ไปสู่ทุกคนได้
- Meta มุ่งมั่นต่อโอเพนซอร์ส AI
- เหตุผลที่เชื่อว่าโอเพนซอร์สคือ development stack ที่เหมาะสมที่สุดสำหรับคุณ
- เหตุผลที่การทำ Llama ให้เป็นโอเพนซอร์สเป็นผลดีต่อ Meta
- และเหตุผลที่โอเพนซอร์ส AI เป็นผลดีต่อโลก
- ดังนั้นจึงอธิบายถึงแพลตฟอร์มที่จะอยู่ต่อไปในระยะยาว
เหตุผลที่โอเพนซอร์ส AI ดีต่อผู้พัฒนา
- สามารถฝึกโมเดลเอง รวมถึง fine-tune และ distill ได้: แต่ละองค์กรสามารถปรับให้เหมาะกับขนาดโมเดลที่ดีที่สุดโดยใช้ข้อมูลเฉพาะของตน
- รักษาความเป็นอิสระโดยไม่ต้องพึ่งพา vendor แบบปิด: โอเพนซอร์สมอบระบบนิเวศของ toolchain ที่เข้ากันได้ ทำให้ย้ายไปมาระหว่างเครื่องมือได้อย่างอิสระ
- การปกป้องข้อมูล: สามารถประมวลผลข้อมูลอ่อนไหวบนโมเดลของตนเองโดยไม่ต้องส่งไปยังคลาวด์ API
- คุ้มค่าด้านต้นทุน: โมเดล Llama 3.1 405B มีค่าใช้จ่ายในการ inference ต่ำกว่าโมเดลแบบปิดประมาณ 50%
- ลงทุนกับมาตรฐานระยะยาว: โอเพนซอร์สกำลังพัฒนาเร็วกว่าระบบโมเดลแบบปิด
เหตุผลที่โอเพนซอร์ส AI ดีต่อ Meta
- โมเดลธุรกิจของ Meta คือการมอบประสบการณ์และบริการที่ดีที่สุด
- เพื่อให้ทำเช่นนั้นได้ จะต้องเข้าถึงเทคโนโลยีล้ำสมัยได้อยู่เสมอ และไม่ถูกผูกไว้กับระบบนิเวศแบบปิดของคู่แข่ง
- จากประสบการณ์การสร้างบริการบนแพลตฟอร์มของ Apple ทำให้พบข้อจำกัดของระบบนิเวศแบบปิด
- การสร้างระบบนิเวศแบบเปิดช่วยให้ให้บริการที่ดีกว่าได้
- มีความกังวลว่าการเปิดซอร์สคือการยอมสละความได้เปรียบทางเทคนิค แต่ความคิดนี้มองไม่เห็นภาพใหญ่
- การพัฒนาของระบบนิเวศ: Llama จำเป็นต้องเติบโตไปเป็นระบบนิเวศเต็มรูปแบบ ทั้งด้านเครื่องมือ การเพิ่มประสิทธิภาพ การปรับแต่งให้เหมาะกับชิป และการผสานรวมด้านอื่น ๆ ถ้ามีเพียง Meta ที่ใช้ Llama ระบบนิเวศจะไม่เติบโต
- การรักษาความสามารถในการแข่งขัน: การพัฒนา AI จะมีการแข่งขันสูงมาก ดังนั้นการเปิดซอร์สไม่ได้เท่ากับการยอมสละความได้เปรียบทางเทคนิคอย่างมีนัยสำคัญ Llama ต้องแข่งขันได้ มีประสิทธิภาพ และเปิดกว้างในทุกรุ่น
- ความต่างของโมเดลธุรกิจ: Meta ไม่ได้มีโมเดลธุรกิจเป็นการขายสิทธิ์เข้าถึงโมเดล AI ดังนั้นการเปิดซอร์ส Llama จึงไม่กระทบรายได้ ความยั่งยืน หรือความสามารถในการลงทุนวิจัย นี่เป็นหนึ่งในเหตุผลที่ผู้ให้บริการแบบปิดหลายรายล็อบบี้รัฐบาลเพื่อต่อต้านโอเพนซอร์ส
- ประสบการณ์โอเพนซอร์ส: Meta มีประวัติความสำเร็จกับโครงการโอเพนซอร์ส ผ่าน Open Compute Project บริษัทได้เปิดเผยดีไซน์ของเซิร์ฟเวอร์ เครือข่าย และดาต้าเซ็นเตอร์ จนช่วยประหยัดเงินได้หลายพันล้านดอลลาร์ อีกทั้งยังเปิดซอร์สเครื่องมืออย่าง PyTorch และ React และได้รับประโยชน์จากนวัตกรรมในระบบนิเวศ วิธีการนี้เป็นผลดีต่อ Meta อย่างสม่ำเสมอในระยะยาว
เหตุผลที่โอเพนซอร์ส AI ดีต่อโลก
- โอเพนซอร์สเป็นสิ่งจำเป็นสำหรับอนาคตเชิงบวกของ AI
- AI สามารถเพิ่มผลิตภาพ ความคิดสร้างสรรค์ และคุณภาพชีวิต เร่งการเติบโตทางเศรษฐกิจ และทำให้เกิดความก้าวหน้าในด้านการแพทย์และงานวิจัยทางวิทยาศาสตร์
- โอเพนซอร์สช่วยให้ผู้คนจำนวนมากขึ้นได้รับประโยชน์และโอกาสจาก AI และช่วยให้มั่นใจว่าอำนาจจะไม่กระจุกอยู่กับบริษัทเพียงไม่กี่แห่ง
- ช่วยให้เทคโนโลยี AI ถูกนำไปใช้อย่างทั่วถึงและปลอดภัยมากขึ้นในสังคม และโอเพนซอร์สปลอดภัยกว่าเพราะถูกพัฒนาอย่างโปร่งใส
- กรอบคิดของผมในการทำความเข้าใจเรื่องความปลอดภัยคือ เราต้องป้องกันอันตรายจาก 2 ประเภท
- อันตรายที่ไม่ได้ตั้งใจ: กรณีที่ระบบ AI ก่ออันตรายโดยไม่ตั้งใจ
- ตัวอย่าง: ให้คำแนะนำด้านสุขภาพผิดพลาด, ทำซ้ำตัวเองได้, หรือเพิ่มประสิทธิภาพตามเป้าหมายมากเกินไป
- อันตรายที่ตั้งใจ: กรณีที่ผู้ไม่หวังดีใช้โมเดล AI เพื่อก่ออันตราย
- ความกังวลส่วนใหญ่เกี่ยวข้องกับอันตรายที่ไม่ได้ตั้งใจ
- ตัวอย่าง: ผลกระทบของระบบ AI ต่อผู้คน หรือสถานการณ์แบบนิยายวิทยาศาสตร์ที่ AI ทำอันตรายมนุษย์
- โอเพนซอร์สปลอดภัยกว่าสำหรับการป้องกันอันตรายที่ไม่ได้ตั้งใจ เพราะระบบมีความโปร่งใสมากกว่าและเปิดให้ตรวจสอบได้อย่างกว้างขวาง
- โมเดลโอเพนซอร์สอย่าง Llama อาจปลอดภัยและมั่นคงกว่าโมเดลแบบปิด เพราะมีระบบด้านความปลอดภัยอย่าง Llama Guard
- เราพยายามประเมินความเป็นอันตรายของโมเดลและลดความเสี่ยงผ่านการทดสอบอย่างเข้มงวดและกิจกรรม red team
- โมเดลถูกเปิดเผยต่อสาธารณะ จึงเปิดให้ทุกคนทดสอบได้
- เนื่องจากโมเดล AI เรียนรู้จากข้อมูลบนอินเทอร์เน็ต จึงต้องพิจารณาว่าโมเดลจะสร้างอันตรายได้มากกว่าข้อมูลเดิมที่มีอยู่หรือไม่
- การพิจารณาเรื่องอันตรายที่ตั้งใจ
- ต้องแยกความแตกต่างระหว่างผู้เล่นขนาดเล็กกับผู้เล่นขนาดใหญ่
- ในอนาคต บุคคลที่มีเจตนาร้ายอาจใช้โมเดล AI เพื่อสร้างอันตรายรูปแบบใหม่
- AI จำเป็นต้องถูกกระจายใช้อย่างกว้างขวาง เพื่อให้ผู้เล่นรายใหญ่สามารถถ่วงดุลอำนาจของผู้ไม่หวังดีรายเล็กได้
- เมื่อองค์กรขนาดใหญ่นำ AI ไปใช้ในวงกว้าง ก็จะช่วยส่งเสริมความมั่นคงและเสถียรภาพทั่วทั้งสังคม
- การตอบสนองของสหรัฐฯ และประเทศประชาธิปไตย
- จุดแข็งของสหรัฐฯ คือการสร้างนวัตกรรมแบบเปิดและกระจายศูนย์
- มีบางคนโต้แย้งว่าควรปิดโมเดลเพื่อไม่ให้จีนเข้าถึงได้ แต่แนวคิดนี้ไม่ได้ผล
- เพราะการจารกรรมมีประสิทธิภาพสูง จึงมีโอกาสที่โมเดลจะถูกขโมยได้ง่าย
- โลกที่มีแต่โมเดลแบบปิดจะทำให้มีเพียงบริษัทใหญ่ไม่กี่แห่งและประเทศศัตรูที่เข้าถึงโมเดลได้ ขณะที่สตาร์ทอัพ มหาวิทยาลัย และธุรกิจขนาดเล็กจะพลาดโอกาสอย่างมาก
- หากจำกัดนวัตกรรมของสหรัฐฯ ไว้ในรูปแบบการพัฒนาแบบปิด ก็จะรักษาความเป็นผู้นำได้ยาก
- เราต้องสร้างระบบนิเวศแบบเปิด และทำงานร่วมกับรัฐบาลและพันธมิตรเพื่อใช้ประโยชน์จากเทคโนโลยีล้ำสมัยให้ได้สูงสุด
- โอเพนซอร์ส AI คือวิธีที่ดีที่สุดในโลกในการคว้าโอกาสทางเศรษฐกิจและความมั่นคงให้ได้สูงสุด
- บริษัทเทคโนโลยีชั้นนำและงานวิจัยทางวิทยาศาสตร์ในปัจจุบันล้วนตั้งอยู่บนซอฟต์แวร์โอเพนซอร์ส
- บริษัทและงานวิจัยรุ่นถัดไปก็จะใช้โอเพนซอร์ส AI เช่นกัน
มาร่วมสร้างไปด้วยกัน
- Meta กำลังใช้แนวทางที่แตกต่างจากโมเดล Llama รุ่นก่อนหน้า
- เราได้จัดตั้งทีมภายในเพื่อสนับสนุนให้นักพัฒนาและพาร์ตเนอร์ใช้ Llama ได้มากที่สุดเท่าที่เป็นไปได้
- เรากำลังสร้างพาร์ตเนอร์ชิปอย่างจริงจัง เพื่อให้บริษัทต่าง ๆ ในระบบนิเวศสามารถมอบความสามารถที่โดดเด่นแก่ลูกค้าได้มากขึ้น
- เราเชื่อว่าการเปิดตัว Llama 3.1 จะเป็นจุดเปลี่ยนของอุตสาหกรรมที่ทำให้นักพัฒนาส่วนใหญ่เริ่มใช้งานโอเพนซอร์สเป็นหลัก
5 ความคิดเห็น
เมื่อดูจากสิ่งที่ Meta ทำมา ดูมีแนวโน้มสูงว่าจะเพิกเฉยต่ออันตรายไม่ว่าจะที่ไม่ได้ตั้งใจหรือที่ตั้งใจก็ตาม โดยส่วนตัวแล้วผมประเมินว่า Zuckerberg เป็นคนที่ไม่น่าไว้วางใจ
Llama เป็นโอเพนซอร์สหรือไม่? No.
ข้อมูลฝึก = ซอร์สโค้ด
โมเดล Llama 3.1 ครั้งนี้ถูกเผยแพร่ออกมาเป็นโอเพนซอร์สแล้ว แต่ข้อมูลฝึกยังไม่เปิดเผย ใน AI และดีปเลิร์นนิง ข้อมูลฝึกคือ "ซอร์สโค้ด" และตัวโมเดลก็เหมือนแอป (app) ดังนั้นในความเป็นจริงจึงเรียก Llama ว่าเป็นโอเพนซอร์สไม่ได้ เป็นเพียงการเปิดตัวแอปโมเดลภาษาฟรีเท่านั้น
Meta มีโอกาสเปิดเผยข้อมูลฝึกของ Llama หรือไม่? No.
ข้อมูลฝึกของ Llama มีเฉพาะข้อความก็ 15 ล้านล้านโทเค็นแล้ว และเพื่อการฝึกแบบมัลติโหมดก็น่าจะมีข้อมูลภาพ วิดีโอ และเสียงด้วย ซึ่งข้อมูลเหล่านี้ส่วนสำคัญมีความเป็นไปได้ว่าเป็นข้อมูลผู้ใช้จาก Facebook หรือ Instagram เป็นต้น เพราะฉะนั้นการเปิดเผยข้อมูลเหล่านี้จะก่อให้เกิดประเด็นใหญ่ทางสังคมเรื่องความเป็นเจ้าของข้อมูลและลิขสิทธิ์ จึงคาดว่าแม้ Meta อยากเปิดเผยข้อมูล ก็อาจทำไม่ได้
เมตาเท่มาก
ความคิดเห็นจาก Hacker News
ถ้อยคำที่ใช้เกี่ยวกับ AI แบบโอเพนซอร์สยังสับสนอยู่
มีข้อดีอย่างมากสำหรับสตาร์ทอัป AI และนักพัฒนา
Meta เป็นหนึ่งในบริษัท AI รายใหญ่ไม่กี่แห่งที่เปิดให้ใช้โมเดลแบบเปิด
โมเดลรายได้จากโฆษณาของ Meta เป็นจุดที่ควรให้ความสนใจ
Meta กำลังพยายามวางตัวเองเป็นผู้นำฝั่งโอเพนซอร์สของ AI