2 คะแนน โดย GN⁺ 2023-07-22 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • LLaMA2 มีข้อจำกัดด้านการใช้งานเชิงพาณิชย์และการนำผลลัพธ์ของโมเดลไปใช้ จึงไม่สอดคล้องกับนิยาม โอเพนซอร์ส แบบดั้งเดิม แต่ในแวดวงโมเดล AI จำเป็นต้องให้แนวคิดโอเพนซอร์สวิวัฒน์ใหม่อีกครั้ง
  • ณ เวลาที่เปิดตัว มี ข้อจำกัดที่ขัดกับจิตวิญญาณของ OSS เช่น ห้ามบริการที่มี MAU มากกว่า 700M ใช้งานเชิงพาณิชย์ และห้ามนำผลลัพธ์ของโมเดลไปใช้ฝึก LLM อื่น
  • เช่นเดียวกับที่ในประวัติศาสตร์ซอฟต์แวร์ ความหมายเปลี่ยนจาก “free software” → “open source” → “source available” ใน AI คำว่า “open source” ก็ถูกใช้กันในความหมายว่า น้ำหนักโมเดลที่ดาวน์โหลดได้
  • ระดับการเปิดเผยโมเดลแบ่งได้เป็น Open models, Open weights, Restricted weights, Contaminated weights โดย LLaMA2 จัดอยู่ในกลุ่ม Restricted weights
  • โอเพนซอร์สเต็มรูปแบบที่สามารถฝึกใหม่ตั้งแต่ต้นได้ยังไม่สมจริงเพราะ ปัญหาด้านต้นทุน และการที่ Meta เปิดเผยการคำนวณมูลค่าประมาณ $2M ถือเป็นผลสุทธิในเชิงบวกต่อการพัฒนาวงการ

LLaMA2 กับข้อถกเถียงเรื่องคำว่า “โอเพนซอร์ส”

  • ตอนเปิดตัว LLaMA2 บุคคลจำนวนมากในชุมชน OSS แสดงความไม่พอใจต่อการใช้คำว่า “open source” กับโมเดลอย่างไม่ถูกต้อง
  • โดยรวมแล้วโมเดลค่อนข้างเปิดกว้าง แต่มีข้อจำกัดที่ชัดเจน
    • ผู้ประกอบการที่มี MAU เกิน 700M ณ วันที่เปิดตัว ไม่สามารถใช้โมเดลเชิงพาณิชย์ได้
    • ไม่สามารถนำผลลัพธ์ของโมเดลไปใช้ฝึก large language model อื่นได้
  • ข้อจำกัดเหล่านี้ไม่ค่อยสอดคล้องกับ จิตวิญญาณโอเพนซอร์ส (OSS ethos) และไม่สามารถเรียกว่าโอเพนซอร์สในความหมายดั้งเดิมได้
  • อย่างไรก็ตาม บทความนี้มองว่านั่นไม่ใช่ประเด็นสำคัญ และคำว่า “open source” ในยุคของโมเดล AI จำเป็นต้องวิวัฒน์อีกครั้ง

From Free to Open — จาก “เสรี” สู่ “เปิด”

  • หลังจาก “Open Letter to Hobbyists” ในปี 1976 ความตึงเครียดระหว่างผลประโยชน์เชิงพาณิชย์และข้อจำกัดของบริษัทซอฟต์แวร์ กับความอยากรู้อยากเห็นของแฮกเกอร์ที่ต้องการหลีกเลี่ยงข้อจำกัดเหล่านั้นดำรงอยู่มาโดยตลอด
  • ขบวนการ “free software” เริ่มต้นขึ้นใน MIT AI lab ช่วงทศวรรษ 1970 ร่วมกับ Richard Stallman และต่อยอดเป็นโครงการ GNU ในปี 1983
    • เกิดไลเซนส์ GPL แบบ “copyleft” ซึ่ง Red Hat, MySQL, Git, Ubuntu นำไปใช้
  • คำว่า “open source” เกิดขึ้นในปี 1998 จาก Christine Peterson แห่ง MIT
    • ที่งาน “Freeware Summit” คำว่า “free software” ถูกเลิกใช้อย่างเป็นทางการและแทนที่ด้วย “open source software”
  • หลังจากนั้น ชุมชน “free” และ “open source” แยกออกจากกันเพราะความแตกต่างในการตีความความหมาย
    • free software ตามนิยามของ Free Software Foundation เป็นส่วนย่อยของ open source และใช้ไลเซนส์ที่ผ่อนปรนมาก เช่น GPL, Apache
  • ในช่วง 10 ปีที่ผ่านมา ความตึงเครียดระหว่างบริษัทโอเพนซอร์สเชิงพาณิชย์กับคลาวด์ไฮเปอร์สเกลเลอร์ทำให้เกิดการแยกตัวอีกครั้ง
    • Elastic และ MongoDB เปลี่ยนไปใช้ SSPL (Server-Side Public License) ซึ่งอนุญาตให้ใช้งานเชิงพาณิชย์ได้ ตราบใดที่ไม่ได้ให้บริการเวอร์ชันที่โฮสต์เอง
    • เป้าหมายคือป้องกันไม่ให้ AWS นำผลิตภัณฑ์ไปโฮสต์ใหม่เป็นบริการคลาวด์เพื่อสร้างรายได้
    • SSPL ละเมิดอุดมคติของ OSS และ OSI ไม่ยอมรับให้เป็นไลเซนส์โอเพนซอร์ส
    • ถึงอย่างนั้น นักพัฒนาจำนวนมากก็ยังเรียก MongoDB ว่าโอเพนซอร์ส
  • คำว่า “open source” ค่อย ๆ สูญเสียความหมายแฝงเรื่องเสรีภาพ (freedom) และในมุมมองของนักพัฒนากำลังเปลี่ยนไปจนเกือบมีความหมายเดียวกับ “source available”

From Source to Weights — จาก “ซอร์ส” สู่ “น้ำหนัก”

  • การเกิดขึ้นของ open model อย่าง Dolly, MPT, LLaMA ทำให้เกิดการแยกตัวลักษณะคล้ายกันในชุมชน
  • สำหรับวิศวกร AI ส่วนใหญ่ในปัจจุบัน “open source” ไม่ได้มีความหมายมากหรือน้อยไปกว่า น้ำหนักโมเดลที่ดาวน์โหลดได้ (downloadable weights)
  • Heather Meeker เสนอนิยามของ “open weights” แต่ชุมชนยังไม่มีฉันทามติ
  • ประเด็นสำคัญคือการมีเพียง open weights เพียงพอหรือไม่ที่จะเรียกโมเดลว่าโอเพนซอร์ส
    • หากเทียบกับซอฟต์แวร์ ก็เหมือนการเผยแพร่เฉพาะไบนารีโดยไม่มีซอร์สโค้ดให้รีบิลด์ตั้งแต่ต้น
  • หากจะเป็นโอเพนซอร์สอย่างแท้จริงที่ฝึกใหม่ได้ตั้งแต่ต้น จำเป็นต้องเปิดเผยทั้งหมด ทั้งโค้ดสำหรับฝึก ชุดข้อมูล pretraining ข้อมูลความชอบสำหรับ fine-tuning และ ตัวอย่าง RLHF
    • ปัญหาคือต้นทุนการฝึก และแม้เปิดเผยทั้งหมดแล้ว สำหรับนักพัฒนาหรือบริษัทส่วนใหญ่ การฝึกตั้งแต่ต้นก็เป็นไปไม่ได้ในเชิงต้นทุน
    • สุดท้ายแล้ว การเข้าถึงน้ำหนักโมเดลขั้นสุดท้ายเพียงอย่างเดียวก็ยังเป็นที่ต้องการมากกว่า

การจำแนกระดับการเปิดของโมเดล 4 ขั้น

  • Open models: เช่น RedPajama, MPT-7B ให้ open weights ที่ใช้งานเชิงพาณิชย์ได้ภายใต้ไลเซนส์ Apache 2.0
    • ชุดข้อมูลก็เป็นโอเพนซอร์ส จึงฝึกใหม่ตั้งแต่ต้นได้
  • Open weights: StableLM ที่ StabilityAI ฝึกไว้จัดอยู่ในกลุ่มนี้ โดยเปิดเผยน้ำหนักภายใต้ Apache 2.0 แต่ไม่เปิดเผยชุดข้อมูลฝึก
    • ตาม README โมเดลถูก pretrain ด้วยชุดข้อมูลทดลองใหม่ที่สร้างบน The Pile และมีขนาดประมาณ 1.5T โทเค็น หรือใหญ่กว่าประมาณ 3 เท่า
  • Restricted weights: LLaMA2 จัดอยู่ในกลุ่มนี้ โดยไม่เปิดเผยชุดข้อมูล pretraining และแม้น้ำหนักจะใช้งานเชิงพาณิชย์ได้ แต่มีข้อจำกัดบางอย่างตามที่กล่าวไปข้างต้น
  • Contaminated weights: Dolly 1.0, LLaMA1 จัดอยู่ในกลุ่มนี้ โดยน้ำหนักถูกเปิดเผย แต่ชุดข้อมูลฝึกไม่อนุญาตให้ใช้งานเชิงพาณิชย์ ดังนั้นในทางเทคนิคจึงเปิด แต่ในทางปฏิบัติใช้งานไม่ได้

บทส่งท้าย — ทิศทางของความเปิด

  • ในระยะหนึ่ง open source และ open weights คงจะถูกใช้ปะปนกัน และบทความนี้มองว่านั่นไม่เป็นไร
  • สิ่งสำคัญคือ งานลักษณะนี้กำลังทำกันอย่าง เปิดกว้างที่สุดเท่าที่เป็นไปได้ (as openly as possible) มากขึ้นเรื่อย ๆ
  • เป็นเรื่องธรรมดาที่จะผิดหวังกับไลเซนส์ของ LLaMA2 แต่การที่ Meta นำ FLOPS มูลค่าประมาณ $2M ใส่ไว้ใน GitHub repository และเปิดเผยออกมา ถือเป็นผลสุทธิในเชิงบวก (net positive) ต่อความก้าวหน้าของวงการ

1 ความคิดเห็น

 
GN⁺ 2023-07-22
ความเห็นจาก Hacker News
  • มันดูแปลกที่ในย่อหน้าก่อนหน้านี้จัด LLaMA ไว้ในหมวด น้ำหนักที่มีข้อจำกัด แต่กลับบอกว่าต่อไป open source กับ public weights จะถูกใช้แทนกันได้
    ต่อให้ยึดตามนิยามที่ผู้เขียนเสนอ LLaMA 2.0 ก็ไม่ใช่โอเพนซอร์ส และไม่ควรถูกเรียกแบบนั้นด้วย
    ถ้าในวงการ LLM คำว่าโอเพนซอร์สหมายถึงแค่ “รับน้ำหนักโมเดลได้” และไม่สนข้อจำกัดการใช้งาน แบบนั้นมันไม่ใช่การเปลี่ยนความหมายของคำให้เข้ากับบริบทใหม่ แต่ใกล้เคียงกับการทำให้ความหมายของ Open Source เสื่อมค่าลงมากกว่า
    LLaMA ไม่ใช่แม้กระทั่ง public weights และอย่างมากก็เทียบได้กับชุดน้ำหนักแบบปิดและเป็นกรรมสิทธิ์ ที่พอจะเทียบกับซอฟต์แวร์แบบ source-available ได้เท่านั้น
    การที่ Facebook เรียก LLaMA ว่าโอเพนซอร์สเป็นเรื่องชวนให้เข้าใจผิด และไม่ควรเดินตามเรื่องเล่านั้น
    ส่วนประเด็นว่าน้ำหนักโมเดลสามารถมีลิขสิทธิ์ได้หรือไม่นั้นเป็นอีกเรื่องหนึ่ง และส่วนตัวผมคิดว่าไม่น่ามีได้

    • ผมเป็นคนเขียนบทความต้นฉบับเอง และ เห็นด้วยว่า LLaMA2 ไม่ใช่โอเพนซอร์ส เดิมทีผมก็ตั้งชื่อไว้แบบนั้น แต่ชื่อบน HN ถูกเปลี่ยนไป
      เพียงแต่ประเด็นคือคนทั่วไปมักไม่รู้เรื่องนี้ เลยจะยังเรียกมันว่า “โอเพนซอร์ส” ต่อไป และแก้ให้เลิกเรียกแบบนั้นได้ยาก
      แทนที่จะพูดแค่ว่า “นี่ไม่ใช่โอเพนซอร์ส” เราน่าจะต้องมีคำที่ดีกว่านี้
      อีกอย่าง แม้การใช้น้ำหนักจะมีข้อจำกัด แต่ขนาดของทรัพยากรการคำนวณที่เปิดเผยออกมานั้นใหญ่มาก อัตราส่วนโทเค็นฝึกต่อพารามิเตอร์คือ 285:1 และจากกราฟ loss ก็เห็นได้ว่าโมเดลยังไม่ถึงจุดอิ่มตัว
      นี่เป็นข้อมูลที่มีค่าสำหรับทีมอื่นที่อยากฝึกโมเดลของตัวเอง
      LLaMA1 มีข้อจำกัดมาก แต่ส่วนประกอบข้อมูลที่ระบุไว้ในงานวิจัยนำไปสู่ RedPajama และสิ่งนั้นถูกใช้ฝึก MPT
      ต่อให้มันไม่เข้ากับป้ายกำกับแบบดั้งเดิม งานลักษณะนี้ก็ยังมีคุณค่ามากในแง่ของการไหลไปสู่ความเป็นโอเพนซอร์ส
  • ไม่รู้มาก่อนว่าไลเซนส์ของ llama ห้ามนำผลลัพธ์ไปใช้ฝึกโมเดลอื่น
    อันนี้ถือเป็น ข้อจำกัดร้ายแรง เลย ในอนาคตข้อมูลสังเคราะห์จะกลายเป็นข้อมูลฝึกที่สำคัญที่สุด และโมเดลที่ขัดขวางการใช้ข้อมูลสังเคราะห์เพื่อฝึกโมเดลใหม่ก็ถือว่าเสียหายหนัก

    • น่าขำที่ผู้เล่นรายใหญ่ในวงการนี้มองสองความคิดต่อไปนี้ว่าเป็นจุดยืนที่สอดคล้องกันได้พร้อมกัน
      คือการฝึกโมเดลด้วยข้อมูลใด ๆ บนอินเทอร์เน็ตที่เข้าถึงได้ โดยไม่ขออนุญาตหรือมีไลเซนส์ถือว่าโอเค แต่คนอื่นจะเอาโมเดลของเราไปฝึกโมเดลอื่นไม่ได้
    • ไม่แน่ใจว่าจะบังคับใช้ข้อกำหนดแบบนี้ทางกฎหมายได้อย่างไร ถ้าไม่ทำให้บริษัท AI แทบทั้งหมดในตลาดตายไปด้วย
      สมมติฐานทางกฎหมายของโมเดลเหล่านี้คือการฝึกด้วยเนื้อหาที่มีลิขสิทธิ์ถือเป็น fair use
      ถ้าไม่ใช่ แบบนั้น Facebook กำลังจะอ้างหรือว่าการใส่เนื้อหามีลิขสิทธิ์ลงในชุดข้อมูลโดยไม่สนใจเจตนาของเจ้าของลิขสิทธิ์ไม่ใช่ fair use? ถ้าอย่างนั้นก็คงเป็นข่าวร้ายสำหรับ LLaMA
      จุดยืนที่ว่า “ถ้าจะเอาสิ่งนี้ไปฝึก คุณต้องขออนุญาตก่อน” เป็นท่าทีทางกฎหมายที่น่าสนใจ ไม่ว่าบริษัท AI ไหนจะเป็นคนพูดก็ตาม
    • หน้าด้านเกินจนพูดไม่ออก
      ประมาณว่า “พวกเราฝึกจากอินเทอร์เน็ตส่วนใหญ่โดยไม่ขออนุญาตได้ แต่คุณอย่าคิดแม้แต่จะฝึกจากผลลัพธ์ของโมเดลเราโดยไม่ได้รับอนุญาตจากเรา!”
      OpenAI ก็มีข้อจำกัดคล้ายกัน
    • นี่เป็นคำพูดที่ผิดตั้งแต่รากฐาน และน่าผิดหวังที่มันเป็นคอมเมนต์บนสุด
      คุณเอาผลลัพธ์ของโมเดลไปฝึกอีกโมเดลต่อไม่ได้ เพราะมันจะพาไปสู่เรื่องเหลวไหลล้วน ๆ ซึ่งเรียกว่า model collapse: https://arxiv.org/abs/2305.17493v2
      และไลเซนส์ของ Llama 2 ก็อนุญาตให้ผู้ใช้ฝึกโมเดลต่อยอดได้ สิ่งที่คนสนใจกันจริง ๆ อยู่ตรงนี้: https://github.com/facebookresearch/llama/blob/main/LICENSE
    • ถึงอย่างนั้นก็น่าจะบังคับใช้ได้ยากอยู่ดี แล้วจะรู้ได้ยังไงล่ะ?
  • นี่ไม่ใช่ปัญหาใหม่อะไรนัก แนวคิด Open Source ที่มีนิยามเข้มงวดสำหรับซอฟต์แวร์นั้นไม่เคยนำไปใช้กับสิ่งที่ไม่ใช่ซอฟต์แวร์ได้อย่างพอดีอยู่แล้ว
    นั่นจึงเป็นเหตุผลที่มีไลเซนส์ Creative Commons การแจกภาพถ่ายด้วย GPL2 ตั้งแต่แรกก็ดูไม่เข้าท่าอยู่แล้ว
    เมื่อเป็นสื่อรูปแบบใหม่ก็ต้องมีการนิยามกันใหม่เสมอ

    • LLM ใกล้เคียงกับ ซอฟต์แวร์ มากกว่าสื่อ
      GPL นิยามซอร์สโค้ดว่าเป็นรูปแบบที่เหมาะสมที่สุดสำหรับการแก้ไข และรวมถึงสคริปต์ที่ใช้สร้างไฟล์ปฏิบัติการจากซอร์สด้วย
      ในกรณีนี้น้ำหนักโมเดลจึงใกล้เคียงกับโค้ดปฏิบัติการที่ถูกปรับแต่งแล้วซึ่งออกมาจากกระบวนการประมวลผล ส่วน “ซอร์ส” ก็คงเป็นข้อมูลฝึก พร้อมโค้ดและขั้นตอนที่ใช้แปลงสิ่งเหล่านั้นให้เป็นโมเดล
      สำหรับ LLM ขนาดใหญ่มากอาจแทบไม่มีใครนำไปใช้ต่อได้ แต่ในโมเดลวิชาการขนาดเล็กกว่านั้น มันมีความหมายเพราะนักวิจัยสามารถต่อยอดงานของกันและกันได้
    • Creative Commons ไม่เคยอ้างว่าตัวเองเป็น ไลเซนส์โอเพนซอร์ส และปกติมักใช้คำว่า free culture
    • สื่ออย่างภาพถ่าย เพลง หรือวิดีโอก็มีซอร์สของมันอยู่เหมือนกัน วัตถุดิบและโปรเจกต์ที่ใช้เรนเดอร์ภาพหรือสร้างเอาต์พุตวิดีโอ/เสียงก็คือซอร์ส
      ซอร์สของ language model ในทางปฏิบัติจึงใกล้เคียงกับโค้ดที่ใช้ฝึกโมเดลนั้นมากกว่า และตัวโมเดลเองแม้จะไม่ใช่ machine code แต่ก็ใกล้เคียงกับ compiled binary
      เพราะฉะนั้นถ้าโมเดลจะเป็นโอเพนซอร์สอย่างแท้จริง ก็ควรต้องเปิดเผยซอฟต์แวร์ที่ใช้สร้างมัน เพื่อให้ผมแก้ไขแล้วฝึกด้วยข้อมูลของตัวเองเพื่อนำไปใช้ได้
    • ไม่จำเป็นต้องนิยามใหม่ สื่อใหม่ต้องการ คำศัพท์ใหม่
    • ตอนผมเข้ามหาวิทยาลัย คำว่า “Open Source” แบบเข้มงวดนั้นยังไม่ถูกนิยามด้วยซ้ำ
  • ยังไม่มีคำตัดสินในศาลว่าพารามิเตอร์น้ำหนักเป็นสิ่งที่มีลิขสิทธิ์หรือไม่ และขึ้นอยู่กับผลนั้น ใบอนุญาตและข้อจำกัดหลายอย่างอาจกลายเป็นไร้ความหมายทั้งหมด

    • ข้อกำหนดนั้นดูเสี่ยงพอสมควร
      “ถึงศิลปินทั้งหลาย โมเดลก็แค่เรียนรู้เหมือนมนุษย์ ดังนั้นจึงไม่อาจละเมิดลิขสิทธิ์ของพวกคุณได้ ถ้ามันบังเอิญพิมพ์บางส่วนของหนังสือออกมา ก็แค่บังเอิญลอกเลียนเท่านั้นเอง เราทุกคนก็เป็นแบบนั้นไม่ใช่เหรอ ฮ่าๆ! ทนายความยังเตือนเราด้วยว่าในอเมริกา การลอกเลียนไม่ผิดกฎหมาย”
      “ถึงวิศวกรทั้งหลาย ผลลัพธ์จากโมเดลของเรามีลิขสิทธิ์ ดังนั้นถ้าคุณเอามันไปฝึกโมเดลของตัวเอง สิ่งนั้นก็เป็นของเรา”
      ผมไม่เข้าใจว่าสองอย่างนี้จะจริงพร้อมกันได้อย่างไร
    • ในทำนองเดียวกัน ข้อกำหนดที่พบบ่อยอย่าง “ห้ามใช้ผลลัพธ์ของโมเดลนี้เพื่อปรับปรุงโมเดลอื่น” เท่าที่ผมรู้ก็ไม่สามารถบังคับใช้ด้วยกฎหมายลิขสิทธิ์ได้
      อย่างมากมันก็เป็นแค่ ข้อกำหนดตามสัญญา ที่ผูกมัดผู้ใช้บางรายเท่านั้น และคนที่มาใช้โมเดลที่ถูกปรับปรุงแล้วภายหลังก็ดูไม่น่ามีปัญหา
    • แนวคิดที่ว่าพารามิเตอร์น้ำหนักอาจไม่อยู่ภายใต้ลิขสิทธิ์นั้นน่าสนใจมาก และถึงขั้นชวนให้ดึงดูดใจด้วย
      เพียงแต่ก็ยากจะจินตนาการว่าโลกแบบนั้นจะเกิดขึ้นได้จริง
      ถ้ามีใครช่วยสรุปได้ว่าทำไมพารามิเตอร์น้ำหนักอาจไม่อยู่ภายใต้ลิขสิทธิ์ หรือช่วยแนะนำแหล่งข้อมูลที่สนับสนุนมุมมองนี้ ก็คงดีมาก
    • เรายังไม่รู้ด้วยซ้ำว่าสภานิติบัญญัติหลายแห่งจะออกกฎหมายที่กำหนด สถานะลิขสิทธิ์ของพารามิเตอร์น้ำหนักของโมเดล ไว้อย่างชัดเจนหรือไม่
      ควรจำไว้ว่าสิ่งใดเป็นหรือไม่เป็นวัตถุแห่งลิขสิทธิ์นั้นเปลี่ยนแปลงได้
    • ใช่เลย SSPL ก็คล้ายกัน
      GPL ได้รับการทดสอบแล้วในคดี FSF v. Cisco (2008) แต่ใบอนุญาตที่เข้มงวดกว่านั้นยังไม่เคยผ่านการทดสอบ
  • ปัญหาคือมีโมเดลขนาดใหญ่ที่ใช้ ใบอนุญาตโอเพนซอร์ส จริงอยู่แล้ว เช่น MPT-30b และ Falcon-40b
    ผมก็ขอบคุณที่เข้าถึงพารามิเตอร์น้ำหนักของ Llama2 ได้ แต่เมื่อมีโมเดลคู่แข่งที่เป็นโอเพนซอร์สจริงตามความหมายแบบดั้งเดิมของ OSI อยู่แล้ว การที่ Llama2 ได้รับเครดิตว่าเป็น “โอเพนซอร์ส” จึงรู้สึกไม่ยุติธรรม
    ความแตกต่างเชิงปฏิบัติของใบอนุญาตนั้นเล็กพอที่คนส่วนใหญ่ รวมถึงผมเอง ก็น่าจะเลือก Llama2 ที่คุณภาพโมเดลดีกว่า
    แต่แรงจูงใจแบบนั้นสุดท้ายอาจทำให้เราติดอยู่กับ ใบอนุญาตกึ่งเปิด ที่ชวนอึดอัด

  • ก็มีคำว่า source available อยู่แล้ว ผมเลยไม่เข้าใจว่าทำไมคำว่า “โอเพนซอร์ส” ต้องวิวัฒน์ความหมายด้วย
    ในกรณีนี้ก็แค่บอกว่า “พารามิเตอร์น้ำหนักที่ให้ภายใต้ใบอนุญาตที่มีข้อจำกัดน้อย” ก็พอ

    • โปรแกรมเมอร์รุ่นใหม่จำไม่ได้แล้วว่าครั้งหนึ่งเคยมีช่วงเวลาที่ไม่มีโอเพนซอร์สหรือฟรีซอฟต์แวร์เลย ดังนั้นความต่างนี้จึงให้ความรู้สึกเหมือนเป็นการแบ่งประเภทเชิงวิชาการ มากกว่าจะเป็นสิ่งที่สัมผัสได้จริง
  • แผนภาพในบทความนี้ผิดมาก เพราะแสดงให้เห็นว่าเฉพาะ GPL เท่านั้นที่เป็นฟรีซอฟต์แวร์ ส่วน MIT/Apache เหมือนจะเป็นโอเพนซอร์สแต่ไม่ใช่ฟรีซอฟต์แวร์
    ฝั่ง FSF อาจไม่ชอบคำว่า “โอเพนซอร์ส” แต่แม้แต่พวกเขาก็ยังบอกว่า “ซอฟต์แวร์โอเพนซอร์สเกือบทั้งหมดคือฟรีซอฟต์แวร์”
    โดยเฉพาะใบอนุญาต MIT, Apache และ LGPL นั้นเป็น ใบอนุญาตฟรีซอฟต์แวร์ อย่างชัดเจน ถ้าไม่ใช่ ซอฟต์แวร์ที่ดิสทริบิวชันที่ Debian หรือดิสทริบิวชันที่ FSF รับรองสามารถเลือกใช้ได้ก็คงจะน้อยลงมาก
    สิ่งที่แผนภาพพยายามจะแยกน่าจะเป็น copyleft กับฟรีซอฟต์แวร์หรือโอเพนซอร์สมากกว่า
    ถ้าจะจัดเรียงตามระดับความอนุญาต ความสัมพันธ์แบบสับเซตก็ควรกลับกันด้วย GPL อนุญาตมากกว่า SSPL และอื่นๆ อย่างมาก แต่อนุญาตน้อยกว่า MIT/Apache

    • ใช่ จากมุมมองเรื่องใบอนุญาต Open Source กับ Free Software แทบใช้แทนกันได้เลย
      ความต่างไม่ใช่เรื่องเทคนิค แต่เป็นเรื่องการเมือง
      ส่วนนี้ของบทความก็ชวนให้เข้าใจผิดไม่น้อยเช่นกัน: “ฟรีซอฟต์แวร์ตามที่ Free Software Foundation กำหนด เป็นเพียงสับเซตของซอฟต์แวร์โอเพนซอร์ส และใช้ใบอนุญาตที่อนุญาตอย่างมาก เช่น GPL และ Apache”
  • ในทางทฤษฎี แผนภาพควรมีอีกหมวดหนึ่งที่อยู่นอก “Restricted Weights” แต่ก็ยังแคบกว่ากลุ่ม “Completely Closed” ทั้งหมด
    ตัวอย่างเช่น พารามิเตอร์น้ำหนักและโมเดลแบบกล่องดำ ที่ใช้ฟรีได้ แต่ในทางปฏิบัติไม่สามารถตรวจดูภายในหรือย้ายออกไปได้
    นี่เทียบได้กับหมวดคู่แฝดของซอฟต์แวร์ซอร์สปิดที่ “ใช้ฟรีได้”
    AI ที่ใช้ฟรีแต่แจกมาเป็นก้อนไบนารีก็เข้าพวกนี้
    หรืออาจเป็นโมดูล Python ที่เรียกใช้เอนจินอนุมานและพารามิเตอร์น้ำหนักที่คอมไพล์ล่วงหน้าเป็นไบนารีแล้ว แต่ไม่มีซอร์สก็ได้
    สิ่งที่ใกล้เคียงในโลกซอฟต์แวร์ปัจจุบันคือไดรเวอร์ Linux ของบุคคลที่สามที่ไม่ใช่โอเพนซอร์ส ฟรีแต่ไม่เปิด
    ในโลก AI เรายังไม่ค่อยเห็นแบบนี้มากนัก ฝั่งที่เผยแพร่น้ำหนักมักทำเพื่อการวิจัย จึงมักมีแรงกดดันให้ส่วนอนุมานเป็นโอเพนซอร์สด้วย ขณะที่ฝั่งที่มีโมเดลปิดก็มักต้องการหารายได้ จึงไม่มีเหตุผลจะเปิดเผยส่วนอนุมาน และเก็บเงินผ่าน API ก็พอ เช่น “OpenAI”

    • แม้จะไม่ได้ใส่ไว้ แต่ผมว่าแบบนั้นน่าจะอยู่ในวง “เบียร์ฟรีแต่ไม่เสรี”
  • ชื่อเรื่องถูกแก้ไขแล้ว ชื่อจริงคือ “LLaMA2 isn't "Open Source" - and why it doesn't matter”
    ชื่อที่ถูกเปลี่ยนไปให้ความรู้สึกต่างจากต้นฉบับพอสมควร และทำให้รู้สึกได้ว่าผู้เขียนกับผู้เผยแพร่อาจมองความหมายของโอเพนซอร์สไม่เหมือนกัน

    • ผู้ดูแลเปลี่ยนชื่อเรื่อง ตอนโพสต์ครั้งแรกผมใช้ชื่อเดิม ไม่รู้เหมือนกันว่าทำไมถึงเปลี่ยน
    • เป็นคนเดียวกันทั้งคู่ :)
  • คำว่า Open Source ฝังรากอยู่ในวัฒนธรรมเทคโนโลยีมานานพอสมควรแล้ว ดังนั้นการออกนอกกรอบนั้นจึงมักถูกล้อเลียน
    ช่วงหลังมานี้ดูเหมือนชุมชนจะผ่อนปรนกับใบอนุญาต “เปิด” แบบนี้มากขึ้น
    คำวิจารณ์ต่อโปรเจกต์ที่ไม่ผ่านเกณฑ์ FOSS ส่วนใหญ่มักรุนแรงเกินไป แต่ผมก็ไม่อยากให้เราถูกผลักไปทาง “open” แบบเร็วเกินไปเช่นกัน
    มีอีกบทความหนึ่งเกี่ยวกับ LLaMa2: https://opensourceconnections.com/blog/2023/07/19/is-llama-2...