ขอให้ ‘ภาวะขาดแคลน GPU’ คงอยู่ตลอดไป — เงินสนับสนุน Open Source AI

 (a16z.com)
1 คะแนน โดย GN⁺ 2023-09-01 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • a16z มองว่าโอเพนซอร์ส AI คือรากฐานสำคัญของระบบนิเวศ AI และได้เริ่มโครงการ Open Source AI Grant เพื่อลด ช่องว่างด้านทรัพยากร ของนักพัฒนา
  • เมื่อมีโมเดลโอเพนซอร์สมากขึ้นที่แข่งขันกับโมเดลแบบปิดได้ งานด้าน การปรับจูนละเอียดและการเพิ่มประสิทธิภาพ โดยบุคคลและทีมขนาดเล็กก็กำลังยกระดับการนำโมเดลไปใช้งานให้ดีขึ้น
  • โครงการที่อยู่ในข่ายการสนับสนุนคือโปรเจกต์ที่ขยายขอบเขตทางเทคนิค เช่น instruction-tuning, LLM ที่ไม่มีการเซ็นเซอร์, การทำ quantization สำหรับรันบนเครื่องโลคัล, เครื่องมือ inference และ งานวิจัยด้านความปลอดภัยของ LLM
  • โอเพนซอร์ส AI ต้องใช้ ทรัพยากรประมวลผล GPU จำนวนมากแม้แต่สำหรับการปรับจูนละเอียด และเมื่อขนาดโมเดลใหญ่ขึ้น ภาระด้านทรัพยากรก็มากกว่าโปรเจกต์โครงสร้างพื้นฐานแบบดั้งเดิม
  • เงินสนับสนุนนี้ไม่ใช่การลงทุนหรือ SAFE note และผู้รับสามารถทำงานโอเพนซอร์สต่อได้โดยไม่ต้องแบกรับแรงกดดันเรื่องผลตอบแทนทางการเงิน

ประกาศ a16z Open Source AI Grant

  • a16z สนับสนุนนักพัฒนาโอเพนซอร์สจำนวนหนึ่งในรูปแบบเงินสนับสนุนผ่าน โครงการ Open Source AI Grant
  • เงินสนับสนุนนี้ ไม่ใช่การลงทุนหรือ SAFE note และออกแบบมาเพื่อช่วยให้นักพัฒนาทำงานต่อได้โดยไม่ต้องถูกกดดันว่าต้องสร้างผลตอบแทนทางการเงิน
  • a16z เชื่อว่าระบบนิเวศโอเพนซอร์สที่เติบโตแข็งแรงเป็นสิ่งจำเป็นต่อการสร้างอนาคตของ AI

โอเพนซอร์ส AI ที่แข่งขันกับโมเดลแบบปิด

  • ในระบบนิเวศโอเพนซอร์ส มี โมเดลโอเพนซอร์ส ที่กำลังเกิดขึ้นมาแข่งขันกับทางเลือกแบบปิด
  • ทีมขนาดเล็กและบุคคลอีกหลายร้อยรายกำลังทำงานเพื่อทำให้โมเดลมีประโยชน์มากขึ้น เข้าถึงได้ง่ายขึ้น และมีประสิทธิภาพดีขึ้น
  • โปรเจกต์เหล่านี้มีบทบาทในการยกระดับความก้าวหน้าทางเทคนิคของโอเพนซอร์ส AI และช่วยให้เกิดความเข้าใจเทคโนโลยีที่แข็งแรงและครอบคลุมยิ่งขึ้น

เหตุใดทรัพยากร GPU จึงกลายเป็นคอขวด

  • ผู้ที่สร้างโปรเจกต์มักขาด ทรัพยากร สำหรับผลักดันงานให้เสร็จสิ้นหรือดูแลต่อในระยะยาว
  • ในโปรเจกต์ AI ปัญหาเรื่องทรัพยากรเด่นชัดกว่าโครงสร้างพื้นฐานแบบดั้งเดิม
    • แม้แต่การปรับจูนโมเดลก็ยังต้องใช้ ทรัพยากรประมวลผล GPU จำนวนมาก
    • ยิ่งโมเดลโอเพนซอร์สมีขนาดใหญ่ขึ้น ทรัพยากรที่ต้องใช้ก็ยิ่งเพิ่มขึ้นตาม

ขอบเขตงานที่เงินสนับสนุนมุ่งไปหา

  • การสนับสนุนครอบคลุมงานหลายประเภทที่ช่วยเพิ่มการใช้งานจริงของโมเดลและเครื่องมือโอเพนซอร์ส AI
    • instruction-tuning สำหรับ LLM พื้นฐาน
    • การปรับจูน LLM แบบไม่มีการเซ็นเซอร์
    • การเพิ่มประสิทธิภาพเพื่อรันโมเดลบนเครื่องกำลังต่ำ
    • การสร้างเครื่องมือใหม่สำหรับทำ inference ของโมเดล
    • งานวิจัยเกี่ยวกับ ประเด็นความปลอดภัยของ LLM
    • งานอื่น ๆ ที่เกี่ยวข้องกับโอเพนซอร์ส AI

ผู้รับเงินสนับสนุนชุดแรกและโปรเจกต์

  • Jon Durbin (Airoboros): LLM instruction-tuning ด้วยข้อมูลสังเคราะห์
  • Eric Hartford: การปรับจูน LLM แบบไม่มีการเซ็นเซอร์
  • Jeremy Howard (fast.ai): การปรับจูนโมเดลพื้นฐานสำหรับแอปพลิเคชันแนวตั้ง
  • Tom Jobbins (TheBloke): LLM quantization สำหรับการรันแบบโลคัล
  • Woosuk Kwon and Zhuohan Li (vLLM): ไลบรารี inference สำหรับ LLM ที่รองรับ throughput สูง
  • Nous Research: โมเดลภาษาที่ผ่านการปรับจูนใหม่ คล้ายกับซีรีส์ Nous Hermes และ Puffin
  • oobabooga: เว็บ UI และแพลตฟอร์มสำหรับ LLM แบบโลคัล
  • Teknium: ไปป์ไลน์ข้อมูลสังเคราะห์สำหรับการฝึก LLM

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-09-01
ความคิดเห็นจาก Hacker News

  • ผมเป็นหนึ่งในผู้ได้รับ AI grant และรู้สึกขอบคุณ a16z มากที่สนับสนุนงานที่ทำกับ fast.ai
    grant ของผมถูกใช้ซื้อเซิร์ฟเวอร์ Scalar ของ Lambda Labs และสามารถจัดเป็นเครื่องที่มี GPU A6000 รุ่นก่อนหน้า 8 ใบ ได้
    ส่วนหนึ่งก็เพราะ NVIDIA เพิ่งจัดหาให้ 3 ใบจากทั้งหมดนั้น และ Lambda Labs ก็ให้มาในราคาทุนด้วย
    a16z ไม่ได้ขอหุ้นหรือสิ่งตอบแทนใด ๆ เลย นอกจากการแจ้งให้ทราบว่าได้มอบ grant นี้ และกระบวนการก็ราบรื่นมาก
    แทบไม่มีแบบฟอร์มอะไร ต้องเซ็นสัญญาหน้าเดียวเท่านั้น สัญญาชัดเจนและเป็นธรรม ระบุว่า a16z จะไม่ได้รับสิทธิใด ๆ และก็โอนเงินสำหรับซื้อเซิร์ฟเวอร์ให้ทันที

    • GPU A6000 รุ่นก่อนหน้า ที่พูดถึงตรงนี้คือการแยกระหว่าง “RTX A6000” กับ “RTX 6000 Ada Generation”
      ตัวแรกเป็นสถาปัตยกรรม Ampere ซึ่งตรงกับ GeForce 30 series ส่วนตัวหลังเป็นสถาปัตยกรรม Ada ซึ่งตรงกับ GeForce 40 series
      ดูเหมือน Nvidia จะมั่นใจว่าตั้งชื่อรุ่นเทคโนโลยีได้แย่พอ ๆ กับ USB Implementers Forum ก็ยังได้
    • การที่ a16z ไม่ได้ขอหุ้นหรือสิ่งตอบแทน นอกจากการแจ้งว่าได้ให้ grant และระบุในสัญญาว่าจะไม่ได้รับสิทธิใด ๆ ถือเป็นแนวทางที่ใจกว้างมาก และดูเป็นสัญญาณชัดเจนว่าเป็น ผู้ประกอบการที่ซื่อตรง
    • ดีใจจริง ๆ ที่ได้เห็นกรณีที่มี การสนับสนุนแบบไม่มีเงื่อนไขใด ๆ ส่งไปยังที่ที่ต้องการ และให้กับคนที่จะรู้สึกขอบคุณ
      อยากให้มีเรื่องแบบนี้มากขึ้น และขอให้ผลงานของ jph00 โชคดี

  • ชาว HN ทุกคน ผมยินดีมากที่ได้ประกาศโครงการริเริ่มใหม่นี้
    โปรแกรมนี้ออกแบบมาเพื่อสนับสนุนบุคคล ทีม และแฮกเกอร์ที่ไม่ได้มุ่งสร้างบริษัทเชิงพาณิชย์
    ถึงอย่างนั้น โปรเจกต์เหล่านี้ก็ช่วยผลักดันแนวหน้าของ AI โอเพนซอร์ส และช่วยให้เราเข้าใจกระบวนการพัฒนาเทคโนโลยีได้อย่างแข็งแรงและครอบคลุมยิ่งขึ้น
    ภูมิใจที่ได้มีส่วนร่วมแม้เพียงเล็กน้อย และขอบคุณ cohort แรก รวมถึงทุกคนที่มีส่วนร่วมในแวดวงนี้

    • คิดว่าเป็นโปรเจกต์ที่ดี
      สงสัยว่าถ้าบุคคลทั่วไปอยากมีส่วนร่วมในแวดวงนี้ด้วย ไอเดียข้อมูลสำหรับการเทรน ที่แตกต่างกัน ต้องพิสูจน์ตัวเองก่อนเพื่อให้ได้รับความสนใจหรือไม่ หรือมีช่องทางส่งข้อเสนอหรือเปล่า
      ในกรณีของผม ค่า compute ค่อนข้างแพง พอรับไหวสำหรับการทดสอบ proof of concept สักสองสามครั้ง แต่เกินกว่านั้นก็ยาก และ 4090 ใบเดียวก็รัน llama70b ให้เร็วกว่า 1it/s ไม่ได้
    • สงสัยว่าไปหา GPU มาจากไหน

  • ดีใจมากที่เห็น oobabooga อยู่ในรายชื่อ
    ทุกคนต่างมีส่วนร่วมกันคนละแบบ และ ooba ก็ทำหน้าที่เป็นพอร์ทัลที่ยอดเยี่ยมสำหรับลองโมเดลหลาย ๆ แบบ
    ใน README ก็ระบุว่าอยากเป็นเหมือน automatic 1111 ของสายงาน text generation
    สำหรับมือใหม่อย่างผม ooba เป็นจุดเริ่มต้นที่ดีในการสำรวจโลกใหม่นี้

  • ดูจากผู้ได้รับ grant ตอนนี้แล้วก็อยากแสดงความยินดี
    ทุกคนเป็นบุคคลหรือทีมที่มีอิทธิพลสูง และเห็นได้ว่ามีการค้นคว้ามาดีพอจน เอาเงินไปลงในที่ที่ควรไป

  • คำถามมือใหม่นะ ถ้ามี 25,000 ดอลลาร์ จะซื้อ GPU ได้กี่ใบ และช่วยสนับสนุน “GPU Poor” ได้แค่ไหน?
    สงสัยว่ามีไกด์ DIY สำหรับสร้างอะไรแบบนี้เองไหม
    ไม่ได้อยากบริจาคเงินสดเท่าไร แต่อยากตั้งค่า GPU สักสองสามใบให้คนมาใช้ได้ในราคาทุน

    • 25K น่าจะพอเช่าเซิร์ฟเวอร์ได้ หรือประกอบแบบคร่าว ๆ ให้เป็นเครื่องประมาณ 8x4090 ได้
      เซิร์ฟเวอร์ 8xA100, 8xH100 ที่คนส่วนใหญ่อยากรันกันนั้นเกิน 200,000 ดอลลาร์ และถึงมีเงิน ตอนนี้ก็มีโอกาสสูงมากที่จะหาซื้อได้ยาก
    • ถ้าใช้ vast.ai ก็เริ่มให้บริการแบบนี้ได้ และมีเอกสารโฮสติ้งค่อนข้างเยอะ: https://vast.ai/docs/hosting/hosting
      คงจำกัดให้เฉพาะกลุ่มผู้ใช้บางกลุ่มไม่ได้ แต่ฝั่งที่ใช้ vast.ai ก็น่าจะเป็นบริษัทเล็ก ๆ บุคคลทั่วไป และนักวิจัยเป็นหลักมากกว่าบริษัทใหญ่ยักษ์ ดังนั้นในทางปฏิบัติก็ถือว่าช่วย “GPU Poor” อยู่ดี
    • ด้วยงบประมาณนั้น พูดตรง ๆ แนะนำให้ใช้ สปอต/อินสแตนซ์เช่า มากกว่าซื้อ
      A100 ประมาณชั่วโมงละ 2 ดอลลาร์ และส่วนที่ยากคือการได้ quota ขนาดใหญ่
      งานเทรนยังไงก็ขึ้น ๆ ลง ๆ อยู่แล้ว โดยมักจะรันการทดลองเล็ก ๆ จำนวนมากก่อนการรันครั้งใหญ่ครั้งเดียว
    • ไม่ได้จะมองในแง่ร้ายหรอกนะ แต่เรื่องนี้ดูใกล้เคียงกับ การซื้อคอนโดแล้วเอาค่าเช่ามาผ่อนเงินกู้ มากกว่าการบริจาคทรัพยากรหรือเปล่า
    • สมมติว่าสถานที่คือชายฝั่งตะวันออก นิวยอร์ก

  • อันนี้เจ๋งจริง ๆ
    เห็นเครื่องมือที่ผมเคยใช้หลายตัวอยู่ในรายชื่อแล้วดีใจที่พวกเขาได้รับ การสนับสนุนทางการเงิน
    หวังว่า Ollama จะได้เข้าไปอยู่ในรายชื่อเร็ว ๆ นี้ด้วย
    มีไอเดียน่าสนุกที่อยากลองทดสอบอยู่ คงต้องใช้ 8X A100 สักไม่กี่ชั่วโมงกับข้อมูลสไตล์ EvolveInstruct และน่าจะมีค่าใช้จ่ายเกิน 1,000 ดอลลาร์
    เลยว่าจะเตรียมโค้ดไว้เพื่อดูว่าจะเข้าร่วม grant #2 ได้ไหม

    • ดี ขอให้ MVP ไปได้สวย
      ขอบคุณมากสำหรับความเห็น และเราก็กำลังพบปะกับคนฝั่ง Ollama อยู่ด้วย

  • มี โปรเจกต์ LLM โอเพนซอร์ส อื่น ๆ อะไรบ้างที่ผู้คนพึ่งพาอยู่?
    ถามเพื่อหาไอเดียสำหรับผู้ได้รับ grant ในอนาคต
    เป็นโครงการริเริ่มที่ดี และการคัดเลือกครั้งแรกก็ยอดเยี่ยม เป็นวิธีใช้ค่าธรรมเนียมบริหารจัดการที่ดีมาก
    พยายามคิดผู้สมัครเพิ่มเติมก็ยาก เพราะที่ที่ผมคงจะแนะนำอย่าง TheBloke, vLLM, oobabooga ก็ถูกรวมไว้แล้ว
    สำหรับผู้รับในอนาคต นึกถึง MLC LLM, ExLlama, fork โอเพนซอร์สของ text-generation-inference, AutoGPTQ

    • เป็นข้อเสนอที่ยอดเยี่ยม ขอบคุณ

  • ขอแสดงความยินดีกับทุกคนที่เกี่ยวข้อง
    ถึงจะรู้ว่าสิ่งนี้มีแรงจูงใจด้าน branding/marketing อยู่ระดับหนึ่ง แต่ก็ดีที่เห็น a16z ในช่วงไม่กี่ปีหลังหันมาเน้น การแก้ปัญหาที่เจ็บจริง มากกว่าคริปโตหรือการผลิตสื่อผิวเผินจำนวนมาก
    หวังว่าจะทำแบบนี้ต่อไป และอยากให้ “thought leader” กับบริษัทร่วมลงทุนมากกว่านี้ทำตาม

    • ไม่หรอก ยังคงกำลังกอบกู้โลกอยู่
      ต่างกันแค่ว่าตอนนี้ไม่ได้กู้ด้วย crypto แต่กู้ด้วย AI
      https://a16z.com/2023/06/06/ai-will-save-the-world/
    • เห็นด้วยว่าโครงการริเริ่มนี้ช่วยแก้ปัญหาที่เจ็บจริงได้
      แต่แม้ไม่ได้พยายามปกป้อง “Crypto” ก็คิดว่าเกณฑ์ว่าอะไรคือ ปัญหาที่เจ็บจริง นั้นค่อนข้างเป็นอัตวิสัย
      เช่น สำหรับหลายคนและหลายบริษัท การเพิ่มอัตราคลิกโฆษณาและการลดค่าธรรมเนียม crypto/gas ก็อาจเป็นปัญหาและความจำเป็นจริง ๆ เพียงแต่มันไม่ได้สำคัญสำหรับผมเท่านั้น

  • น่าทึ่ง
    การคัดเลือกครั้งแรกแน่นมากจริง ๆ และส่วนใหญ่ของ การทดลองเชิงออร์แกนิก ที่เกิดขึ้นเองตามธรรมชาติก็พึ่งพาพวกเขาโดยตรง

  • ดีใจมากที่ “Eric Hartford: การ fine-tune LLM แบบไม่มีการเซ็นเซอร์” กำลังเดินหน้า
    LLM จะเป็นเครื่องมือที่มีคุณค่ามาก และการมี การเซ็นเซอร์ ฝังอยู่ในเครื่องมือแบบนี้ค่อนข้างน่ากังวล
    ลองนึกภาพว่า Word ภายใต้ชื่อความปลอดภัยและจริยธรรม ไม่ยอมให้คุณพิมพ์ “คำไม่ดี” ดูก็ได้