- นักวิจัยจาก Google DeepMind เผยแพร่งานวิจัยเกี่ยวกับ JEST วิธีใหม่ที่ช่วยเพิ่มความเร็วในการฝึก AI โดยลดทั้งทรัพยากรการประมวลผลและเวลาที่ต้องใช้ได้อย่างมาก
- แนวทาง Multimodal Contrastive learning with Joint Example Selection (JEST) เร็วขึ้นได้สูงสุด 13 เท่า และมีประสิทธิภาพมากขึ้น 10 เท่า ซึ่งหมายถึงสามารถลดความต้องการใช้พลังงานได้
- จากงานวิจัยล่าสุด แนวทางใหม่ต่อกระบวนการที่ใช้พลังงานสูงเช่นนี้อาจทำให้การพัฒนา AI เร็วขึ้นและมีต้นทุนต่ำลง ซึ่งเป็นข่าวดีต่อสิ่งแวดล้อม
การใช้พลังงานสูงของอุตสาหกรรม AI
- ระบบ AI ขนาดใหญ่ต้องการขีดความสามารถในการประมวลผลระดับสูง ซึ่งทำให้ต้องใช้พลังงานมากและใช้น้ำจำนวนมากสำหรับการระบายความร้อน
- มีรายงานว่าการใช้น้ำของ Microsoft พุ่งขึ้น 34% ระหว่างปี 2021 ถึง 2022 จากความต้องการด้าน AI computing ที่เพิ่มขึ้น
- IEA คาดว่าการใช้ไฟฟ้าของศูนย์ข้อมูลจะเพิ่มเป็นสองเท่าระหว่างปี 2022 ถึง 2026 ทำให้เกิดการเปรียบเทียบระหว่างความต้องการพลังงานของ AI กับโปรไฟล์การใช้พลังงานของอุตสาหกรรมขุดคริปโตเคอร์เรนซีที่ถูกวิจารณ์อย่างหนัก
- อย่างไรก็ตาม แนวทางอย่าง JEST อาจเป็นทางออกได้ ด้วยการปรับการเลือกข้อมูลสำหรับการฝึก AI ให้เหมาะสมที่สุด จึงสามารถลดจำนวนรอบและพลังประมวลผลที่ต้องใช้ได้อย่างมาก ซึ่งช่วยลดการใช้พลังงานโดยรวมได้
JEST ทำงานอย่างไร
- JEST เลือกชุดข้อมูลแบบ batch ที่ส่งเสริมกันเพื่อเพิ่มศักยภาพในการเรียนรู้ของโมเดล AI ให้สูงสุด ต่างจากวิธีเดิมที่เลือกตัวอย่างทีละรายการ อัลกอริทึมนี้พิจารณาองค์ประกอบของทั้งชุด
- นักวิจัยของ Google ใช้ "multimodal contrastive learning" โดยในกระบวนการ JEST จะระบุความสัมพันธ์แบบพึ่งพากันระหว่างจุดข้อมูล วิธีนี้ช่วยเพิ่มทั้งความเร็วและประสิทธิภาพของการฝึก AI ขณะเดียวกันก็ใช้ computing power น้อยกว่ามาก
- หัวใจสำคัญของแนวทางนี้คือการใช้โมเดลอ้างอิงที่ผ่านการ pre-train มาแล้วเพื่อกำกับกระบวนการคัดเลือกข้อมูล เทคนิคนี้ช่วยให้โมเดลมุ่งเน้นไปที่ชุดข้อมูลคุณภาพสูงที่ผ่านการคัดสรรอย่างดี และเพิ่มประสิทธิภาพการฝึกได้อีก
- การฝึกบนชุดข้อมูล WebLI ด้วย JEST แสดงให้เห็นถึงการปรับปรุงอย่างน่าทึ่งทั้งในด้านความเร็วในการเรียนรู้และประสิทธิภาพการใช้ทรัพยากร
- อัลกอริทึมนี้ใช้เทคนิคที่เรียกว่า "data quality bootstrapping" เพื่อเร่งกระบวนการฝึก โดยมุ่งเน้นไปที่ชิ้นข้อมูลเฉพาะที่ "ตรงกัน" เทคนิคนี้ให้ความสำคัญกับคุณภาพมากกว่าปริมาณ และพิสูจน์แล้วว่าดีกว่าสำหรับการฝึก AI
ยังไม่มีความคิดเห็น