พนักงาน Google ผู้สร้างทรานส์ฟอร์เมอร์

 (wired.com)
2 คะแนน โดย GN⁺ 2024-03-21 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

พนักงาน Google 8 คนประดิษฐ์ AI ยุคใหม่: เรื่องราวเบื้องหลัง

  • บทความวิชาการชื่อ "Attention Is All You Need" ที่เขียนขึ้นในฤดูใบไม้ผลิปี 2017 มีผู้เขียน 8 คน
  • ทั้งหมดเป็นนักวิจัยของ Google และ Noam Shazeer ผู้มีประสบการณ์มากที่สุดในบรรดาผู้มีส่วนร่วม รู้สึกประหลาดใจเมื่อเห็นว่าชื่อของตนถูกจัดไว้เป็นลำดับแรก
  • ผู้เขียนตัดสินใจ "ทำลาย" ธรรมเนียมการจัดอันดับตามระดับการมีส่วนร่วม โดยใส่เครื่องหมายดอกจันไว้ข้างชื่อทุกคน และเพิ่มเชิงอรรถว่า "ลำดับการระบุชื่อเป็นแบบสุ่ม"

จุดเริ่มต้นของการเปลี่ยนแปลงครั้งใหญ่

  • บทความนี้ได้พัฒนาเทคโนโลยีที่เรียกว่าโครงข่ายประสาทเทียมในวงการ AI จนเปลี่ยนมันให้กลายเป็นระบบดิจิทัลทรงพลังที่ให้ความรู้สึกเหมือนเป็นผลผลิตจากสติปัญญาต่างดาว
  • สถาปัตยกรรมนี้ถูกใช้เป็นส่วนประกอบลับของผลิตภัณฑ์ปัญญาประดิษฐ์อย่าง ChatGPT, Dall-E และ Midjourney
  • บทความนี้กำลังจะครบรอบ 7 ปีนับจากการเผยแพร่ และได้รับสถานะระดับตำนาน

สถาปัตยกรรมแห่งการเปลี่ยนแปลง: Transformer

  • เรื่องราวของ Transformer เริ่มต้นจากผู้เขียนคนที่สี่ชื่อ Jakob Uszkoreit
  • Uszkoreit ออกแบบแนวทางใหม่โดยอาศัยไอเดียของเขาที่เรียกว่า self-attention
  • เครือข่ายนี้สามารถอ้างอิงส่วนต่าง ๆ ของประโยคเพื่อแปลคำได้ ซึ่งช่วยให้ระบบสร้างคำแปลที่ดีขึ้น

ความร่วมมือและนวัตกรรม

  • Uszkoreit คิดว่าโมเดล self-attention อาจเร็วและมีประสิทธิภาพมากกว่าโครงข่ายประสาทแบบเวียนกลับ
  • ไอเดียนี้พัฒนาต่อผ่านความร่วมมือกับนักวิจัยคนอื่น ๆ เช่น Illia Polosukhin และ Ashish Vaswani
  • พวกเขาเขียนเอกสารออกแบบชื่อ "Transformers: Iterative Self-Attention and Processing for Various Tasks"

การตีพิมพ์บทความและอิทธิพล

  • ทีมวิจัยใช้โมเดล Transformer เพื่อทำงานแปลภาษา และวัดประสิทธิภาพด้วยเบนช์มาร์ก BLEU
  • โมเดลใหม่ของพวกเขาเอาชนะคู่แข่งได้ และโมเดลขนาดใหญ่กว่าที่ชื่อ Big ก็ทำคะแนน BLEU ได้สูงพอจะทำลายสถิติเดิม
  • บทความถูกส่งก่อนเส้นตายไม่นาน และ Google ก็รีบยื่นจดสิทธิบัตรชั่วคราวสำหรับผลงานนี้

ปฏิกิริยาของ Google และการเปลี่ยนแปลง

  • ภายใน Google มองว่านี่เป็นเพียงอีกหนึ่งโปรเจกต์ AI ที่น่าสนใจ และ Google เริ่มผนวก Transformer เข้ากับผลิตภัณฑ์ตั้งแต่ปี 2018
  • แต่การเปลี่ยนแปลงนี้ดูค่อนข้างระมัดระวังเมื่อเทียบกับการก้าวกระโดดแบบสุดขั้วของ OpenAI และการผสานระบบที่อิง Transformer เข้ากับสายผลิตภัณฑ์อย่างกล้าหาญของ Microsoft

ผู้เขียนที่ออกจาก Google

  • ผู้เขียนทุกคนได้ออกจาก Google และกำลังทำงานในรูปแบบต่าง ๆ บนพื้นฐานของระบบที่พวกเขาสร้างขึ้น
  • หลายคนในกลุ่มนี้ออกจาก Google ไปสู่สตาร์ตอัป AI แห่งใหม่

ความเห็นของ GN⁺

  • บทความนี้อธิบายกำเนิดและพัฒนาการของโมเดล Transformer ซึ่งมีบทบาทสำคัญในวงการ AI ได้อย่างละเอียด จึงมอบมุมมองเชิงลึกที่น่าสนใจต่อวิวัฒนาการของเทคโนโลยี AI
  • ปัจจุบันโมเดล Transformer คือเทคโนโลยีแกนหลักของการประมวลผลภาษาด้วยปัญญาประดิษฐ์ และเป็นสิ่งประดิษฐ์สำคัญที่เป็นรากฐานของ AI แบบสนทนาอย่าง ChatGPT
  • บทความนี้แสดงให้เห็นว่าสภาพแวดล้อมการวิจัยที่เปี่ยมนวัตกรรมภายใน Google ทำให้เกิดความก้าวหน้าทางเทคนิคครั้งสำคัญได้อย่างไร
  • อย่างไรก็ตาม ข้อเท็จจริงที่ว่า Google ใช้แนวทางค่อนข้างอนุรักษนิยมในการนำเทคโนโลยีนี้ไปใช้เชิงพาณิชย์ ก็เป็นบทเรียนสำคัญเกี่ยวกับความเร็วและกลยุทธ์ด้านนวัตกรรมขององค์กร
  • บริษัทหรือผู้พัฒนาที่ต้องการนำเทคโนโลยีนี้ไปใช้ควรคำนึงถึงความซับซ้อนและความต้องการทรัพยากรของโมเดล Transformer แต่ประโยชน์ที่ได้รับจากมันนั้นมีมหาศาล

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-03-21
ความคิดเห็นจาก Hacker News

  • การอภิปรายเกี่ยวกับโมเดลแบบ attention:

    • แม้กลไก attention จะไม่ใช่เรื่องใหม่ แต่มีงานวิจัยที่แสดงให้เห็นว่ามันเพียงพอสำหรับการทำนายลำดับคำถัดไปในบริบทเฉพาะ
    • เมื่อใช้เฟรมเวิร์กนี้ในปี 2018 มันแสดงพฤติกรรมที่ไม่คาดคิด แต่ก็เป็นประสบการณ์ที่น่าสนใจ
    • มีกลุ่มอื่นค้นพบว่าการคำนวณอัลกอริทึมที่เรียบง่ายในสเกลขนาดใหญ่ให้ผลลัพธ์ที่ดีกว่า
    • การอ้างว่ามีเพียงกลุ่มเดียวที่ค้นพบและเปลี่ยนแปลง AI เป็นเรื่องน่ารำคาญ
    • นักวิจัยเหล่านี้สมควรได้รับคำชื่นชม แต่พวกเขาไม่ได้เป็นผู้ประดิษฐ์ AI สมัยใหม่ เพียงแค่พัฒนามันต่อในรูปแบบที่น่าสนใจ
    • ตอนนี้อยากกลับไปสู่แนวทางที่เป็นเชิงกำหนดมากขึ้น: world models, memory, graph, การลดพลังงานต่ำสุด เป็นต้น
    • โมเดลเชิงกำเนิดนั้นสนุกและให้บทเรียนมากมาย แต่ก็ยังไม่แน่ชัดว่าการเพิ่มชิปเข้าไปอีกเฉยๆ จะสามารถแก้ปัญหา AGI/SGI ได้หรือไม่

  • การหวนรำลึกถึงยุครุ่งเรืองของ Google:

    • เมื่อมีการพูดคุยถึงบทบาทของ Uszkoreit และทีม NLP ในช่วงรุ่งเรืองของ Google ปี 2014 ได้มีการถามว่า ถ้ามีงบประมาณไม่จำกัดจะทำอะไร และเขาตอบว่า "ผมมีงบแบบนั้นอยู่แล้ว"

  • บทสนทนาเกี่ยวกับประวัติศาสตร์ AI:

    • กล่าวถึงบทสนทนากับ Geoffrey Hinton และ Fei-Fei Li ว่าด้วยประวัติศาสตร์ AI ทิศทางงานวิจัยของ Hinton และความพยายามของ Li กับ ImageNet

  • การเปรียบเทียบระหว่าง Google กับ OpenAI:

    • เป็นเรื่องน่าประหลาดที่ Google ไม่ได้กลายเป็น OpenAI ทั้งที่ในช่วงแรก Google มีทั้ง DeepMind และผู้ถือปริญญาเอกจำนวนมาก

  • การกล่าวถึงความร่วมมือของพนักงาน Google:

    • เน้นว่าผู้เขียนทั้งหมดเป็นพนักงาน Google และทำงานอยู่ในออฟฟิศเดียวกัน ซึ่งชวนให้เห็นว่าการทำงานร่วมกันแบบพบหน้ากันคือเทคโนโลยีที่ดีที่สุดสำหรับนวัตกรรม

  • คำวิจารณ์ต่อกลยุทธ์ AI ของ Google:

    • ไม่มีผู้เขียนคนใดทำงานที่ Google ในปัจจุบันแล้ว และมีความสงสัยว่า CEO ของ Google จัดการเรื่อง AI ผิดพลาดได้มากเพียงใด

  • เอกสารประวัติศาสตร์ AI ภายใน Google:

    • พนักงาน Google สามารถดูช่วงเวลาสำคัญในประวัติศาสตร์ AI ที่เก็บไว้บนอินทราเน็ตของ Google ได้ เช่น การติดตั้งใช้งาน transformer ครั้งแรกและคอมเมนต์จากผู้รีวิว

  • การให้ความสนใจกับความหลากหลายของผู้เขียน:

    • ในบรรดาผู้เขียน 8 คน มี 6 คนที่เกิดนอกสหรัฐฯ ส่วนอีก 2 คน คนหนึ่งเป็นบุตรของผู้ถือกรีนการ์ดชาวเยอรมันที่อาศัยอยู่ในแคลิฟอร์เนียชั่วคราว และอีกคนเป็นชาวอเมริกันรุ่นแรกจากครอบครัวที่ลี้ภัยจากการถูกกดขี่

  • การสนับสนุนแผนก R&D:

    • สนับสนุนการมีแผนก R&D ที่ไม่ต้องเสียภาษี และหวังว่าไอเดียที่อาจเกิดขึ้นเพียงครั้งเดียวในรอบสิบปีจะสามารถขับเคลื่อนเศรษฐกิจทั้งระบบได้
    • ความอัศจรรย์ของคอมพิวเตอร์สมัยใหม่เป็นผลจากการขยายงาน R&D ที่เกิดขึ้นโดยไม่จำเป็นต้องส่งผลกระทบต่อผลกำไรของบริษัทในทันที