พนักงาน Google ผู้สร้าง Transformer

 (wired.com)
2 คะแนน โดย GN⁺ 2024-03-21 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • บทความ “Attention Is All You Need” ของนักวิจัย Google 8 คนในปี 2017 ได้ย้ายการประมวลผลภาษาจากแนวทางที่มีโมเดลแบบลำดับเป็นศูนย์กลางไปสู่สถาปัตยกรรม transformer และกลายเป็นรากฐานของ AI เชิงสร้างสรรค์
  • Jakob Uszkoreit มองว่า LSTM มักพลาดเบาะแสบริบทท้าย ๆ ในข้อความยาว จึงผลักดัน self-attention ซึ่งอ้างอิงทั้งประโยคพร้อมกันให้เป็นทางเลือก
  • เมื่อ Illia Polosukhin, Ashish Vaswani, Niki Parmar, Llion Jones, Łukasz Kaiser, Aidan Gomez และ Noam Shazeer เข้าร่วม การทดลองแปลก็ขยายใหญ่ขึ้น และหลังจาก Shazeer ลงมือ implement เอง โมเดล Big ก็ทำลายสถิติการแปล English-to-German
  • paper ถูกส่งเมื่อวันที่ 19 พฤษภาคม 2017 ก่อนเส้นตาย NeurIPS ไม่นาน หลังรีวิวที่มีความเห็นปะปนกัน ก็ได้รับความสนใจอย่างมากใน poster session เดือนธันวาคม และ Google ได้ยื่น สิทธิบัตรชั่วคราว เพื่อวัตถุประสงค์เชิงป้องกัน
  • ผู้เขียนทั้ง 8 คนออกจาก Google แล้ว และบริษัทอย่าง Character AI, Sakana AI, Essential AI, Cohere, Inceptive ฯลฯ ยกเว้น Near ต่างเติบโตบนพื้นฐานของ เทคโนโลยี transformer

จุดเปลี่ยนที่ “Attention Is All You Need” สร้างขึ้น

  • “Attention Is All You Need” คือ paper ที่นักวิจัย Google เขียนขึ้นในฤดูใบไม้ผลิปี 2017
    • ผู้เขียนทั้ง 8 คนใส่เครื่องหมายดอกจันไว้ที่ชื่อแต่ละคน และเพิ่มเชิงอรรถว่า “Equal contributor”, “Listing order is random” เพื่อไม่กำหนดลำดับการมีส่วนร่วม
  • paper นี้ขยาย AI ที่ใช้ neural network ไปสู่สถาปัตยกรรม transformer และ transformer ก็กลายเป็นโครงสร้างหลักของผลิตภัณฑ์ AI เชิงสร้างสรรค์อย่าง ChatGPT, Dall-E และ Midjourney
  • Geoffrey Hinton ประเมินว่า หากไม่มี transformer เราคงมาไม่ถึงสถานการณ์ในปัจจุบัน
    • เป็นคำกล่าวที่ชี้ถึงกระแสที่ OpenAI และบริษัทอื่น ๆ สร้างระบบที่ทัดเทียมหรือในบางกรณีก้าวข้ามผลงานของมนุษย์
  • ผู้เขียน paper ทั้ง 8 คนออกจาก Google แล้ว และแต่ละคนกำลังทำงานที่เกี่ยวข้องกับระบบซึ่งขับเคลื่อนด้วยสถาปัตยกรรมที่พวกเขาสร้างขึ้นในปี 2017

จุดเริ่มต้นของไอเดีย self-attention

  • จุดเริ่มต้นของ transformer คือแนวคิด self-attention ของ Jakob Uszkoreit
    • เขาเคยทำงานในกลุ่ม Google Translate ก่อนจะเข้าร่วมทีมที่สร้างระบบตอบคำถามผู้ใช้โดยตรงบนหน้า Google Search ในปี 2012
    • ในตอนนั้น Google มองว่า Apple Siri อาจคุกคามทราฟฟิกการค้นหา จึงให้ความสนใจกับสาขานี้มากขึ้น
  • โมเดลภาษายุคนั้นพึ่งพา recurrent neural network และ LSTM แต่มีข้อจำกัดในการประมวลผลข้อความยาว
    • ในประโยคตัวอย่าง Joe is a baseball player... got two hits หากต้องการเข้าใจ “two hits” จำเป็นต้องจำข้อมูลเรื่อง baseball ที่อยู่ก่อนหน้า
    • LSTM ทำให้ประมวลผลลำดับข้อความที่ใหญ่และซับซ้อนขึ้นได้ แต่ยังคงประมวลผลคำตามลำดับ จึงอาจพลาดเบาะแสบริบทที่อยู่ท้าย ๆ ได้
  • Uszkoreit คิดแนวทาง self-attention ราวปี 2014
    • self-attention สามารถอ้างอิง ทุกตำแหน่งอื่น ๆ ในประโยคเมื่อแปลคำหนึ่งคำ
    • เพราะไม่ใช่วิธีที่ดูคำทีละคำตามลำดับ แต่เป็นวิธีแบบขนานที่ดูอินพุตหลายส่วนพร้อมกัน จึงเข้ากันได้ดีกับชิปประมวลผลแบบขนานที่ถูกผลิตจำนวนมากในช่วงกระแส machine learning บูม
  • เนื่องจากเป็นแนวทางที่ละทิ้ง neural architecture เดิม ๆ ปฏิกิริยาจึงค่อนข้างกังขา
    • แม้แต่ Hans Uszkoreit พ่อของ Uszkoreit ก็ไม่ได้เห็นด้วยกับไอเดียนี้ในการคุยกันที่โต๊ะอาหารเย็น
    • Uszkoreit ทำการทดลองกับข้อความขนาดเล็กร่วมกับเพื่อนร่วมงาน และตีพิมพ์ paper ในปี 2016 แต่ผู้ร่วมงานเดิมสนใจนำไปใช้กับ Google Search และโฆษณามากกว่า

การเข้าร่วมโดยบังเอิญและการก่อตัวของทีม “transformer”

  • ในปี 2016 Uszkoreit รับประทานอาหารกลางวันกับ Illia Polosukhin ที่คาเฟ่ของ Google และเสนอแนวคิด self-attention
    • Polosukhin มองว่าหากจะตอบโดยตรงบน Google.com จำเป็นต้องมีระบบราคาถูกและประสิทธิภาพสูงที่ตอบสนองในระดับมิลลิวินาที
    • เขาร่วมงานกับ Ashish Vaswani และ Vaswani ซึ่งกำลังมองหาโปรเจกต์ใหญ่ใน Google Brain ก็เข้าร่วมไอเดีย self-attention
  • ทั้งสามคนสร้างเอกสารออกแบบชื่อ “Transformers: Iterative Self-Attention and Processing for Various Tasks”
    • ชื่อ “transformers” ถูกใช้มาตั้งแต่ต้น และมีความหมายถึงกลไกที่แปลงข้อมูลอินพุตเพื่อดึงความเข้าใจระดับเดียวกับที่มนุษย์เข้าใจ หรืออย่างน้อยก็ให้ความรู้สึกเช่นนั้น
    • Uszkoreit ยังเชื่อมโยงชื่อกับความทรงจำวัยเด็กที่เคยเล่นของเล่น Hasbro Transformer
  • ต่อมา Niki Parmar และ Llion Jones เข้าร่วม
    • Parmar เข้าทำงานที่ Google หลังจบปริญญาโทจาก USC และร่วมกับ Uszkoreit ทำงานกับการดัดแปลงโมเดลเพื่อปรับปรุง Google Search
    • Jones อยู่ที่ Google Research ภายใต้ผู้จัดการของ Polosukhin และหลังจากได้ยินแนวคิด self-attention จากเพื่อนร่วมงาน Mat Kelcey ก็เข้าร่วมทีม transformer
  • Łukasz Kaiser จาก Google Brain และ Aidan Gomez นักศึกษาฝึกงานก็เข้าร่วมด้วย
    • Gomez เข้าร่วมกลุ่ม machine learning ที่ University of Toronto ซึ่งมีแล็บของ Geoffrey Hinton อยู่ และส่งไอเดียขยาย paper ที่เกี่ยวข้องให้ Kaiser จนได้โอกาสฝึกงาน
    • Kaiser และ Gomez หารือเรื่องการรวมโปรเจกต์ของตนเข้ากับโปรเจกต์ self-attention แล้วตัดสินใจรวมกัน

การทดลองที่ทำลายสถิติและการส่งก่อนเส้นตาย

  • ทีมใช้โมเดล self-attention ทำ การแปลด้วยเครื่อง และวัดประสิทธิภาพด้วย benchmark BLEU
    • โมเดลช่วงแรกอยู่ในระดับใกล้เคียงกับทางเลือกแบบ LSTM แต่ยังไม่ได้ดีกว่า
    • เมื่อ Noam Shazeer ได้ยินเรื่องโปรเจกต์โดยบังเอิญและเข้าร่วม คุณภาพการ implement ก็ดีขึ้นอย่างมาก
  • Shazeer implement โค้ดของทีม transformer ใหม่ด้วยตัวเอง
    • เขารู้สึกไม่สะดวกใจกับ recurrent neural network เดิม และเข้าร่วมด้วยความคิดที่จะมาแทนที่มัน
    • สมาชิกทีมเรียก implementation ของเขาด้วยคำอย่าง “magic”, “alchemy”, “bells and whistles” และ Uszkoreit มองว่ากลไกเชิงสัญชาตญาณอย่าง self-attention ต้องการนัก implement มากประสบการณ์จำนวนไม่กี่คนจึงจะทำให้มันมีชีวิตขึ้นมาได้
  • ก่อนเส้นตายส่งงาน NeurIPS ปี 2017 ในวันที่ 19 พฤษภาคม ความเร็วของการทดลองเพิ่มขึ้น
    • ทีมทดสอบโมเดล transformer พื้นฐานที่เทรน 12 ชั่วโมง และโมเดล Big ที่ทรงพลังกว่าซึ่งเทรน 3 วันครึ่ง
    • ในการแปล English-to-German โมเดลพื้นฐานทำได้ดีกว่าคู่แข่งทั้งหมด ส่วน Big ทำคะแนน BLEU ที่ทำลายสถิติเดิมอย่างชัดเจน พร้อมทั้งมีประสิทธิภาพด้านการคำนวณดีกว่า
  • ในช่วง 2 สัปดาห์ก่อนเส้นตาย ทีมทำงานอย่างเข้มข้นที่ Building 1965
    • พวกเขาทำ ablation โดยถอดหรือแทนที่โมดูลและเทคนิคต่าง ๆ เพื่อตรวจสอบว่าสิ่งใดจำเป็นจริง ๆ
    • องค์ประกอบปัจจุบันของ transformer ถูกจัดระเบียบขึ้นผ่านการทดลองวนซ้ำอย่างรวดเร็ว พร้อมกับแก้บั๊ก เช่น ปัญหาที่เกิดจากการทำ masking ไม่ถูกต้อง
  • Llion Jones เสนอชื่อ “Attention Is All You Need” โดยนึกถึงเพลง “All You Need Is Love” ของ Beatles
    • ผลลัพธ์ English-French ออกมาก่อนส่งเพียง 5 นาที และ paper ถูกส่งก่อนเส้นตาย 2 นาที
    • Google รีบยื่นสิทธิบัตรชั่วคราวเพื่อพอร์ตโฟลิโอสิทธิบัตรเชิงป้องกัน

Google, OpenAI และเส้นทางหลังจากนั้นของทั้ง 8 คน

  • รีวิวจาก NeurIPS มีทั้งเชิงบวก 1 รายการ เชิงบวกมาก 1 รายการ และอีก 1 รายการในระดับ “ใช้ได้” จึงมีความเห็นปะปนกัน และ paper ได้รับเลือกให้นำเสนอใน poster session ช่วงเย็น
    • session ยาว 4 ชั่วโมงในวันที่ 6 ธันวาคม 2017 แน่นขนัดไปด้วยนักวิทยาศาสตร์ที่อยากรู้เพิ่มเติม
    • แม้ถึงเวลาเลิก session ตอน 22:30 น. ก็ยังมีคนอยู่ จนเจ้าหน้าที่รักษาความปลอดภัยต้องมาบอกให้ออกไป
    • การที่ Sepp Hochreiter ผู้ร่วมคิดค้น LSTM แวะมาชื่นชมผลงาน เป็นช่วงเวลาที่น่าพึงพอใจสำหรับ Uszkoreit
  • transformer ไม่ได้ครอง Google ภายในหรือครองโลกในทันที
    • ในช่วงที่ paper ตีพิมพ์ Shazeer เสนอผู้บริหาร Google ให้ทิ้งดัชนีค้นหาทั้งหมด แล้วเทรนเครือข่ายขนาดใหญ่บนฐาน transformer
    • แม้แต่ Kaiser เองในตอนนั้นก็ยังมองว่าข้อเสนอนั้นเพ้อเจ้อ
    • OpenAI เคลื่อนไหวเร็วกว่า และหลังจาก Ilya Sutskever แนะนำให้ Alec Radford ลองทำงานกับไอเดียนี้ ผลิตภัณฑ์ GPT ตัวแรกก็ออกมา
  • Google เริ่มผนวก transformer เข้ากับผลิตภัณฑ์ตั้งแต่ปี 2018
    • การใช้งานครั้งแรกคือเครื่องมือแปลภาษา
    • ในปีเดียวกัน Google เปิดตัวโมเดลภาษา BERT ที่ใช้ transformer และเริ่มนำไปใช้กับ Search ในปีถัดมา
    • Sundar Pichai กล่าวถึงเหตุผลที่ไม่ได้เปิดตัวโมเดลภาษาขนาดใหญ่อย่าง ChatGPT ก่อนว่า หลังจากคนอื่นแสดงให้เห็นวิธีการทำงานแล้ว Google ก็สามารถทำสิ่งต่าง ๆ ได้มากขึ้น
  • ผู้เขียน paper ทั้ง 8 คนออกจาก Google แล้ว
    • Noam Shazeer ร่วมก่อตั้ง Character AI ซึ่งมีมูลค่าประเมิน 5 พันล้านดอลลาร์
    • Llion Jones ร่วมก่อตั้ง Sakana AI ที่ตั้งอยู่ใน Tokyo ซึ่งมีมูลค่า 200 ล้านดอลลาร์
    • Inceptive ของ Jakob Uszkoreit เป็นบริษัท biotech มูลค่า 300 ล้านดอลลาร์
    • Near ของ Illia Polosukhin สร้าง blockchain ที่มีโทเคนมูลค่าตามราคาตลาดประมาณ 4 พันล้านดอลลาร์
    • Niki Parmar และ Ashish Vaswani เริ่ม Adept ในปี 2021 จากนั้นก่อตั้ง Essential AI ซึ่งได้รับเงินลงทุน 8 ล้านดอลลาร์
    • Aidan Gomez ร่วมก่อตั้ง Cohere ที่ Toronto ในปี 2019 ซึ่งมีมูลค่าประเมิน 2.2 พันล้านดอลลาร์
    • Łukasz Kaiser ไม่ได้ก่อตั้งบริษัท แต่เข้าร่วม OpenAI และเป็นหนึ่งในผู้คิดค้นเทคโนโลยีใหม่ชื่อ Q*
  • บริษัทของพวกเขา ยกเว้น Near ล้วนตั้งอยู่บนพื้นฐานของ เทคโนโลยี transformer
    • Google สร้างสภาพแวดล้อมที่เปิดให้ไล่ตามไอเดียนอกกรอบ และผู้เขียนทุกคนทำงานในสำนักงานเดียวกัน
    • การพบกันตามทางเดินและบทสนทนาระหว่างมื้อกลางวันกลายเป็นจุดเปลี่ยนสำคัญ
    • 6 ใน 8 คนเกิดนอกสหรัฐฯ ส่วนอีก 2 คน คนหนึ่งเกิดตอนพ่อแม่ชาวเยอรมันพำนักในแคลิฟอร์เนียชั่วคราว และอีกคนเป็นชาวอเมริกันรุ่นแรกที่มีครอบครัวอพยพหนีการกดขี่มา
    • Uszkoreit มองว่านวัตกรรมเกิดขึ้นเมื่อเงื่อนไขที่ถูกต้อง ผู้คนในเวลาที่เหมาะสม ความสนุก ปัญหาที่ถูกต้อง และโชคมาบรรจบกัน

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-03-21
ความคิดเห็นจาก Hacker News

  • ไม่ใช่โมเดล attention เสียทีเดียว เพราะ attention มีอยู่ก่อนบทความเหล่านั้นแล้ว
    สิ่งที่พวกเขาทำใกล้เคียงกับการแสดงให้เห็นว่า แค่สิ่งนั้นอย่างเดียวก็เพียงพอสำหรับการทำนายลำดับคำถัดไปในบริบทหนึ่ง ๆ เมื่อผมใช้เฟรมเวิร์กคล้าย ๆ กันในปี 2018 มันแสดงพฤติกรรมที่แปลกมากแต่น่าสนุก และผมพยายามแก้ปัญหานั้น แต่ก็ไม่ได้เห็นเหมือนกลุ่มอื่น ๆ ว่าการเพิ่ม ขนาดการคำนวณ ให้กับอัลกอริทึมที่เรียบง่ายนั้นดีกว่า มันน่าหงุดหงิดที่บอกว่ากลุ่มหนึ่งค้นพบและเปลี่ยนแปลง AI แล้วมองข้ามกลุ่มอื่น ๆ นักวิจัยเหล่านี้สมควรได้รับคำชื่นชม แต่พวกเขาพัฒนา AI ในรูปแบบที่น่าสนใจมากกว่าจะเป็นผู้คิดค้น AI สมัยใหม่ขึ้นมา แม้ตอนนี้ก็ยังมีกระแสที่พยายามกลับไปสู่แนวทางที่เป็น deterministic มากขึ้น, world model, memory, graph และ energy minimization ส่วน generative นั้นสนุกและเราได้เรียนรู้อะไรมากมาย แต่การใส่ชิปเพิ่มไปเรื่อย ๆ เพียงอย่างเดียวจะแก้ AGI/SGI ได้หรือไม่นั้นยังไม่ได้ถูกเขียนเป็นบทความวิชาการ

    • นี่เป็นการตีความที่ใจร้ายและด้อยค่าจนน่าแปลก เพราะงั้นอาจจะเหมาะกับ HN พอดีก็ได้
      สถานะล้ำสมัยอันน่าทึ่งในปัจจุบันคงไม่มีอยู่จริงหากไม่มี สถาปัตยกรรม Transformer ถ้า Transformer เป็นแค่ผู้โดยสารโชคดีที่ได้อานิสงส์จากขนาดการคำนวณ แอปที่เขย่าโลกก็คงเป็น ChatMLP หรือ ChatCNN ไม่ใช่ ChatGPT แต่ความจริงไม่ใช่อย่างนั้น และแม้ในปี 2024 ก็ยังไม่มีสถาปัตยกรรมใดที่แข่งได้ในด้านการประมวลผลภาษาธรรมชาติ Transformer เป็นไอเดียที่ลึกซึ้งและน่าทึ่งจริง ๆ พร้อมคุณสมบัติยอดเยี่ยมอย่างการขนานการฝึก เมื่อมองย้อนหลัง มันง่ายที่จะลดคุณค่าของ GPT ว่าเป็นแค่ไอเดียต่อยอดเป็นส่วนใหญ่ และสักวันเราคงใช้แนวคิดแก้ประวัติศาสตร์แบบเดียวกันกับสิ่งอย่าง state space model ที่อาจมาแทน Transformer แน่นอนว่า GPT สร้างบนงานวิจัยก่อนหน้า และแนวทางอื่น ๆ ก็ควรได้รับการยอมรับ นั่นแหละคือวิทยาศาสตร์ แต่คนที่สร้าง Transformer สมควรได้รับคำชื่นชมแบบในบทความนี้ และนั่นไม่ได้เป็นการด้อยค่าคนอื่นทั้งหมด คนทั้ง 8 คนนี้เปลี่ยนโลก และสมควรได้รับความรักอย่างจริงใจ
    • นี่คือ บทเรียนอันขมขื่น ที่ว่า “การเพิ่ม ขนาดการคำนวณ ให้กับอัลกอริทึมที่เรียบง่ายนั้นดีกว่า” ทำงานอีกครั้ง
      http://www.incompleteideas.net/IncIdeas/BitterLesson.html
    • ผมมองว่าพวกเขา เปลี่ยน AI อย่างแน่นอน แต่ไม่ได้หมายความว่าพวกเขาคิดค้น AI สมัยใหม่
      โดยส่วนตัว ผมคิดว่าการเข้าใกล้ AGI น่าจะต้องใช้ทั้งพลังการคำนวณและสถาปัตยกรรมโครงข่ายประสาท
    • ผมเรียนประสาทวิทยาอยู่ แต่ก็สนใจมากว่า AI ทำงานอย่างไร
      ผมเคยอ่านแนวทางแบบเก่า ๆ มาแล้ว แต่คำอย่าง memory graph หรือ energy minimization ยังใหม่สำหรับผม อยากรู้ว่ามีบทความวิชาการหรือบทความล่าสุดที่แนะนำสำหรับคนที่อยากเรียนรู้เพิ่มไหม
    • ถ้าเป็นบทความเกี่ยวกับ “วิศวกร Google ที่ค่อย ๆ พัฒนา AI ให้ก้าวหน้า” ก็คงขายโฆษณาไม่ได้มากนัก

  • ราวปี 2014 ซึ่งเป็นยุครุ่งเรืองของ Google ผมเคยคุยกับ Uszkoreit เกี่ยวกับบทบาทของ ทีมประมวลผลภาษาธรรมชาติ ของเขาในตอนนั้น
    ผมถามว่า “ถ้ามีงบไม่จำกัด คุณจะทำอะไร” เขาตอบเรียบ ๆ ว่า “ก็เป็นอย่างนั้นอยู่แล้ว”

    • ตอนเป็นนักศึกษาฝึกงานปริญญาเอก ผมใช้สำนักงานเดียวกับ Uszkoreit และชื่นชมมาตลอดที่เขาออกจากปริญญาเอกกลางคัน
    • เป็นเรื่องเล่าที่ดี แต่ยุครุ่งเรืองของ Google น่าจะอยู่ก่อนหน้านั้นราว 10 ปีมากกว่า ในปี 2014 มันเริ่มขาลงไปแล้ว
    • ผมเคยทำงานกับ Borg
      ระบบโควตาสามารถเริ่มทำงานได้ทุกเมื่อเมื่อแตะเพดาน และ GPU กระจายอยู่ตาม Borg cell หลายแห่ง ทำให้เพดานถูกจำกัด ดังนั้นจึงมีการสร้าง XBorg เพื่อให้นักวิจัยค้นหา Borg cell ทั้งหมดแบบทั่วโลกได้ รายจ่ายลงทุนศูนย์ข้อมูลอยู่ที่ประมาณ 5 พันล้านดอลลาร์ต่อปี และ Google ทำรายได้หลายแสนล้านดอลลาร์ต่อปี การถามสถานการณ์ที่เป็นไปไม่ได้อย่างงบไม่จำกัดก็คล้ายกับถามว่า “หลังตายแล้วจะทำอะไร” เพราะเมื่อตายแล้วก็ทำอะไรไม่ได้ตามตัวอักษร ผมยังเข้าใจยากว่า “ก็เป็นอย่างนั้นอยู่แล้ว” หมายถึงอะไรในบริบทของคำถามนั้น และปฏิกิริยาโดยตรงต่อสมมติฐานว่ามีงบไม่จำกัดก็คือแบบนี้
    • เป็นช่วงเวลาที่สนุกดี ดีใจที่ได้กลับมาเห็นอีกครั้งหลังจากนานมาก และเมื่อคิดถึงสิ่งที่เราทำกันตอนนั้น ก็น่าทึ่งที่เทคโนโลยีมาได้ไกลถึงขนาดนี้

  • “ในทางปฏิบัติ GPT-3 หรือแม้แต่ GPT-3.5 อาจออกมาได้ในปี 2019 หรืออาจเป็นปี 2020 คำถามใหญ่ไม่ใช่ว่าพวกเขาเห็นมันหรือไม่ แต่คือทำไมเราเห็นมันแล้วกลับไม่ทำอะไร คำตอบนั้นซับซ้อน”
    คำตอบคือ บริษัทผูกขาด กดทับนวัตกรรมทางเทคโนโลยีไว้ ธุรกิจค้นหาที่ขับเคลื่อนด้วยโฆษณาซึ่งตั้งหลักได้แล้วอาจสูญเสียรายได้โฆษณาค้นหาให้กับแชตบอตที่กำลังเกิดใหม่ คล้ายกับกรณีที่บริษัทไฟฟ้า โรงไฟฟ้าก๊าซ และผู้ผลิต shale gas ถูกรวมอยู่ในคอนซอร์เทียมที่นักลงทุนเป็นเจ้าของ ฝั่งบริษัทไฟฟ้าจะอยากติดตั้งแผงโซลาร์เซลล์จำนวนมากเพื่อทำลายรายได้จากก๊าซธรรมชาติที่เคยขายให้สาธารณูปโภคหรือไม่ แน่นอนว่าไม่ นี่เป็นเหตุผลที่ดีในการใช้การแยกบริษัทแบบกฎหมายต่อต้านการผูกขาดสไตล์ Ma Bell กับ Alphabet

    • ตัวอย่างที่ดีกว่าคือ Kodak ซึ่งคิดค้นกล้องดิจิทัลตัวแรกในปี 1975 แต่ก็ฆ่าโครงการนั้นเพราะมันเป็นภัยต่อธุรกิจฟิล์มเคมี
    • ผมรู้รายละเอียดของเรื่องนี้อยู่ ทีม NEMA ทำผลิตภัณฑ์ระดับ GPT-3 ในรูปแบบตัวละคร แต่ Sundar ห้ามไม่ให้นำเสนอในงาน I/O
      Sundar กลัวเทคโนโลยีนั้นและปฏิกิริยาของสาธารณะ จึงพยายามฝังมันไว้
    • กลับกัน การที่ Alphabet ไม่สามารถปล่อย GPT-3 หรือ GPT-3.5 ออกมาได้ ทำให้มีโอกาสถูกรบกวนตัวเอง ดังนั้นมาตรการต่อต้านการผูกขาดอาจไม่จำเป็นก็ได้
    • พูดตรง ๆ นี่เป็นหนึ่งในเหตุผลที่ผมคิดว่าอีก 10 ปีข้างหน้า Google จะไม่ใช่บริษัทที่ครองตลาด
      การค้นหาข้อมูลบนเว็บเคยแก้ปัญหาที่มีประโยชน์ได้หลายอย่าง แต่ตอนนี้ส่วนใหญ่ ChatGPT, Claude และอื่น ๆ ทำได้ดีกว่าแล้ว แม้จะมี Gemini แต่ Google จะยอมรับการสูญเสียรายได้โฆษณาค้นหาจากผลิตภัณฑ์เดิม แล้วสักวันทำเงินจากการค้นหาด้วย Gemini ได้ไหม วิธีใส่โฆษณาในอินเทอร์เฟซของโมเดลภาษาขนาดใหญ่ยังเป็นโจทย์ที่ยังไม่ถูกแก้ Google บางครั้งก็ดูเหมือนหนังสือพิมพ์รุ่นเก่าในยุคอินเทอร์เน็ต โมเดลโฆษณาบนเว็บเองก็ใช้เวลากว่าจะตั้งหลักได้

  • ค่อนข้างแปลกที่ Google ไม่ได้เป็น OpenAI ในปัจจุบัน ทั้งที่ช่วงแรกมี DeepMind และกองทัพบุคลากรระดับปริญญาเอกอยู่แล้ว

    • รูปแบบการแชตกับโมเดลภาษาขนาดใหญ่รบกวน โมเดลธุรกิจ ของ Google อย่างรุนแรง และยากที่จะทำให้เป็นผลิตภัณฑ์โดยไม่ฆ่าห่านทองคำ
    • สุดท้ายมองว่านี่เป็นหลักฐานว่า จังหวะเวลาคือทุกอย่าง
      ดีปเลิร์นนิงในทศวรรษ 2010 ยังอยู่ระหว่างเรียนรู้ว่าจะใช้ประโยชน์จาก GPU อย่างไร ขนาดการประมวลผลที่จำเป็นหลัง GPT-2 แทบจะเป็นไปไม่ได้ในปี 2017/2018 แม้แต่ในคอร์สของ Udacity ก็เป็นแค่การใช้ GPU K80 ไม่กี่ชั่วโมงเท่านั้น กว่าจะถึงราวปี 2020 จึงเริ่มเป็นไปได้ที่จะทุ่มทรัพยากรประมวลผลมหาศาลระดับไม่น่าเชื่อเพื่อทดสอบสมมติฐานเรื่องการสเกล การผงาดขึ้นของโมเดลภาษาขนาดใหญ่เป็นเรื่องราวของความก้าวหน้า GPU ไม่น้อยไปกว่าเรื่องอัลกอริทึม จึงเป็นหลักฐานชัดเจนของบทเรียนอันขมขื่น
    • ต้องอธิบายเพิ่มว่า OpenAI ในปัจจุบันคืออะไร Google เป็นบริษัทมูลค่าระดับล้านล้านดอลลาร์ที่มีธุรกิจหลากหลาย ส่วน OpenAI เป็นบริษัทที่ขายสิทธิ์เข้าถึงโมเดลสร้างเนื้อหาขนาดใหญ่
    • ถ้า Google จะกลายเป็น OpenAI ได้ Google คงต้องตกต่ำลงไปค่อนข้างมาก
    • ก่อนที่ Microsoft จะเข้ามาเกี่ยวข้อง ในชุมชน AI เคยมีกฎโดยนัยอยู่บ้างว่าให้ร่วมมือกันอย่างเปิดเผย แต่ไม่เปิดโมเดลบางตัวต่อสาธารณะ

  • บทสนทนานี้ของ Geoffrey Hinton กับ Fei-Fei Li กล่าวถึงประวัติที่เกี่ยวข้องไว้ค่อนข้างมาก ความยาว 1 ชั่วโมง 50 นาที
    https://www.youtube.com/watch?v=QWWgr2rN45o
    https://www.youtube.com/watch?v=E14IsFbAbpI
    ครอบคลุมทั้งเส้นทางงานวิจัยของ Hinton และเหตุผลที่เขาเดินไปในทิศทางนั้น รวมถึงความพยายามของ Li กับ ImageNet

  • “ผู้เขียนทั้งหมดไม่เพียงแต่เป็นพนักงาน Google แต่ยังทำงานอยู่ในสำนักงานเดียวกันด้วย”
    ดูเหมือนเป็นการประชาสัมพันธ์เรื่อง กลับเข้าออฟฟิศ แบบแอบ ๆ วิธีที่ผสมผสานการทำงานร่วมกันแบบพบหน้าและเวลาสำหรับสมาธิลึกที่ไม่ถูกรบกวนน่าจะเป็นเทคโนโลยีที่ดีที่สุดสำหรับนวัตกรรม

    • “เวลาสำหรับสมาธิลึกที่ไม่ถูกรบกวน” โดยทั่วไปเป็นไปไม่ได้ในสำนักงาน
      ดังนั้นในทางปฏิบัติจึงใกล้เคียงกับรูปแบบผสม และคนมีเหตุผลก็พูดกันแบบนั้น
    • ช่วง 2 ปีที่ผ่านมาเคยทำงานทางไกล แล้วกลับเข้าออฟฟิศกับทีมใหม่ พออยากทำงานให้เสร็จเร็วจริง ๆ มันเปลี่ยนชีวิตได้เลย
    • ก็ไม่ได้แอบสักเท่าไร
    • “สำนักงาน” ไม่จำเป็นต้องหมายถึง ออฟฟิศแบบเปิดโล่ง เสมอไป
      มีเหตุผลที่คนในแวดวงวิชาการมีห้องทำงานส่วนตัวพร้อมประตู ผมเกลียดออฟฟิศแบบเปิดโล่งจริง ๆ แต่ห้องทำงานส่วนตัวในอาคารที่มีคนอื่นอยู่ด้วยนั้นยอดเยี่ยม

  • “ใน 8 คน มี 6 คนเกิดนอกสหรัฐฯ และอีก 2 คนที่เหลือ คนหนึ่งเป็นลูกของพ่อแม่ชาวเยอรมันผู้มีถิ่นพำนักถาวรที่อยู่ในแคลิฟอร์เนียชั่วคราว ส่วนอีกคนเป็นชาวอเมริกันรุ่นแรกจากครอบครัวที่หนีการข่มเหงมา”
    คิดว่าสหรัฐฯ มีหลายอย่างที่ต้องแก้ไข แต่บนโลกนี้มีเพียง สหรัฐฯ เท่านั้นที่เรื่องแบบนี้เป็นไปได้ นี่คือข้อเท็จจริง

    • คงมองแบบนั้นได้ยาก ตรงกันข้าม สหรัฐฯ ทำให้ชีวิตของผู้อพยพทำงานทักษะสูงยากมากด้วยซ้ำ
      มีหลายประเทศ เช่น สิงคโปร์ ออสเตรเลีย เยอรมนี และแคนาดา ที่มีสัดส่วนผู้อยู่อาศัยที่เกิดในต่างประเทศสูงกว่าสหรัฐฯ สมัยที่เคยทำงานที่ Google UK ทีมของผมประกอบด้วย วิศวกรที่เกิดในต่างประเทศ จากทุกทวีป 100%
    • เห็นด้วย จากมุมมองของคนที่เคยอยู่หรือทำงานในเอเชีย ยุโรป และสหรัฐฯ กลุ่มเพื่อนร่วมงานที่หลากหลายที่สุดมักจะอยู่ในสหรัฐฯ เสมอ

  • เจ๋งดีที่พนักงาน Google สามารถดู อิมพลีเมนเทชัน Transformer ตัวแรก กับคอมเมนต์ของผู้รีวิวได้ใน cs/
    ช่วงเวลาสำคัญในประวัติศาสตร์ AI ถูกเก็บไว้ในอินทราเน็ตของ Google มากมายขนาดนั้น

  • เป็นประเด็นที่สะดุดตา
    “ใน 8 คน มี 6 คนเกิดนอกสหรัฐฯ และอีก 2 คนที่เหลือ คนหนึ่งเป็นลูกของพ่อแม่ชาวเยอรมันผู้มีถิ่นพำนักถาวรที่อยู่ในแคลิฟอร์เนียชั่วคราว ส่วนอีกคนเป็นชาวอเมริกันรุ่นแรกจากครอบครัวที่หนีการข่มเหงมา”

    • ที่น่าสนใจกว่านั้นคือ ในบรรดาคนเหล่านั้น มีเพียงคนเดียวที่จบปริญญาตรีจากมหาวิทยาลัยชั้นนำของสหรัฐฯ อย่าง Duke
      ที่เหลือจบปริญญาตรีจากอินเดีย ยูเครน เยอรมนี และแคนาดา ส่วน University of Toronto มีอัตรารับเข้า 43%
    • โดยเฉพาะในสหรัฐฯ ไม่เข้าใจว่าทำไมเรื่องนี้ถึงสะดุดตา
      ถ้าเป็นประเทศอย่างจีนหรือญี่ปุ่นที่ต้อนรับผู้อพยพน้อยกว่าสหรัฐฯ ก็คงเป็นข้อสังเกตที่น่าสนใจ
    • ใช่ นี่เป็นหนึ่งในคุณลักษณะที่น่านับถือจริง ๆ ของสหรัฐฯ โดยเฉพาะ California
      เหตุผลที่ California เป็นหนึ่งในเขตเศรษฐกิจที่ใหญ่ที่สุดของโลก ก็เพราะดึงดูดและยอมรับผู้คนจากแทบทุกภูมิภาคของโลก