Noam Shazeer เข้าร่วม OpenAI

 (twitter.com/NoamShazeer)
1 คะแนน โดย GN⁺ 7 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Noam Shazeer ผู้มีบทบาทสำคัญในการสร้าง สถาปัตยกรรม Transformer และเคยเป็น ผู้นำร่วมของ Gemini ที่ Google ประกาศว่า เข้าร่วม OpenAI
  • เขาเป็นพนักงานยุคแรกที่ เข้าร่วม Google ในปี 2000 และมีส่วนช่วยปรับปรุงระบบแก้การสะกดคำของการค้นหา รวมถึงสร้าง อัลกอริทึมหลักของ AdSense
  • เขาเป็น ผู้ร่วมเขียนบทความ "Attention Is All You Need" ในปี 2017 และสร้าง สถาปัตยกรรม Transformer ซึ่งเป็นรากฐานของ LLM สมัยใหม่แทบทั้งหมด
  • นอกจากนี้ยังเป็นผู้มีส่วนสำคัญต่อ LaMDA และ Meena
    • Meena — แชตบอตสนทนาแบบโอเพนโดเมน ที่ Google เปิดตัวในปี 2020 เป็นโครงการวิจัยที่มุ่งสร้างบทสนทนาที่เป็นธรรมชาติและสอดคล้องกับบริบทมากขึ้น ผ่านโมเดลขนาด 2.6 พันล้านพารามิเตอร์
    • LaMDA (Language Model for Dialogue Applications) — โมเดลภาษาขนาดใหญ่ที่ออกแบบมาเฉพาะสำหรับบทสนทนา ซึ่งเปิดตัวในปี 2021 ในฐานะรุ่นต่อจาก Meena โดยมีเป้าหมายเพื่อสร้างบทสนทนาแบบหลายรอบในหัวข้ออิสระอย่างเป็นธรรมชาติ และต่อมาได้กลายเป็นเทคโนโลยีพื้นฐานช่วงแรกของแชตบอตและ Bard ของ Google
  • เขาออกจาก Google ในปี 2021 เพื่อ ร่วมก่อตั้ง Character.AI แต่ในปี 2024 ก็ กลับมาอีกครั้งหลัง Google เข้าซื้อกิจการในมูลค่าราว 4 ล้านล้านวอน ($2.7B) โดยรับตำแหน่ง VP Eng และเป็น ผู้นำร่วมของ Gemini

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 7 시간 전
ความเห็นจาก Hacker News

  • สำหรับคนที่สนใจ Wired เคยเล่าเบื้องหลังของงานวิจัย Attention Is All You Need ไว้เมื่อ 2 ปีก่อน: https://www.wired.com/story/eight-google-employees-invented-...
    ช่วยให้เห็นบริบทในการทำความเข้าใจบทบาทของผู้เขียนแต่ละคน ในบทความพูดถึง Shazeer ว่าการเข้าร่วมของเขาเป็นจุดชี้ขาด และกลไกเชิงทฤษฎีและเชิงสัญชาตญาณอย่าง self-attention มักต้องอาศัย “พ่อมด” มากประสบการณ์เพียงไม่กี่คนค่อย ๆ ลงมือทำอย่างระมัดระวังจึงจะพิสูจน์พลังของมันได้ Shazeer เขียนโค้ดเวอร์ชันของทีม Transformer ขึ้นใหม่ในแบบของตัวเอง โดยบอกว่าเขา “เอาไอเดียพื้นฐานมาแล้วลงมือสร้างเอง” บางครั้งก็ถาม Kaiser บ้าง แต่ส่วนใหญ่จะลองทำไปเรื่อย ๆ อยู่พักหนึ่งแล้วกลับมาบอกว่า “ดูสิ มันใช้ได้” เนื้อหาบอกว่าเขาช่วยยกระดับระบบขึ้นไปอีกขั้นในแบบที่เพื่อนร่วมทีมภายหลังอธิบายว่าเป็น “เวทมนตร์”, “เล่นแร่แปรธาตุ” และ “ลูกเล่นเสริม”

    • คำอย่าง “เวทมนตร์”, “เล่นแร่แปรธาตุ”, “ลูกเล่นเสริม” ฟังดูเหมือนคนที่ถูกฝึกมาอย่างดีในการ โหมแต่งเกินจริง ให้คนทั่วไปที่ไม่ใช่สายเทคนิค โดยแทบไม่มีเนื้อหาจริง

  • Noam Shazeer เป็นหนึ่งในผู้เขียนหลักของงานวิจัยระดับหมุดหมาย “Attention Is All You Need” ที่แนะนำ สถาปัตยกรรม Transformer

    • นี่เป็นการพูดที่ประเมินความสำคัญของเขาต่ำไป ลำดับชื่อผู้เขียนถูกจัดแบบสุ่ม แต่ผมมองว่าไอเดียแกนหลักนั้นเป็นของเขาจริง ๆ เรื่องนี้ยังทำให้อยากรู้เหมือนกันว่ามันสะท้อนอะไรเกี่ยวกับ GDM

  • สำหรับคนที่ไม่ได้ตามเรื่องทั้งหมด บริบทคือ Shazeer เป็นนักวิจัย Google รุ่นเก๋าที่เข้าร่วมบริษัทตั้งแต่ปี 2000 และเป็นผู้ร่วมเขียน “Attention Is All You Need”
    เขาออกจาก Google ในปี 2021 เพื่อร่วมก่อตั้ง Character.AI และในปี 2024 Google ก็ดึงเขาและนักวิจัยบางส่วนของ Character.AI กลับมาผ่านดีลด้านไลเซนส์และบุคลากร ซึ่งตามรายงานมีมูลค่าราว 2.7 พันล้านดอลลาร์ หลังจากนั้นเขาก็กลายเป็นหนึ่งในผู้นำร่วมของ Gemini ตอนนี้เขากำลังออกจาก Google อีกครั้งเพื่อไป OpenAI จึงเป็นช่วงเวลาที่น่าสนใจ

    • เหตุผลที่เขาออกจาก Google ครั้งแรกคือ Google ไม่ยอมออก ผลิตภัณฑ์แชตบอต ที่เขาเชื่อว่าสามารถทำได้ Google ใช้เงินจำนวนมากเพื่อดึงเขากลับมา และตั้งให้เป็นหนึ่งในผู้นำของ Gemini
    • ผมเพิ่งเห็น Noam ครั้งแรกในพอดแคสต์ของ Dwarkesh ตอนที่เขาออกร่วมกับ Jeff Dean ถ้าอยากลองฟังมุมมองแบบคน Google ต่อเรื่องต่าง ๆ ก็แนะนำ
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • ถึงระดับนี้แล้วก็สงสัยเหมือนกันว่า ค่าตอบแทน ยังเป็นสิ่งล่อใจหลักอยู่ไหม หรือสิ่งที่สำคัญกว่าคือคุณได้ทำอะไรบ้าง ดูเหมือน Google ก็จ่ายได้ไม่ยากเท่ากับที่ OpenAI ให้ แต่อาจเป็นเพราะเป็นบริษัทเก่าเลยทำเงื่อนไขแปลก ๆ ให้ไม่ได้ก็ได้
    • สงสัยว่า คนที่ถูกดึงตัวกลับมาจะออกไปได้อย่างไร ทั้งที่ยังไม่ถึง 2 ปี
    • สุดท้ายแล้วคงจะดีถ้าบทสรุปกลายเป็น “Hopfield Networks is All You Need”

  • ว้าว เพิ่งกลับมาได้ไม่นานเอง อะไรคือเหตุผลที่ทำให้เขาตัดสินใจลาออกอีก?
    หวังว่านี่จะไม่จริง แต่ก็กลัวว่าจะจริง: https://x.com/signulll/status/2067446889956430273

    • สำหรับคนที่ไม่อยากกดลิงก์ข้างบน นี่คือลิงก์ nitter: https://nitter.net/signulll/status/2067446889956430273
    • signull ดูจะเป็นแอ็กเคานต์นิรนามสาย ปากจัด มากกว่าจะเป็นวงในอุตสาหกรรมที่เป็นที่รู้จัก แต่สำหรับคนนอกที่ตามจากบรรยากาศภายนอก อย่างน้อยมันก็ดูจับภาพได้ค่อนข้างดีว่า Sam Altman มีส่วนต่อ OpenAI ในแบบไหน
    • ถ้าให้เดา ผมว่าปัจจัยเรื่องเงินก็น่าจะมีส่วน
    • อ่านแล้วเหมือนตอนหนึ่งของ Silicon Valley เสียดาย ถ้าเอาละครเรื่องนั้นมารีบูตตอนนี้คงมีวัตถุดิบตลก ๆ เพียบ
    • ผมว่าเป็นเพราะ “เงิน” กับเรื่องเหลวไหลจากฝั่ง Altman อีกมากมาย

  • [แก้ไข: เดิมคอมเมนต์นี้เป็นคำตอบต่อคอมเมนต์ที่เรียก Noam ว่า “Scam Altman” อีกคนหนึ่ง แต่คอมเมนต์แม่ถูกเปลี่ยนไปแล้ว ไม่เป็นไรที่เธรดย่อยเดิมถูกเก็บกวาด แต่คิดว่าต้องมีบริบทนี้ถึงจะเข้าใจได้]
    Noam เป็นของจริง และในโลกวิศวกรรมภายใน Google ช่วงยุค 2000 เขาค่อนข้างเป็นระดับตำนาน มีเรื่องเล่าว่า Paul Buchheit สัมภาษณ์เขาด้วยคำถามว่า “คุณจะสร้างตัวตรวจการสะกดคำอย่างไร” แล้วเขาคิดวิธีที่ดีกว่าเทคโนโลยีล้ำสุดในเวลานั้นออกมาได้ จากนั้นก็สร้างระบบแก้คำสะกดของ Google ขึ้นมาแทบจะเป็น โปรเจกต์ Noogler 2 สัปดาห์แรก ของเขาเลย
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

    • ถ้าเขาฉลาดขนาดนั้น เขาก็น่าจะรู้ดีอยู่แล้วว่าตัวเองกำลังทำอะไรอยู่ ผมไม่เข้าใจว่าจะอ้างได้อย่างไรว่าทั้งหมดนี้เป็นแค่อุบัติเหตุ
      “Google and Character.AI agree to settle lawsuits over teen suicides” - https://www.axios.com/2026/01/07/google-character-ai-lawsuit...
      ต้องใช้ความระมัดระวัง เนื้อหารุนแรงมาก: https://www.judiciary.senate.gov/imo/media/doc/e2e8fc50-a9ac...
    • ว้าว เท่ากับว่าเขา ใช้ AI แก้ปัญหา มาตั้งแต่ปี 2000 แล้ว ระบบแก้คำสะกดนั้นฝึกจากเว็บและกลายเป็นเครื่องมือ AI ตัวแรกที่ถูกใช้อย่างแพร่หลาย เขาล้ำหน้าไปหลายสิบปีจริง ๆ

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    ดูเหมือนจะมีมุมมองเชิงลึกอยู่บ้าง แก้ไข: เหมือนโพสต์จะถูกลบไปแล้ว แต่ยังดูคอมเมนต์ได้ สรุปสั้น ๆ คือ ต่อให้พูดแบบเบาที่สุด คนนี้ก็ แสดงจุดยืนทางการเมืองอย่างตรงไปตรงมา และมีความเชื่อที่หนักแน่น

    • https://www.yahoo.com/news/articles/google-cracks-down-posts... ดูเหมือนจะมีบริบทเพิ่มเติมอยู่บ้าง
    • Shazeer เป็นไซออนิสต์สายแข็ง และ Altman อ่านบรรยากาศเก่งกว่า แต่ก่อนหน้านี้ก็เคยวางตัวให้สอดคล้องกับฝั่งอิสราเอล: https://www.timesofisrael.com/openais-sam-altman-says-israel...
    • ถ้าอย่างนั้นสุดท้าย OpenAI ก็ดูเป็นที่ที่เหมาะกับเขามากกว่า

  • นี่เป็นข่าวร้ายมากสำหรับ Gemini การดีดกลับช่วงสั้น ๆ ของปีที่แล้วด้วย 2.5 Pro ดูเหมือน Noam จะเป็นคนพาเกิดขึ้น

    • พูดตามตรง ผมมองว่าในระยะยาวแทบไม่มีผลอะไร โมเดลไม่มี คูเมือง และกำลังกลายเป็นสินค้าโภคภัณฑ์มากขึ้นเรื่อย ๆ
      แยกจากประเด็นนั้น Google ก็ยังอยู่ในตำแหน่งที่ค่อนข้างดี ไม่ได้ทุ่มเงินเผาไปกับ AI แบบ Anthropic/OpenAI และยังมีพื้นที่ผลิตภัณฑ์ที่สามารถผสาน AI เข้าไปได้ นอกจากนี้ยังมีโมเดลโฆษณาที่โตเต็มที่แล้ว ดังนั้นฝั่งที่อาจสร้างรายได้จริงจาก large language model ได้แม้เพียงเล็กน้อย อาจเป็นส่วนนั้นต่างหาก

  • คำถามแรก: OpenAI จ่ายไปเท่าไรกับเรื่องนี้?
    คำถามที่สอง: ทำไม OpenAI ถึงยอมจ่ายเงินนั้น เพื่อดึงคนจาก Google ซึ่งจ่ายเรื่องการสรรหาคนเก่งได้มากกว่าอย่างชัดเจน แทนที่จะไปดึงจาก Anthropic ที่เป็นผู้นำตลาดและมีข้อจำกัดทางการเงินอยู่พอสมควร

    • จากรายงานที่เกี่ยวข้อง คนของ Anthropic ดูมีความภักดีสูงกว่ามาก และความพยายาม แย่งตัวบุคลากร ของ OpenAI กับ Meta ก็ดูเหมือนจะไม่ค่อยสำเร็จนัก

  • โอ้โห Google เสนอ หลายพันล้านดอลลาร์ เพื่อดึง Noam กลับไป ถ้ารายงานถูกต้อง OAI ก็ทำเรื่องที่น่าประทับใจมากจริง ๆ

  • การจ้างงานสาย AI เริ่มดูเหมือนตลาด ฟรีเอเยนต์ ในกีฬามากขึ้นเรื่อย ๆ
    Karpathy ไป Anthropic แล้ว ตอนนี้ Noam ก็ไป OpenAI

    • ผมนึกว่า Karpathy จะไป OpenAI