สวัสดีครับ/ค่ะ เมื่อวานนี้ผม/ฉันได้ลาออกจาก OpenAI แล้ว (twitter.com/karpathy) 2 คะแนน โดย GN⁺ 2024-02-15 | 1 ความคิดเห็น | แชร์ทาง WhatsApp บทความที่เกี่ยวข้อง Noam Shazeer เข้าร่วม OpenAI 1 คะแนน · 1 ความคิดเห็น · 17 일 전 อิลยา ซุตสเคเวอร์ ลาออกจาก OpenAI 1 คะแนน · 1 ความคิดเห็น · 2024-05-15 คำถามที่พบบ่อยเกี่ยวกับการออกจาก Google 18 คะแนน · 2 ความคิดเห็น · 2024-01-18 จะลาออกจากวงการเทคโนโลยีและใช้ชีวิตแบบออฟไลน์ 7 คะแนน · 5 ความคิดเห็น · 2026-05-30 Andrej Karpathy ลาออกจาก OpenAI อีกครั้ง 16 คะแนน · 3 ความคิดเห็น · 2024-02-14 1 ความคิดเห็น GN⁺ 2024-02-15 ความคิดเห็นบน Hacker News ทุกครั้งที่ Karpathy ลาออกจากบริษัท เขาจะทำสื่อการเรียนรู้ดี ๆ ในเวลาว่าง จนรู้สึกเหมือนทั้งวงการก้าวกระโดดขึ้นอีกขั้น มีตัวอย่างไหม? ผมไม่ค่อยคุ้นกับวงการนี้เท่าไร ใช่เลย ครั้งนี้หวังว่าจะมีคอนเทนต์เกี่ยวกับโอเพนซอร์สออกมาเยอะ ๆ Karpathy เป็นครูที่ยอดเยี่ยมจริง ๆ ผมเคยเรียนคอร์สคอมพิวเตอร์วิชันของเขา และอยากให้เขาสอนมากขึ้นและจริงจังกับงานนั้น การเป็น AI influencer ยอดนิยมไม่ได้แปลว่าเป็นนักวิจัยที่ดี และดูเหมือนจะมีความสัมพันธ์เชิงลบค่อนข้างแรงกับการเป็นผู้นำธุรกิจหรือผู้ก่อตั้งที่ดีด้วยซ้ำ อยากให้เขาค่อย ๆ กลับไปทำศิลปะที่สูญหายไปในยุคนี้และเป็นสิ่งที่เราต้องการอย่างยิ่ง นั่นคือการอธิบายเรื่องซับซ้อนอย่างสง่างาม และหวังว่าเขาจะไม่วกกลับไปเสียเวลากับพวกนักต้มตุ๋นใน Silicon Valley มากเกินไป ยิ่งคิดก็ยิ่งรู้สึกว่า การที่ทวีตของตัวเองขึ้นหน้าแรก Hacker News ทันที น่าจะส่งผลต่อคนคนหนึ่งไม่น้อย ชื่อเสียงและอิทธิพลทำให้ข้อเสนอและโอกาสหลั่งไหลเข้ามา แต่ก็อาจไม่ใช่เพราะตำแหน่งนั้นเหมาะกับตัวเขาจริง ๆ ถ้าความรู้ได้รับค่าตอบแทนอย่างเหมาะสมก็คงดี YouTube ดูจะใกล้เคียงที่สุด แต่ก็แสดงให้เห็นว่าเหล่า educator บน YouTube ต้องใช้เวลามากแค่ไหนไปกับการดึงยอดวิว แทนที่จะสอนความเชี่ยวชาญ เรื่องที่ข้อเสนอหลั่งไหลเข้ามาเพราะชื่อเสียงและอิทธิพล แต่ไม่จำเป็นต้องตรงกับความเหมาะสมจริงนั้น น่าเศร้าที่เหมือนภาพย่อของชีวิต คนที่เหมาะที่สุดแทบไม่ค่อยได้ตำแหน่งใดตำแหน่งหนึ่ง อาจถูกคัดออกเพราะคุณสมบัติเกิน ถูกตัดตกในขั้น HR หรือถูกปฏิเสธด้วยเหตุผลคลุมเครืออย่างการบังคับกลับเข้าออฟฟิศ การปฏิเสธข้อเสนอโต้กลับ หรือปัจจัยผิดกฎหมายที่ไม่เปิดเผย มันเป็นเกมที่ไม่ค่อยดีนัก จึงโทษคนที่ใช้ไพ่ในมือให้เป็นประโยชน์ได้ยาก บางครั้งก็อยากให้งานสอนในฐานะอาชีพทั้งสายได้รับการประเมินค่าสูงกว่านี้ อยากหาเลี้ยงชีพด้วยการสอนโดยไม่ต้องทำวิจัย ผมคิดว่าครูที่ดีย่อมเป็นนักวิจัยที่ยอดเยี่ยมได้ เพราะต้องเข้าใจสาขาของตัวเองอย่างลึกซึ้ง คาดการณ์และตั้งคำถามที่จำเป็นกับตัวเองได้ มองสาขานั้นด้วยสายตาใหม่อยู่เสมอ ทำงานร่วมกับผู้อื่นได้ดี และเหนือสิ่งอื่นใดคือมีทักษะการสื่อสารที่ดี educator ชั้นยอดอย่าง Karpathy จะสร้างบางอย่างขึ้นมาจากศูนย์ แล้วอธิบายให้ผมเข้าใจได้ ผมสงสัยว่านี่เป็นเรื่องความสามารถของผู้สอน หรือเป็นเพราะนักเรียนอย่างผมยังไม่มีทักษะพอจะเข้าใจสื่ออื่น ๆ กันแน่ ขอแก้เล็กน้อย ไม่ใช่ “b-lined” แต่เป็น bee-lined ปกติผมไม่ค่อยชี้เรื่องแบบนี้ แต่ “b-lined” อาจถูกอ่านเป็นความหมายตรงข้าม คือมีลำดับความสำคัญต่ำ เหมือน “B-list celebrity” ได้ พูดตามตรง OpenAI ดูเหมือนกำลังเสียความเปล่งประกายไปอย่างรวดเร็ว Plugins ล้มเหลว ส่วน GPTs ดีกว่านิดหน่อยแต่ยังไม่เห็น product-market fit ส่วน GPT-4 ยังครองบัลลังก์อยู่ แต่ก็ไม่ได้เหนือชั้นอย่างเมื่อก่อน และเพราะไม่เผยแพร่ paper จึงไม่ชัดเจนด้วยว่าทำวิจัยได้ดีอยู่หรือไม่ ตอนนี้ GPT-5 ต้องดีแบบมหาศาล แต่ก็ไม่รู้ว่าจะเป็นอย่างนั้นจริงไหม ผมรู้ว่าวงการนี้เคลื่อนไหวเร็วเป็นพิเศษ แต่ GPT-4 เพิ่งออกมาไม่ถึงปีเอง การบอกว่ากำลังเสียความเปล่งประกายเพียงเพราะไม่ได้ปล่อยโมเดลใหม่ระดับเปลี่ยนภูมิทัศน์ทุกไตรมาสนี่ดูตลกไปหน่อย เมื่อความนิยมระเบิดและคำถามด้านจริยธรรมก็สำคัญขึ้น อาจจำเป็นต้องใช้เวลาขัดเกลาองค์ประกอบบางอย่างให้ดี แทนที่จะรีบเปิดตัวก่อนทุกอย่าง เพิ่งลองใช้ Gemini Ultra แล้วแย่กว่า GPT-4 มากจนค่อนข้างช็อก แค่ถามเรื่องโค้ดนิดหน่อยก็ hallucinate ไวยากรณ์ใหม่ที่ไม่มีอยู่จริงทุกครั้ง แล้วก็คอยถามว่าจะดำเนินต่อด้วยตัวเลือก A หรือ B ที่ใช้ไม่ได้และไม่มีอยู่จริง ทำให้กลายเป็นการเสียเวลาที่แปลกและน่าหงุดหงิด สุดท้ายหลังเสียเวลาไปหนึ่งชั่วโมงเพื่อให้มันอย่างน้อยสร้างผลลัพธ์ในภาษาที่ขอ ผมถึงได้รู้ว่ามันไร้ประโยชน์โดยสิ้นเชิง น่าประหลาดใจที่ Google ตามหลังขนาดนี้ และยังปล่อยของไร้ค่าแบบนี้ออกมา แถมยังจะเก็บเงินอีกต่างหาก ใจกล้าจริง ๆ แน่นอนว่าผมก็คาดหวัง GPT-5 แต่แค่ปรับปรุงขึ้นเล็กน้อย OpenAI ก็ยังนำหน้าอยู่ไกลมาก พนักงาน Google คงอยากให้ OpenAI หายไป เพราะ OpenAI ทำให้ Google ดูเหมือนบริษัทแบบ IBMชัด ๆ ฉากตลกอยู่ตรงนี้: https://twitter.com/Suhail/status/1757573182138290284 ถ้ารันโมเดล Mistral 80GB ด้วย Ollama มันทำงานได้เท่ากับหรือดีกว่า ChatGPT 3.5 ด้วยซ้ำ ผมมองว่าเป็นเรื่องดีต่อโลกในแง่ที่ว่าเวทมนตร์ไม่ได้เป็นของ OpenAI เพียงเจ้าเดียวอีกต่อไป ความเร็วที่คู่แข่งไล่ตามทันแม้แค่ในช่วง 3 เดือนล่าสุดนั้นน่าทึ่งมาก ถ้า OpenAI กำลังเสียความเปล่งประกายอย่างรวดเร็วจริงก็ดี ผมไม่รู้เลยว่าข้างในบริษัทนั้นเกิดอะไรขึ้นจริง ๆ แต่พฤติกรรมที่พนักงานแสดงบน Twitter ตอน Altman ถูกผลักออกไปนั้นน่ากลัวจริง ๆ และเต็มไปด้วยสัญญาณอันตรายกับบรรยากาศแย่ ๆ ความเห็นนี้อาจไม่เป็นที่นิยม แต่ผมคิดว่าชื่อเสียงและอิทธิพลของ Karpathy แทบทั้งหมดมาจากการเป็น นักการศึกษาและนักสื่อสารที่ยอดเยี่ยม เมื่อเทียบกับชื่อเสียงนั้น ผมไม่แน่ใจนักว่าระดับผลงานจริงที่ผลักดัน AI ไปข้างหน้ามีมากแค่ไหน ผมซาบซึ้งกับคอนเทนต์ด้านการศึกษาของเขาอย่างลึกซึ้ง และดีใจที่เขาได้อิทธิพลและรักษาเส้นทางอาชีพไว้ได้เพราะสิ่งนั้น หวังว่าแค่นั้นก็ทำให้เขาร่ำรวยพอจนโฟกัสกับการศึกษาได้ 100% ในปี 2015 เขาเขียนบทความชื่อ The Unreasonable Effectiveness of Recurrent Neural Networks: https://karpathy.github.io/2015/05/21/rnn-effectiveness/ บทความนั้นเป็นแรงบันดาลใจให้ Alec Radford แห่ง OpenAI ทำงานวิจัย Unsupervised sentiment neuron: https://openai.com/research/unsupervised-sentiment-neuron OpenAI ตัดสินใจลองดูว่าจะเกิดอะไรขึ้นถ้าขยายโมเดลนั้นโดยใช้สถาปัตยกรรม Transformer ใหม่ที่ Google สร้างขึ้น และก็สร้างสิ่งที่เรียกว่า GPT: https://cdn.openai.com/research-covers/language-unsupervised... ไม่เห็นด้วย ผมคิดว่าเรามักประเมินคุณค่าของ สื่อการเรียนรู้ ที่ยอดเยี่ยมต่ำเกินไป Karpathy เติมชีวิตชีวาให้วงการ AI ที่เต็มไปด้วยคำอธิบายทางคณิตศาสตร์ซับซ้อนและอัดแน่นเกินควร ตัวอย่างเช่น CS 231 เคยเป็นหนึ่งในคลาส AI/ML ที่ได้รับความนิยมที่สุดของ Stanford ถ้าคิดถึงจำนวนนักศึกษาที่เรียนคลาสนั้นช่วงราวปี 2015–2017 แล้วต่อมาเติบโตในวงการ AI ก็ไม่เกินเลยที่จะบอกว่าความดีความชอบจำนวนมากควรยกให้คลาสนั้น ผู้สอนที่ค่อย ๆ พาไปทีละขั้นและแสดงให้เห็นว่าสิ่งต่าง ๆ สามารถทำให้ง่ายได้แค่ไหนนั้นมีคุณค่าอย่างยิ่ง มีบทบาทสำคัญในการลดกำแพงการเข้าสู่วงการ ในระยะยาว คนหน้าใหม่ที่เข้ามาใน AI ผ่านสื่ออย่างที่ Karpathy สร้างไว้จะเป็นผู้สร้างความก้าวหน้าครั้งใหญ่ “Hacker's Guide to Neural Networks” ของเขาเป็นสื่อเกือบ 10 ปีก่อนแล้ว แต่ยังให้ช่วงเวลา ‘อ๋อ’ ที่ชัดเจนที่สุดในการทำความเข้าใจ backpropagation การศึกษาและการสื่อสารสำคัญ มันดึงคนใหม่เข้ามาในวงการ ช่วยให้คนที่อยู่ในวงการแล้วเติบโตขึ้น และทั้งสองอย่างจำเป็นต่อการเติบโตและความก้าวหน้าในระยะยาว การเรียกเฉพาะกิจกรรมที่ไม่ใช่การศึกษาว่า “ผลงานจริง” เป็นการลดทอนบทบาทของนักการศึกษาที่ยอดเยี่ยมในขบวนการแห่งความก้าวหน้าอย่างสิ้นเชิง ถ้าไม่มีการศึกษาแบบนั้น ตอนนี้เราจะอยู่ตรงไหนกัน? เขามีส่วนช่วยผลักดัน AI ไปข้างหน้า ไม่จำเป็นต้องเติมคำว่า “จริง” ด้วยซ้ำ การสูญเสียนักการศึกษาที่ยอดเยี่ยมควรถูกมองว่าน่าเสียดายพอ ๆ กับการสูญเสียวิศวกรที่ยอดเยี่ยม Karpathy ทำงานวิจัยบุกเบิกด้าน image captioning และจัดแนว semantic space ของภาพกับข้อความ นี่คือรากฐานเชิงแนวคิดของเครื่องสร้างภาพสมัยใหม่ นอกจากนี้เขายังวิเคราะห์ recurrent neural network ได้อย่างยอดเยี่ยม และเป็นหนึ่งในคำอธิบายยุคแรก ๆ และดีที่สุดว่าเกิดอะไรขึ้นภายใน language model ช่องคอมเมนต์ของ Hacker News เป็นหนึ่งในเวทีที่มีความชอบธรรมน้อยที่สุดเท่าที่นึกออกสำหรับการประเมินเรซูเม่ของใครสักคนต่อสาธารณะ ถ้าเป็นสภาคองเกรสก็ว่าไปอย่าง เขาบอกว่า “แผนตอนนี้คือทำโปรเจกต์ส่วนตัวแล้วดูว่าจะเป็นอย่างไรต่อ คนที่ติดตามมานานน่าจะพอเดาได้ว่ามันจะหน้าตาเป็นอย่างไร” มีใครที่นี่รู้ไหม? น่าจะหมายถึง ซีรีส์ YouTube ของเขา รอชมเลย โปรไฟล์เก่าของเขาเคยเขียนว่าเขากำลังสร้าง JARVIS ที่ OpenAI เขากำลังสร้าง GPT-3 เวอร์ชันเล็กและมีประสิทธิภาพในซีรีส์วิดีโอของเขา ดูได้บน GitHub: https://github.com/karpathy เขาสนใจฝั่งโมเดลโอเพนซอร์สด้วย และอยู่ใน /r/localllama ด้วย อยากให้เขาเขียนนิยายเพิ่มในเวลาว่าง ชอบ https://karpathy.github.io/2015/11/14/ai/ มากจริง ๆ มีทั้งทักษะเล่าเรื่องและยังเล่นรูบิกได้ด้วย น่าจะไปงานปาร์ตี้เด็ก ๆ ได้ดีทีเดียว แถมยังสอนและสร้างของได้ด้วย เขายังไม่ได้ปีนเอเวอเรสต์ใช่ไหม? เห็นด้วยอย่างยิ่ง เป็นเรื่องสั้นที่ยอดเยี่ยม หวังว่าจะได้เห็นเวอร์ชันที่ขยายความมากขึ้นสักวัน เขาจะทุ่มให้ช่อง YouTube หรือเปล่า? น่าตื่นเต้น คอนเทนต์ของเขายอดเยี่ยมจริง ๆ ผมก็ตั้งตารอเหมือนกัน เมื่อประมาณ 8 ปีก่อน มินิเอเจอร์ภาษา Python สำหรับ recurrent neural network อย่าง char-rnn ที่เขาปล่อยออกมาช่วยในการเรียนรู้ได้มากจริง ๆ ถ้าทำแบบนั้นก็เหมือนยอมทิ้งเงินหลายล้านดอลลาร์เลยนะ แน่นอนว่าเขาคงฐานะดีและอาจเกษียณก่อนกำหนดได้ แต่เงินหลายล้านดอลลาร์ก็ยังเป็นเงินก้อนใหญ่ เวลาที่เขากลับไปร่วม OpenAI อีกครั้งดูเหมือนจะเกือบตรงกับ 1 ปีก่อนพอดี: https://twitter.com/karpathy/status/1623476659369443328 สมมติฐานใหม่: Karpathy เงินขาดมือเล็กน้อย เลยรอให้ครบ 1 ปีพอดีจนกว่าออปชัน 25% จะ vest บทความที่เกี่ยวข้อง: “Andrej Karpathy Departs OpenAI”[0] (159 คะแนน, 2 ชั่วโมงก่อน, 71 ความเห็น) [0]: https://news.ycombinator.com/item?id=39365288 บทความนั้นมี paywall หนักมาก ผมเลยจะรวมคอมเมนต์เหล่านั้นมาทางนี้ ขอเวลาสักครู่ ถ้าดูทวีตปักหมุดของเขา “ภาษาโปรแกรมใหม่ที่ร้อนแรงที่สุดคือภาษาอังกฤษ” ข้อความท้ายโพสต์ที่ว่า “คนที่รู้จักผมจะรู้ว่าผมจะทำอะไร ;)” ดูเหมือนจะใบ้ถึง เครื่องมือสำหรับนักพัฒนา บางประเภท ถ้าเป็นนักวิสัยทัศน์ด้านเทคโนโลยีก็น่าจะเป็นไปได้ และดูเหมือนแฮกเกอร์จะอดไม่ได้ที่จะสร้างเครื่องมือที่ทำให้ตัวเองเก่งขึ้น มีใครมีข้อมูลที่ดีกว่าการเดาสุ่มยามว่างของผมไหม? เขาจะเป็น YouTuber เต็มเวลา เขาเคยคาดเดาเรื่อง ระบบปฏิบัติการที่ขับเคลื่อนด้วย LLM อยู่หลายครั้ง ถ้าเป็นเรื่องนั้นคงเจ๋งมาก
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ทุกครั้งที่ Karpathy ลาออกจากบริษัท เขาจะทำสื่อการเรียนรู้ดี ๆ ในเวลาว่าง จนรู้สึกเหมือนทั้งวงการก้าวกระโดดขึ้นอีกขั้น
Karpathy เป็นครูที่ยอดเยี่ยมจริง ๆ ผมเคยเรียนคอร์สคอมพิวเตอร์วิชันของเขา และอยากให้เขาสอนมากขึ้นและจริงจังกับงานนั้น
การเป็น AI influencer ยอดนิยมไม่ได้แปลว่าเป็นนักวิจัยที่ดี และดูเหมือนจะมีความสัมพันธ์เชิงลบค่อนข้างแรงกับการเป็นผู้นำธุรกิจหรือผู้ก่อตั้งที่ดีด้วยซ้ำ
อยากให้เขาค่อย ๆ กลับไปทำศิลปะที่สูญหายไปในยุคนี้และเป็นสิ่งที่เราต้องการอย่างยิ่ง นั่นคือการอธิบายเรื่องซับซ้อนอย่างสง่างาม และหวังว่าเขาจะไม่วกกลับไปเสียเวลากับพวกนักต้มตุ๋นใน Silicon Valley มากเกินไป
ยิ่งคิดก็ยิ่งรู้สึกว่า การที่ทวีตของตัวเองขึ้นหน้าแรก Hacker News ทันที น่าจะส่งผลต่อคนคนหนึ่งไม่น้อย ชื่อเสียงและอิทธิพลทำให้ข้อเสนอและโอกาสหลั่งไหลเข้ามา แต่ก็อาจไม่ใช่เพราะตำแหน่งนั้นเหมาะกับตัวเขาจริง ๆ
เรื่องที่ข้อเสนอหลั่งไหลเข้ามาเพราะชื่อเสียงและอิทธิพล แต่ไม่จำเป็นต้องตรงกับความเหมาะสมจริงนั้น น่าเศร้าที่เหมือนภาพย่อของชีวิต คนที่เหมาะที่สุดแทบไม่ค่อยได้ตำแหน่งใดตำแหน่งหนึ่ง อาจถูกคัดออกเพราะคุณสมบัติเกิน ถูกตัดตกในขั้น HR หรือถูกปฏิเสธด้วยเหตุผลคลุมเครืออย่างการบังคับกลับเข้าออฟฟิศ การปฏิเสธข้อเสนอโต้กลับ หรือปัจจัยผิดกฎหมายที่ไม่เปิดเผย
มันเป็นเกมที่ไม่ค่อยดีนัก จึงโทษคนที่ใช้ไพ่ในมือให้เป็นประโยชน์ได้ยาก
ปกติผมไม่ค่อยชี้เรื่องแบบนี้ แต่ “b-lined” อาจถูกอ่านเป็นความหมายตรงข้าม คือมีลำดับความสำคัญต่ำ เหมือน “B-list celebrity” ได้
พูดตามตรง OpenAI ดูเหมือนกำลังเสียความเปล่งประกายไปอย่างรวดเร็ว
Plugins ล้มเหลว ส่วน GPTs ดีกว่านิดหน่อยแต่ยังไม่เห็น product-market fit ส่วน GPT-4 ยังครองบัลลังก์อยู่ แต่ก็ไม่ได้เหนือชั้นอย่างเมื่อก่อน และเพราะไม่เผยแพร่ paper จึงไม่ชัดเจนด้วยว่าทำวิจัยได้ดีอยู่หรือไม่
ตอนนี้ GPT-5 ต้องดีแบบมหาศาล แต่ก็ไม่รู้ว่าจะเป็นอย่างนั้นจริงไหม
เมื่อความนิยมระเบิดและคำถามด้านจริยธรรมก็สำคัญขึ้น อาจจำเป็นต้องใช้เวลาขัดเกลาองค์ประกอบบางอย่างให้ดี แทนที่จะรีบเปิดตัวก่อนทุกอย่าง
สุดท้ายหลังเสียเวลาไปหนึ่งชั่วโมงเพื่อให้มันอย่างน้อยสร้างผลลัพธ์ในภาษาที่ขอ ผมถึงได้รู้ว่ามันไร้ประโยชน์โดยสิ้นเชิง
น่าประหลาดใจที่ Google ตามหลังขนาดนี้ และยังปล่อยของไร้ค่าแบบนี้ออกมา แถมยังจะเก็บเงินอีกต่างหาก ใจกล้าจริง ๆ
แน่นอนว่าผมก็คาดหวัง GPT-5 แต่แค่ปรับปรุงขึ้นเล็กน้อย OpenAI ก็ยังนำหน้าอยู่ไกลมาก
ฉากตลกอยู่ตรงนี้: https://twitter.com/Suhail/status/1757573182138290284
ความเร็วที่คู่แข่งไล่ตามทันแม้แค่ในช่วง 3 เดือนล่าสุดนั้นน่าทึ่งมาก
ผมไม่รู้เลยว่าข้างในบริษัทนั้นเกิดอะไรขึ้นจริง ๆ แต่พฤติกรรมที่พนักงานแสดงบน Twitter ตอน Altman ถูกผลักออกไปนั้นน่ากลัวจริง ๆ และเต็มไปด้วยสัญญาณอันตรายกับบรรยากาศแย่ ๆ
ความเห็นนี้อาจไม่เป็นที่นิยม แต่ผมคิดว่าชื่อเสียงและอิทธิพลของ Karpathy แทบทั้งหมดมาจากการเป็น นักการศึกษาและนักสื่อสารที่ยอดเยี่ยม
เมื่อเทียบกับชื่อเสียงนั้น ผมไม่แน่ใจนักว่าระดับผลงานจริงที่ผลักดัน AI ไปข้างหน้ามีมากแค่ไหน
ผมซาบซึ้งกับคอนเทนต์ด้านการศึกษาของเขาอย่างลึกซึ้ง และดีใจที่เขาได้อิทธิพลและรักษาเส้นทางอาชีพไว้ได้เพราะสิ่งนั้น หวังว่าแค่นั้นก็ทำให้เขาร่ำรวยพอจนโฟกัสกับการศึกษาได้ 100%
บทความนั้นเป็นแรงบันดาลใจให้ Alec Radford แห่ง OpenAI ทำงานวิจัย Unsupervised sentiment neuron: https://openai.com/research/unsupervised-sentiment-neuron
OpenAI ตัดสินใจลองดูว่าจะเกิดอะไรขึ้นถ้าขยายโมเดลนั้นโดยใช้สถาปัตยกรรม Transformer ใหม่ที่ Google สร้างขึ้น และก็สร้างสิ่งที่เรียกว่า GPT: https://cdn.openai.com/research-covers/language-unsupervised...
ตัวอย่างเช่น CS 231 เคยเป็นหนึ่งในคลาส AI/ML ที่ได้รับความนิยมที่สุดของ Stanford ถ้าคิดถึงจำนวนนักศึกษาที่เรียนคลาสนั้นช่วงราวปี 2015–2017 แล้วต่อมาเติบโตในวงการ AI ก็ไม่เกินเลยที่จะบอกว่าความดีความชอบจำนวนมากควรยกให้คลาสนั้น
ผู้สอนที่ค่อย ๆ พาไปทีละขั้นและแสดงให้เห็นว่าสิ่งต่าง ๆ สามารถทำให้ง่ายได้แค่ไหนนั้นมีคุณค่าอย่างยิ่ง มีบทบาทสำคัญในการลดกำแพงการเข้าสู่วงการ
ในระยะยาว คนหน้าใหม่ที่เข้ามาใน AI ผ่านสื่ออย่างที่ Karpathy สร้างไว้จะเป็นผู้สร้างความก้าวหน้าครั้งใหญ่ “Hacker's Guide to Neural Networks” ของเขาเป็นสื่อเกือบ 10 ปีก่อนแล้ว แต่ยังให้ช่วงเวลา ‘อ๋อ’ ที่ชัดเจนที่สุดในการทำความเข้าใจ backpropagation
การเรียกเฉพาะกิจกรรมที่ไม่ใช่การศึกษาว่า “ผลงานจริง” เป็นการลดทอนบทบาทของนักการศึกษาที่ยอดเยี่ยมในขบวนการแห่งความก้าวหน้าอย่างสิ้นเชิง ถ้าไม่มีการศึกษาแบบนั้น ตอนนี้เราจะอยู่ตรงไหนกัน?
เขามีส่วนช่วยผลักดัน AI ไปข้างหน้า ไม่จำเป็นต้องเติมคำว่า “จริง” ด้วยซ้ำ การสูญเสียนักการศึกษาที่ยอดเยี่ยมควรถูกมองว่าน่าเสียดายพอ ๆ กับการสูญเสียวิศวกรที่ยอดเยี่ยม
นอกจากนี้เขายังวิเคราะห์ recurrent neural network ได้อย่างยอดเยี่ยม และเป็นหนึ่งในคำอธิบายยุคแรก ๆ และดีที่สุดว่าเกิดอะไรขึ้นภายใน language model
เขาบอกว่า “แผนตอนนี้คือทำโปรเจกต์ส่วนตัวแล้วดูว่าจะเป็นอย่างไรต่อ คนที่ติดตามมานานน่าจะพอเดาได้ว่ามันจะหน้าตาเป็นอย่างไร” มีใครที่นี่รู้ไหม?
ดูได้บน GitHub: https://github.com/karpathy
อยากให้เขาเขียนนิยายเพิ่มในเวลาว่าง ชอบ https://karpathy.github.io/2015/11/14/ai/ มากจริง ๆ
เขาจะทุ่มให้ช่อง YouTube หรือเปล่า? น่าตื่นเต้น คอนเทนต์ของเขายอดเยี่ยมจริง ๆ
เวลาที่เขากลับไปร่วม OpenAI อีกครั้งดูเหมือนจะเกือบตรงกับ 1 ปีก่อนพอดี: https://twitter.com/karpathy/status/1623476659369443328
บทความที่เกี่ยวข้อง: “Andrej Karpathy Departs OpenAI”[0] (159 คะแนน, 2 ชั่วโมงก่อน, 71 ความเห็น)
[0]: https://news.ycombinator.com/item?id=39365288
ถ้าดูทวีตปักหมุดของเขา “ภาษาโปรแกรมใหม่ที่ร้อนแรงที่สุดคือภาษาอังกฤษ” ข้อความท้ายโพสต์ที่ว่า “คนที่รู้จักผมจะรู้ว่าผมจะทำอะไร ;)” ดูเหมือนจะใบ้ถึง เครื่องมือสำหรับนักพัฒนา บางประเภท
ถ้าเป็นนักวิสัยทัศน์ด้านเทคโนโลยีก็น่าจะเป็นไปได้ และดูเหมือนแฮกเกอร์จะอดไม่ได้ที่จะสร้างเครื่องมือที่ทำให้ตัวเองเก่งขึ้น
มีใครมีข้อมูลที่ดีกว่าการเดาสุ่มยามว่างของผมไหม?