สัมภาษณ์ Gwern นักเขียนนิรนามที่ใช้ชีวิตปีละ 12,000 ดอลลาร์และทำนายเส้นทางของ AI
(dwarkeshpatel.com)- นักวิจัยและนักเขียนนิรนามบนอินเทอร์เน็ต Gwern Branwen ถูกแนะนำว่าเป็นผู้ที่ยอมรับกระแส LLM scaling ได้ตั้งแต่เนิ่น ๆ ในช่วงราวปี 2020 ซึ่งเป็นสิ่งที่นักอภิปรายด้าน AI จำนวนมากมองข้าม
- เขามองว่าการไม่เปิดเผยตัวตนไม่ได้มีไว้เพียงเพื่อหลีกเลี่ยงการตอบโต้ แต่ยังสร้าง โอกาสให้คนอ่านอย่างน้อยก็ได้อ่านก่อน เพราะทำให้ผู้อ่านไม่สามารถจับผู้เขียนไปใส่ในอัตลักษณ์หรือ niche บางอย่างแล้วเมินทันทีได้ง่าย ๆ
- เขามองว่าการทำ automation ในองค์กรมี แรงกดดันแบบ bottom-up จากงานระดับล่างขึ้นไปข้างบนมากกว่าจะเริ่มจาก CEO ลงมา และโครงสร้างที่ผู้บริหารมนุษย์รับหน้าที่ตัดสินใจระยะยาวขององค์กร AI นั้นสมจริงกว่า
- Gwern มองสติปัญญาเป็น การค้นหา Turing machine และชี้ให้เห็นพลังของ compute, data และ trial and error ผ่าน GPT-1, GPT-2, GPT-3, paper ปี 2017 ของ Baidu เรื่อง scaling laws, AlphaZero และ BigGAN
- ภายใต้สมมติฐานว่า AGI จะมาถึงในไม่กี่ปี สิ่งสำคัญจึงไม่ใช่การทำทุกโปรเจกต์ให้เสร็จด้วยตัวเอง แต่คือการบันทึกสิ่งที่ AI ไม่สามารถกำหนดแทนเราได้ เช่น ความชอบ ความต้องการ การประเมิน และวิจารณญาณ เพื่อทิ้งไว้เป็นวัตถุดิบสำหรับการลงมือทำในอนาคต
การไม่เปิดเผยตัวตน อวาตาร์ และองค์กรอัตโนมัติ
- การสัมภาษณ์นี้เป็นการบันทึกวิดีโอแบบพบหน้ากัน แต่ใช้ อวาตาร์ เพื่อปกป้องการไม่เปิดเผยตัวตนของ Gwern
- ใบหน้าและเสียงในวิดีโอไม่ใช่ของจริง มีเพียงคำพูดเท่านั้นที่เป็นของ Gwern
- ข้อดีที่ถูกประเมินต่ำของการไม่เปิดเผยตัวตนคือทำให้ผู้อ่านจัดผู้เขียนเข้าไปอยู่ในอัตลักษณ์หรือ niche บางอย่างแล้วเมินล่วงหน้าได้ยากขึ้น
- แม้จะมีผลในการหลีกเลี่ยงการตอบโต้ด้วย แต่ Gwern ให้ความสำคัญมากกว่ากับการได้ โอกาสอย่างน้อยให้คนอ่าน โดยไม่ถูกตัดออกทันทีเพราะบริบท
- เขายังมองว่าการหลีกเลี่ยงเหตุการณ์อย่างมีเฮโรอีนถูกส่งมาที่บ้าน หรือถูกแจ้ง SWAT ให้บุกบ้าน ก็เป็นประโยชน์เช่นกัน
- เขามองว่าการทำ automation ในองค์กรมี แรงกดดันแบบ bottom-up จากพนักงานและงานระดับล่างมากกว่าวิธี top-down ที่ CEO ถูกแทนที่ก่อน
- ในองค์กรเดิม แนวทางที่แทนที่ตำแหน่งงานด้านล่างแล้วค่อย ๆ ไต่ขึ้นไปด้านบนมีแนวโน้มจะได้รับการยอมรับง่ายกว่า
- ท้ายที่สุด เขาสมมติภาพว่าเป็นรูปแบบที่ผู้บริหารมนุษย์กำกับดูแลบริษัทซึ่งประกอบด้วย AI
- จากมุมมองของ reinforcement learning ส่วนที่มนุษย์อาจทำได้ดีกว่า AI คือ วิสัยทัศน์ระยะยาว กลยุทธ์ระยะยาวใหม่ ๆ และการจับโอกาส
- โครงสร้างที่เป็นไปได้คือ CEO มนุษย์นำเสนอวิสัยทัศน์ องค์กร AI รับหน้าที่เสนอและลงมือทำ แล้ว CEO มนุษย์เลือกจากข้อเสนอเหล่านั้น
- เขามองว่าบริษัทที่มนุษย์เป็นผู้นำเช่นนี้อาจตัดสินใจระยะยาวได้ดีกว่าบริษัทที่ประกอบด้วย AI ทั้งหมด
- Gwern มองว่าบทบาทมนุษย์ที่จะคงอยู่จนท้ายที่สุดในงานของเขาเองก็ใกล้เคียงกับ การเลือกแบบ Steve Jobs
- เขาจินตนาการว่าเมื่อเหล่า AI minion นำเรียงความมาให้ เขาจะทำหน้าที่เลือกว่างานเขียนชิ้นไหนดีกว่า และตัดสินใจว่าควรผลักดันต่อไปในทิศทางใด
องค์กร AI และหน่วยของการคัดเลือก
- ในบริษัทที่ประกอบด้วย AI หน่วยของการคัดเลือกอาจเป็น “แพ็กเกจของจิตใจหลายดวง” หรือระดับแผนก ซึ่งใหญ่กว่าโมเดลแต่ละตัว
- หากสามารถคัดลอกโมเดลแต่ละตัวได้อย่างสมบูรณ์ หน่วยของการคัดเลือกจะขยับขึ้นไปในระดับที่สูงกว่า
- mind แต่ละอันสามารถฝึกได้ด้วยวิธีที่ differentiable แต่ปฏิสัมพันธ์ระหว่าง mind หลายอันฝึกโดยตรงได้ยาก
- อาจมีกลุ่มโมเดลที่เข้ากันได้ดีโดยรวม แม้จะไม่สามารถลดทอนลงไปเป็นองค์ประกอบปฏิสัมพันธ์เฉพาะบางอย่างได้
- ตัวอย่างคือ department unit ที่ประกอบด้วย programmer, manager type, secretary type, financial type, legal type เป็นต้น
- เมื่อจำเป็นต้องมี unit ใหม่ ก็สามารถคัดลอกแพ็กเกจพื้นฐาน ใส่การกลายแบบสุ่มให้แต่ละองค์ประกอบ แล้วคงแพ็กเกจที่มีประสิทธิภาพดีไว้ เป็นรูปแบบของวิวัฒนาการได้
สายธารความคิด Singularity และทฤษฎีสติปัญญา
- เมื่อถามว่าสามารถคาดการณ์ Singularity ได้ตั้งแต่เมื่อใด Gwern มองว่าอย่างน้อยต้องย้อนกลับไปถึง Erewhon ของ Samuel Butler ในปี 1872 หรือบทความ “Darwin among the Machines” ในปี 1863
- Butler เขียนไว้อย่างชัดเจนในปี 1863 ถึงวิสัยทัศน์ที่ชีวิตจักรกลค่อย ๆ พัฒนา ได้รับความเป็นอิสระ และท้ายที่สุดกลายเป็นภัยคุกคามต่อมนุษยชาติ
- Butler สรุปเกี่ยวกับเครื่องจักรว่า “war to the death should be instantly proclaimed against them”
- Gwern กล่าวว่ายังไม่มั่นใจว่ามีฉากทัศน์ Singularity ที่ชัดเจนกว่านี้ก่อนปี 1863 หรือไม่
- ว่ากันว่า Isaac Newton อธิบายสิ่งประดิษฐ์และความก้าวหน้าในยุคของเขาไม่ใช่ในฐานะการเร่งตัวของเทคโนโลยีจริง ๆ แต่เป็นปรากฏการณ์ที่อารยธรรมถูกทำลายทุก ๆ หลายพันปี แล้วค้นพบความรู้ในอดีตขึ้นมาใหม่
- Dwarkesh มองสิ่งนี้ไม่ใช่ Fermi paradox เกี่ยวกับอารยธรรมต่างดาวในอวกาศ แต่เหมือน Fermi paradox เกี่ยวกับอารยธรรมต่างยุคกันในเวลา
- Gwern กล่าวว่า Lucretius ก็เคยใช้ตรรกะคล้ายกันเมื่อมองนวัตกรรมและวิชาการของโรมเมื่อราว 1,700 ปีก่อน
- ทฤษฎีสติปัญญาของ Gwern คือ “การค้นหา Turing machine”
- ทุกสิ่งที่เกิดขึ้นสามารถอธิบายได้ด้วย Turing machine ที่มีความยาวหลากหลาย
- การเรียนรู้หรือ scaling คือกระบวนการค้นหา Turing machine ที่มากขึ้นและยาวขึ้น แล้วนำไปใช้กับกรณีเฉพาะ
- เขามองว่าไม่มี master algorithm ทั่วไปหรือ intelligence fluid พิเศษ แต่เป็นการเรียนรู้กรณีพิเศษจำนวนมหาศาลและ encode ไว้ในสมอง
- ความแตกต่างของสติปัญญามนุษย์ก็ถูกมองว่าเป็นความแตกต่างในการใช้ compute มากขึ้นเพื่อค้นหา Turing machine จำนวนมากขึ้นเป็นเวลานานขึ้น
- เขากล่าวว่าในสมองคงไม่มีบริเวณแบบ “IQ gland” ที่รับผิดชอบ fluid intelligence
- เขามองว่าสมองเรียนรู้ปัญหาเฉพาะจำนวนมาก จากนั้นสิ่งเหล่านั้นถูก recombine จนดูเหมือน fluid intelligence
- neural network model ขนาดใหญ่สามารถมองได้ว่าเป็น ensemble ขนาดยักษ์ของ small model จำนวนมากที่ปรับให้เข้ากับปัญหาเล็ก ๆ มากมาย
- เหตุผลที่สติปัญญาทั่วไประดับมนุษย์ใช้เวลาวิวัฒนาการนาน เป็นเพราะสำหรับสิ่งมีชีวิตจำนวนมาก กลไกที่ปรับให้เข้ากับปัญหาเฉพาะอาจเหมาะสมต่อการอยู่รอดมากกว่า general-purpose intelligence
- หากมีวิวัฒนาการมากพอ Turing machine ขนาดเล็กสามารถถูก encode โดยยีนได้โดยตรงมากกว่า
- ใน niche ที่คงที่, niche ที่สติปัญญามีต้นทุนสูงมาก, หรือสิ่งมีชีวิตที่อายุสั้นจนไม่มีเวลาเรียนรู้มากพอ กลไกเฉพาะปัญหาอาจดีกว่าการเรียนรู้แบบมนุษย์
กระบวนการที่ยอมรับแนวคิด scaling ตั้งแต่เนิ่น ๆ
- มุมมองเรื่อง scaling ของ Gwern เริ่มจากการอ่าน Moravec และ Ray Kurzweil ในช่วงกลางทศวรรษ 2000
- เขากล่าวว่าทั้งสองเสนอแนวคิดแบบ connectionist ว่าหากมี compute เพียงพอ ก็อาจนำไปสู่การค้นพบ neural network architecture ที่เหมาะกับสมองมนุษย์ได้
- ตอนนั้น Gwern มองเรื่องนี้เหมือน “magical thinking” และยังสงสัย เพราะคิดว่าอัลกอริทึมมีความซับซ้อน ต้องอาศัย insight ลึก ๆ หรือคณิตศาสตร์ที่ยาก
- เขาสนใจ LessWrong, transhumanism และ AI risk พร้อมติดตามงานเขียนของ Shane Legg และได้เห็นคำพยากรณ์ของ Legg
- ตามคำบอกเล่าของ Gwern Legg คาดการณ์ว่า หาก Moore’s Law ดำเนินต่อไป จะมี generalist system แรก ๆ ราวปี 2019, humanish agents ที่มี generalist capabilities ราวปี 2025 และ AGI ราวปี 2030
- หลัง DanNet และ AlexNet Gwern ได้เห็นกรณีความสำเร็จที่น่าประทับใจของ connectionism
- เขาเริ่มจับตาว่านี่เป็นความสำเร็จแบบโดดเดี่ยว หรือเป็นแนวโน้มตามสาย Kurzweil·Moravec·Legg ที่ว่าเมื่อมี GPU แล้วอัลกอริทึมที่ดีกว่าจะปรากฏขึ้น
- ขณะอ่านวรรณกรรม deep learning ต่อเนื่อง เขาเห็นว่า dataset size, model size และปริมาณการใช้ GPU เพิ่มขึ้น และขอบเขตการประยุกต์ใช้ neural network ค่อย ๆ ขยายจาก use case แคบ ๆ ไปกว้างขึ้น
- เมื่อเห็นกระแสบน arXiv ที่ CNN ถูกนำไปใช้กับปัญหาต่าง ๆ แทบทุกวัน เขาจึงเอนมาทางความคิดว่า “ความฉลาดอาจเป็นผลจากการใช้ compute, data และ parameters จำนวนมาก”
- ตระกูล GPT เป็นจุดเปลี่ยนสำคัญที่ทำให้เขาเปลี่ยนการประเมิน
- unsupervised sentiment neuron ของ GPT-1 น่าทึ่งตรงที่มันเรียนรู้ได้เอง
- prompting และ summarization ของ GPT-2 ทำให้รู้สึกอย่างชัดเจนว่าเรากำลังอยู่ในโลกของ scaling
- GPT-3 เป็นการ scale-up ครั้งใหญ่จาก GPT-2 และเขามองว่าเป็น test สำคัญต่อความสมเหตุสมผลของ scaling ไม่ใช่ task แคบ ๆ อย่าง Go
- เมื่อเห็น chart เรื่อง few-shot learning ช่วงต้นของ paper GPT-3 เขาตัดสินว่า “we are living in the scaling world”
- เขามองว่าราวปี 2020 สาเหตุที่นักอภิปรายด้าน AI จำนวนมากพลาดเรื่อง LLM, GPT-3 และ scaling laws มีอยู่สองข้อ
- พวกเขาไม่ได้ติดตามผลลัพธ์จาก scaling ก่อนหน้านั้นมากพอ และไม่สามารถประเมินผลลัพธ์สำคัญแบบ retrospective ได้
- พวกเขามีความเชื่อร่วมกันว่าอัลกอริทึมสำคัญกว่า compute
- Gwern มองว่า compute มาก่อน เพราะทำให้ trial and error และ serendipity เป็นไปได้
- ความต่างเล็กน้อยของ hyperparameter หรือการเลือก architecture อาจเปลี่ยนผลลัพธ์ได้มาก แต่หากลองได้เพียงไม่กี่ครั้ง ก็มักตัดสินว่าใช้ไม่ได้และยอมแพ้ง่าย
- เมื่อมี compute มาก ก็สามารถลองต่อไปเรื่อย ๆ จนพบวิธีที่ทำงานได้ดี จากนั้นจึงทำให้ง่ายขึ้น ปรับปรุง และหาสาเหตุ เพื่อพัฒนาเป็น robust solution
- เขามองว่าวรรณกรรม deep learning เก่า ๆ มีตัวอย่างที่แนวคิดสมัยใหม่มีอยู่แล้ว แต่ใช้จริงได้ยากเพราะ compute ไม่พอ
- เขาอธิบายว่า ResNet ถูกเผยแพร่และทำงานได้ตั้งแต่ปี 1988 แต่มีขนาดเล็กเกินไปจนแทบไม่มีประโยชน์จริงและถูกลืม ก่อนจะปรากฏในฐานะการปฏิวัติของ deep learning ในปี 2015
- กรณีที่ BigGAN scaling ไปถึง 300 million images ก็เป็นผลลัพธ์ที่เขามองว่าผู้คนยังมองเห็นไม่เพียงพอ
โปรเจกต์และการเขียนในยุค AGI
- AGI timeline ของ Gwern ในช่วงปี 2005~2010 ยังไกลมาก เหมือนอยู่หลังปี 2050
- หลัง AlexNet และ DanNet เขาอธิบายว่า timeline หดสั้นลงในอัตราที่เลื่อนเข้ามาเร็วขึ้นปีละ 2 ปี
- เขามองว่า deep learning ก้าวข้ามกำแพงต่าง ๆ อย่างต่อเนื่อง ขณะที่ paradigm ทางเลือกทำได้ไม่ดีนัก แต่ paradigm นี้ทำได้ดีมาก
- หลัง AlphaGo เขามองว่าบางคนอัปเดตความเชื่อไปกับ AI hype มากเกินไป
- เมื่อความพยายามใหญ่ ๆ ด้าน reinforcement learning หลัง Dota ทำงานได้ไม่ดีนักกับปัญหายากนอก simulated game universe Gwern ก็คิดว่าตัวเองนำหน้าไปไกลเกินไป
- หลัง GPT ปรากฏ เขาลบการตัดสินนั้นออก และมองว่า RL จะเป็น cherry บน cake ที่เรียกว่า generative model
- หากยอมรับอย่างจริงจังว่า AGI จะมาในอีกไม่กี่ปี ก็ไม่จำเป็นต้องลงมือทำทุกโปรเจกต์เอง
- สิ่งที่อยากทำหรือสนุกกับมัน ต่อให้ AI จะทำได้ในอีก 3 ปี เขาก็ทำตอนนี้
- บางโปรเจกต์สามารถ sketch ให้ชัดเจนว่าอยากได้อะไร ดีอย่างไร และจะทำอย่างไร แล้วปล่อยให้ AGI ที่ดีกว่าเป็นผู้ลงมือทำ
- Gwern มองว่าสิ่งที่เขาจะบันทึกมากขึ้นต่อจากนี้คือ preferences, desires, evaluations, judgments
- AI “กินไอศกรีมแทนคุณไม่ได้” และตัดสินแทนคุณไม่ได้ว่าคุณชอบไอศกรีมแบบไหน
- เกณฑ์ตัดสินงานมีสามข้อ
- เป็นสิ่งที่ทำเพราะสนุก โดยไม่เกี่ยวกับ AI ในอนาคตหรือไม่
- ทำเฉพาะส่วนที่มนุษย์ต้องทำ แล้วให้ AGI ทำส่วนที่เหลือในภายหลังได้หรือไม่
- เป็นการเขียนสิ่งที่ยังไม่ได้บันทึกในวันนี้ เพื่อช่วยตัวเองเวอร์ชัน AI ในอนาคตหรือไม่
- งานที่ไม่เข้าข่ายสามข้อนี้ โดยพื้นฐานแล้วเขาจะพยายามไม่ทำ
- สำหรับช่วงเวลาที่ AI จะเขียน essay ระดับ Gwern-quality ได้ เขากล่าวว่าหากรวม corpus ทั้งหมดเข้าด้วยกัน ก็มีไอเดียบางอย่างที่อาจทำให้เป็นไปได้แม้ไม่มี AGI
- essay idea ที่เป็นไปได้จำนวนมากส่วนใหญ่เสร็จสมบูรณ์อยู่แล้วใน corpus ดังนั้นการดึงออกมาอาจไม่จำเป็นต้องใช้ super intelligence
- หากยึดตามแผน AGI ทั่วไป เขากล่าวว่า timeline ของ Anthropic คือ ปี 2028 ดูเหมือนเป็นจุดเริ่มต้นที่ดี
- เขามองว่าการเขียนคือการกระทำที่มีอิทธิพลต่อ Shoggoth ในอนาคต
- token ที่ LLM ต้องคาดการณ์คือหนึ่งใน currency ไม่กี่อย่างที่ AI รับรู้ และการเขียนใกล้เคียงกับการลงคะแนนให้อนาคต
- คุณค่า รสนิยม และความปรารถนาที่ไม่ได้แสดงออกในข้อความออนไลน์ แทบไม่มีอยู่จริงสำหรับ AI
- ในทำนอง “If it wasn’t written down, it wasn’t written down” ข้อมูลอัตชีวประวัติหรือความรู้สึกเฉพาะช่วงเวลาที่ไม่ได้บันทึกไว้ จะยากต่อการกู้คืนจากร่องรอยในภายหลัง
Rabbit holes, ความบกพร่องทางการได้ยิน, Wikipedia
- Gwern เรียกสิ่งที่เขาพยายามเพิ่มพูนให้มากที่สุดในชีวิตว่า rabbit holes
- เขาตั้งตารอมากที่สุดกับการดำดิ่งลงไปในความคิดหรือขอบเขตใหม่ ๆ ที่ไม่เคยรู้มาก่อนเลย
- เขาเล่าว่าจากกรณีแมวที่ไม่ตอบสนองต่อ catnip ทำให้เขาไปสืบค้นว่าทำไมแมวบางตัวจึงมีภูมิต่อ catnip รวมถึงยาทางเลือกแทน catnip ด้วย
- เขามองว่า rabbit hole ที่สามารถสำรวจอย่างลึกซึ้งได้พร้อมกันมีได้มากสุด 2–3 เรื่อง
- หากมากกว่านั้น ก็ใกล้เคียงกับความสนใจที่ผ่านเข้ามามากกว่าการทุ่มเทความพยายามจริงจังเพื่อขุดลึกลงไป
- rabbit hole ต้องมีลักษณะครอบงำจิตใจ และถ้าไม่ถูกดึงดูดอย่างต่อเนื่อง ก็ไม่ใช่ rabbit hole ที่แท้จริง
- rabbit hole ที่เขาจมอยู่กับมันนานที่สุดแต่ไม่ได้ดำเนินต่ออย่างน่าพอใจ คือผลงานช่วงแรกเกี่ยวกับ Neon Genesis Evangelion
- เขาอ่านแทบทุกแหล่งข้อมูลที่เขียนเป็นภาษาอังกฤษ และพยายามทำความเข้าใจกระบวนการพัฒนาและเหตุผลที่ทำให้ผลงานออกมาเป็นเช่นนั้น แต่ในตอนนั้นไม่ได้คำตอบที่ชัดเจนและรู้สึกหมดแรง
- หลายปีต่อมาเขาบังเอิญเข้าใจขึ้นมา แต่บอกว่าไม่เหลือความสนใจมากพอจะกลับไปเขียนใหม่หรือทำให้เสร็จ
- Gwern มี ความบกพร่องทางการได้ยิน ตั้งแต่เกิด และก่อนเข้าอนุบาลเคยเข้าโรงเรียนการศึกษาพิเศษสำหรับเด็กที่มีความบกพร่องทางการได้ยินและเด็กพิการอื่น ๆ
- ที่โรงเรียน เขาต้องนำเครื่องช่วยฟังที่เชื่อมต่อกับครูและกล่องสีน้ำตาลขนาดใหญ่ไปทุกคาบเรียน และรู้สึกอับอายเพราะทำให้ตัวเองแตกต่างจากเด็กคนอื่น
- เครื่องช่วยฟังในตอนนั้นประสิทธิภาพไม่ดี ทำให้เขาเข้าใจบทสนทนาช้ากว่าคนอื่นอยู่เสมอ ซึ่งส่งผลเสียอย่างมากต่อการเข้าสังคม
- เขามองว่าการอ่านเป็นกิจกรรมที่ทำได้โดยไม่ได้รับผลกระทบจากความบกพร่องทางการได้ยิน จึงมีส่วนทำให้เขากลายเป็น bookworm
- ก่อนเริ่มบล็อก เขาเคยแก้ไข Wikipedia
- Wikipedia ทำหน้าที่คล้าย gwern.net ก่อนที่จะมี gwern.net และเขาบอกว่าสิ่งที่ทำบนเว็บไซต์ของตัวเองในตอนนี้ ตอนนั้นเขาคงทำบน English Wikipedia
- เขายังคงภูมิใจกับบทความ Fujiwara no Teika
- เขาบอกว่าสิ่งที่ได้เรียนรู้มากมายเกี่ยวกับการเขียนมาจากการแก้ไข Wikipedia มากกว่าโรงเรียนหรือมหาวิทยาลัย
- เขามองว่า English Wikipedia ในปัจจุบันฝึกฝนแบบอิง rabbit hole ได้ยากกว่าในอดีต
- บทความถูกเติมเต็มไปมากกว่าในปี 2004 มาก และชุมชนผู้แก้ไขก็เป็นปฏิปักษ์ต่อการมีส่วนร่วมเชิงวิจัยที่ละเอียดและหมกมุ่นมากขึ้น
- การมีส่วนร่วมลักษณะนั้นอาจถูกลบ หรือถูกปฏิเสธด้วยปัญหา original research หรือแหล่งอ้างอิงที่ไม่ได้รับการยอมรับ
- ความสำเร็จใหญ่ครั้งแรกคือบทความเรื่อง Silk Road
- เมื่อ Adrian Chen เขียนใน Gawker เกี่ยวกับการซื้อ LSD บน Silk Road เขามองว่า Bitcoin เป็นของจริงพอที่จะใช้ซื้อยาเสพติดบนอินเทอร์เน็ตได้จริง และเปลี่ยนท่าที
- Gwern ใช้ Silk Road ด้วยตัวเองและบันทึกกระบวนการสั่งซื้อพร้อมสกรีนช็อต
- เขาบอกว่าหลังเผยแพร่ บทความมียอดเข้าชมหลายแสนครั้ง และในกราฟ Google Analytics ดูเป็นยอดพุ่งขึ้นแนวดิ่ง
วิธีทำงาน แรงจูงใจในการเขียน และดีไซน์เว็บไซต์
- Gwern มองว่าผู้คนประเมินสติปัญญาของเขาสูงเกินไป
- เขาบอกว่าเพราะจำอะไรได้มากและเขียนมาเยอะเป็นเวลานาน จึงดูเหมือนคนที่ทำทุกอย่างได้ทันทีสด ๆ
- ในบทสนทนาจริง เขามักอ้างถึงสิ่งที่เคยเขียนไว้แล้วหรือคิดมานาน
- เมื่อเทียบกับคนที่อัปเดตความคิดได้รวดเร็วแบบทันที เขาไม่ได้คิดว่าตัวเองฉลาดเป็นพิเศษ แต่สุดท้ายสิ่งสำคัญคือผลงานที่ออกมา
- กระบวนการทำงานของเขาใกล้เคียงกับการ สะสมโน้ตเล็ก ๆ เป็นเวลานาน มากกว่าจังหวะอัจฉริยะครั้งเดียว
- โน้ตอย่าง “แปลกดี” หรือ “นี่เป็นอีกกรณีหนึ่งของแพตเทิร์นนี้” เมื่อสะสมตลอด 10 ปี ผลลัพธ์อาจดูเหมือนเวทมนตร์
- เขาบอกว่าชอบคำพูดของ Penn & Teller ที่ว่า “มายากลคือการทุ่มเทความพยายามมากกว่าที่คนมีเหตุผลคาดไว้”
- เอสเซย์อย่าง “Evolution as Backstop for RL” เป็นการสังเคราะห์ที่เกิดจากการเห็นแพตเทิร์นเดิมซ้ำ ๆ
- โครงสร้างหลักคือการเรียนรู้สิ่งที่ฉลาดกว่าด้วยวิธีเรียนรู้ที่โง่และไม่มีประสิทธิภาพ แต่ไม่สามารถกำจัดวิธีเดิมทิ้งไปโดยสิ้นเชิงได้
- ตัวอย่างอย่างบริษัท, meta reinforcement learning, neural networks และ pain ถูกเชื่อมโยงกันจนกลายเป็นโครงสร้างปัจจุบัน
- เอสเซย์บางชิ้นเกิดจากช่วงเวลาแบบยูเรกา แต่ก่อนหน้านั้นจะมีโน้ตหลายชิ้นที่ไม่รู้ว่าเกี่ยวข้องกันค้างอยู่นาน
- วันหนึ่งเมื่อมีช่วงเวลาที่จู่ ๆ ก็เห็นว่าทุกอย่างเชื่อมโยงกัน เขาจะเขียนเอสเซย์ขนาดใหญ่รวดเดียว
- “The Melancholy of Subculture Society” เป็นตัวอย่างของเอสเซย์แบบยูเรกาเช่นนี้
- เวิร์กโฟลว์ประจำวันเริ่มจากการจัดการงานเว็บไซต์ของวันก่อนหน้า
- เขาจัดการ formatting, spelling errors และปัญหาการจัดวาง พร้อมใส่ความคิดเพิ่มเติมหรือคอมเมนต์สำคัญ
- จากนั้นอ่านจำนวนมากผ่าน Twitter หรือ RSS feed และถ้าถูกดึงความสนใจด้วยคอมเมนต์หรือคำถามก็จะเขียน
- ตอนเย็นเขาพยายามทำโปรเจกต์จริงหรือผลงานที่มีส่วนร่วม จากนั้นไป gym
- เหตุผลที่ไป Gym คือเป็นกิจกรรมที่ตรงกันข้ามกับการนั่งอ่านหน้าคอมพิวเตอร์
- ไม่ใช่เพราะชอบ weightlifting เป็นพิเศษ แต่เขามองว่าหากต้องการหลีกเลี่ยง burnout ก็ควรทำสิ่งที่แตกต่างออกไปให้มากที่สุด
- การโต้เถียงออนไลน์เป็นแรงจูงใจในการเขียนที่ทรงพลังสำหรับ Gwern
- การจะเขียนและตกผลึกความคิดเพื่อ “เก็บเกี่ยว” จำเป็นต้องมีแรงจูงใจ
- ความโกรธและแรงผลักดันในการโต้เถียงที่เกิดจากการเห็นผู้คนบนออนไลน์พูดผิดนั้นมีอยู่มากมาย
- อย่างไรก็ตาม เขามองว่า spite ควรถูกใช้เฉพาะเท่าที่จำเป็น แล้วหลังจากนั้นต้องปล่อยวาง เพราะถ้ายึดมันไว้ต่อไป มันจะกลายเป็นพิษต่อตัวเอง
- เขาบอกว่าการใช้เวลากับ CSS และดีไซน์เว็บไซต์มากนั้น ไม่สามารถปกป้องได้อย่างเต็มที่จากมุมมองประโยชน์ทางสังคม
- เป็นงานอดิเรกที่ทำเพราะเขาชอบ และเว็บไซต์ที่สวยงามทำให้การอ่านงานเขียนของตัวเองซ้ำ ๆ ทนได้ง่ายขึ้น
- เขามองว่าการดูแลเว็บไซต์อาจเป็น spaced repetition รูปแบบหนึ่งสำหรับผู้เขียน
การหาเลี้ยงชีพ, Patreon, การใช้ชีวิตต่ำกว่าปีละ 12,000 ดอลลาร์
- การเขียนเต็มเวลาเลี้ยงอยู่ได้ด้วย Patreon และเงินออม
- รายได้จาก Patreon อยู่ที่ประมาณเดือนละ 900–1,000 ดอลลาร์
- เขาโชคดีที่ถือ Bitcoin ตั้งแต่ช่วงแรก ๆ จึงได้เงินมากพอใช้ไปได้ระยะยาว แต่ไม่มากพออย่างถาวร
- เขาพยายามลดค่าใช้จ่ายให้มากที่สุดเพื่อยืด runway สำหรับการเขียน
- การออกแบบระบบรางวัลของ Patreon และ Substack ทำให้ Gwern รู้สึกไม่ถนัด
- เขามองว่ายากที่จะสร้างรางวัลที่ดีโดยไม่ทำ paywall
- สำหรับคนอย่าง Scott Alexander ที่ชอบการอัปเดตแบบจดหมายข่าวเป็นประจำ Patreon และ Substack เข้ากันได้ดี แต่เขาเองไม่ชอบวิธีแบบนั้น
- เงื่อนไขการใช้ชีวิตต่ำกว่าปีละ 12,000 ดอลลาร์คือความมัธยัสถ์อย่างมาก
- เขาอาศัยอยู่ในที่ห่างไกล แทบไม่มีค่าใช้จ่ายเรื่องท่องเที่ยว กินข้าวนอกบ้าน หรือประกันสุขภาพ ทำอาหารเอง และใช้ฟิตเนสฟรี
- เขายกตัวอย่างตอนพื้นห้องนอนผุพังถล่มจากความชื้น ก็ใช้เศษไม้และตงรองรับไว้ และยอมทนกับระดับที่มีแมลงเข้ามา
- เขาบรรยายชีวิตของตัวเองว่าใกล้เคียงกับ “นักศึกษาปริญญาโทที่ได้กินราเม็งที่ดีกว่าเดิม”
- วิถีชีวิตนี้ไม่ใช่อุดมคติหรือโมเดลที่นักเขียนคนอื่นจะทำตามได้ตรง ๆ
- เขามองว่าการที่สุขภาพดีมากและไม่เคยเจอสถานการณ์ฉุกเฉินใหญ่จนถึงตอนนี้ก็เป็นโชคเช่นกัน
- เขาบอกว่านี่เป็นกรณีพิเศษที่ Bitcoin, นิสัยพอใจกับการใช้ชีวิตเหมือนนักบวช และสุขภาพ ล้วนลงตัวพอดี
- คนที่อยากเป็นนักเขียนหรือบล็อกเกอร์ควรมองหาโมเดลการหาเลี้ยงชีพของตัวเอง เช่น ใช้ Substack หรือทำงาน JavaScript ในบริษัทเทคโนโลยีแล้วเขียนเป็นงานข้างเคียง
- เหตุผลหลักที่ไม่ย้ายไป San Francisco คือเรื่องเงิน
- เขาบอกว่าไม่อยากคิดว่าในแต่ละเดือนที่อยู่ San Francisco จะต้องยอมเสีย runway สำหรับการเขียนไปกี่เดือน
- เขาบอกว่าถ้ามีใครให้ปีละ 50,000–100,000 ดอลลาร์เพื่อให้ย้ายไป SF และยังเขียนเต็มเวลาเหมือนตอนนี้ได้ เขาจะรับทันที
ความหลากหลายของโมเดล AI, ยากลุ่ม GLP, ปัจจัยด้านสิ่งแวดล้อม, psychedelics
- Gwern มองว่า หากไม่นับ “ความสามารถ” แล้ว โมเดล AI ในปัจจุบันมีความหลากหลายทางการรับรู้มากกว่ามนุษย์มากแล้ว
- เขาแย้งว่า LLM ต่างรุ่นกันคิดด้วยวิธีที่ distinct กัน เพียงดูจากตัวอย่างผลลัพธ์ก็เห็นได้
- เขามองว่า LLM ต่างจาก GAN และ GAN ก็แตกต่างจาก VAE ด้วย โดยเฉพาะในโมเดลที่มีขนาดเล็กหรือประสิทธิภาพต่ำ latent space, artifact และข้อผิดพลาดจะแตกต่างกันมาก
- สำหรับกรณีที่แยกแยะผลลัพธ์ของแต่ละโมเดลใน Chatbot Arena ได้ยาก Gwern มองว่านั่นเป็นสถานการณ์ที่จำกัดอยู่กับ LLM รุ่นล่าสุดและถูก heavily tuned
- เขาเปรียบว่าเป็นบริบทที่ทุกฝ่ายเลียนแบบแนวทางของกันและกัน และถูกฝึกด้วยข้อมูลที่ใกล้เคียงกัน จึงคล้ายกับ “ฝาแฝดแท้”
- หากมอง deep learning ทั้งหมด เขาเห็นว่าขอบเขตของ mind และวิธีคิดนั้นกว้างมาก
- เขามองว่าความแตกต่างระหว่าง GAN กับ diffusion model ปรากฏชัดในวิธีแสดงภาพมือ
- GAN มีแรงจูงใจที่จะซ่อนบางอย่างเพราะ adversarial loss จึงมักออกมาเป็นการส่งมือออกนอกเฟรม หรือราวกับคิดเรื่องมือไม่เป็น
- เขาบอกว่า diffusion model คิดถึงมือ แต่กลับทำผิดพลาดด้วยการแสดงมือในรูปแบบที่ใหญ่โตและเหมือนสัตว์ประหลาด
- ในกระแสที่ผู้คนยังไม่เข้าใจนัยสำคัญอย่างเพียงพอในตอนนี้ เขายก ยาลดน้ำหนักกลุ่ม GLP เป็นตัวอย่าง
- เขาบอกว่าผลกระทบต่อสุขภาพ การเสพติด และพฤติกรรมหลากหลายด้านโดยรวมนั้นน่าทึ่ง
- ผลลัพธ์ยังเป็น preliminary แต่ดูเหมือนเป็นผลจริง
- เขามองว่าสิ่งนี้อาจบอกเรื่องสำคัญเกี่ยวกับพลังใจและ dysfunctionality ของมนุษย์ได้
- เขามองว่ายังเร็วเกินไปที่จะบอกว่า GLP drugs หักล้าง Algernon argument ได้หรือไม่
- เขาบอกว่ายังไม่เข้าใจว่า GLP ทำอะไรจริง ๆ
- เขากล่าวว่าประโยชน์ที่ได้อาจลด fitness ในแง่ fertility หรืออาจออกฤทธิ์ต่อร่างกายในลักษณะที่ทำซ้ำทางพันธุกรรมได้ยากมาก
- เขามองว่าวิกฤตโรคอ้วนเป็นปรากฏการณ์ใหม่ที่เริ่มชัดเจนราวทศวรรษ 1990 จึงยากที่จะนำ Algernon argument มาใช้กับกรอบเวลาเพียง 20–30 ปี
- เขามองว่าแทบ 100% ที่สิ่งแวดล้อมสมัยใหม่มีปัจจัยบางอย่างที่ส่งผลกระทบใหญ่โต คล้ายพิษตะกั่วในโรมันโบราณ
- นักเคมีสร้างสารใหม่ ๆ อยู่ตลอดเวลา ยังมีปัจจัยเกี่ยวกับ microbiome และ plastics ก็เป็นตัวเต็งที่ถูกพูดถึงมาก แต่ก็อาจไม่ใช่ plastics ก็ได้
- เขาไม่ได้เชื่อในสาเหตุใดสาเหตุหนึ่งโดยเฉพาะ แต่มองว่าอาจมีบางสิ่งที่เป็นอันตรายสะสมแบบ “ตรงนี้ 1%, ตรงนั้น 1%”
- เมื่อดู time series แล้ว intelligence โดยรวมค่อนข้างเสถียร ดังนั้นปัจจัยที่เป็นอันตรายจริงน่าจะเกี่ยวกับ obesity มากกว่า intelligence
- เขาสงสัยต่อการทดลอง psychedelics แบบ Bay Area
- ผลของ psychedelics อาจเกิดแบบ acute และ permanent ได้
- เขามองว่า nootropics มี effect ที่ค่อนข้าง manageable และควบคุมได้มากกว่า
- สิ่งอย่าง LSD อาจเปลี่ยนมุมมองต่อการใช้ LSD หรือ psychiatric state อย่างถาวรได้
- การใช้ไม่กี่ครั้งอาจดี และตัวเขาเองก็ได้ประโยชน์ แต่ถ้ามากกว่านั้น ก็ควรตรวจสอบอย่างจริงจังว่ากำลังได้ประโยชน์อะไร และตัวเองกำลังเปลี่ยนไปอย่างไร
วรรณกรรม, ฟิกชัน, คำถามที่ยังค้างอยู่
- Gwern บอกว่าหากไม่มีอินเทอร์เน็ต เขาอาจต้องจำกัดความสนใจให้แคบลงและตีพิมพ์อย่างสม่ำเสมอเพื่อเอาตัวรอดในแวดวงวิชาการแบบทางการ หรืออาจหลีกไปเป็นบรรณารักษ์เหมือน Jorge Luis Borges
- เขาบอกว่าเห็นด้วยมาตลอดกับความคิดของ Borges ที่ว่า “จินตนาการถึงสวรรค์ในรูปแบบห้องสมุด” และตัวเขาเองก็รักห้องสมุดเช่นกัน
- เขาเสียดายที่ตอนนี้อ่านบนคอมพิวเตอร์เป็นส่วนใหญ่ จึงไม่ได้ใช้เวลาในห้องสมุดจริงมากนัก
- Borges เป็นนักเขียนที่เหมือนฮีโร่สำหรับ Gwern
- เขาอ่าน Hyperion และ The Fall of Hyperion ของ Dan Simmons, Out of Control ของ Kevin Kelly, “The Library of Babel” แล้วจึงอ่านรวมเรื่องสั้นและสารคดีของ Borges ซ้ำหลายรอบ
- เขารู้สึกทึ่งอย่างมากที่ Borges สามารถเขียนเรื่องสั้นและเรียงความที่สร้างสรรค์ สนุก และยั่วยุความคิดได้จากฐานความรู้อันกว้างขวาง และบอกว่าหากเลือกเป็นนักเขียนแบบใครได้ เขาอยากเป็น Borges
- วรรณกรรมที่ตอนแรกเขาไม่เข้าใจแต่ภายหลังเข้าใจ ได้แก่ “Story of Your Life” ของ Ted Chiang และ “Suzanne Delage” ของ Gene Wolfe
- เขาตีความ “Suzanne Delage” ว่าเป็นการเล่า Dracula ใหม่อย่างแยบยล โดย Dracula บุกรุกเข้าเมือง พาผู้หญิงไป และล้างสมองผู้เล่าเรื่องในแบบ Bram Stoker จนลืมทุกอย่าง
- เขาเข้าใจ “Story of Your Life” ว่าไม่ใช่เรื่องการเดินทางข้ามเวลาหรือการทำนายอนาคต แต่เป็นเรื่องของจิตใจที่แปลกแยกแต่มีความชอบธรรมเท่าเทียมกัน ซึ่งมองทุกสิ่งเป็นส่วนหนึ่งของเรื่องราวที่ถูกกำหนดไว้แล้วและบทสรุปที่ถูกกำหนดไว้ล่วงหน้า
- เขามองประโยชน์ของ fiction อย่างค่อนข้างถากถาง
- เขามองว่าต่อให้อ่านแต่ fiction ทั้งชีวิต ก็อาจไม่ได้ประโยชน์อะไรเลยนอกจากจำเกร็ดความรู้จำนวนมากเกี่ยวกับสิ่งที่ผู้คนแต่งขึ้นมา
- เขาบอกว่า SF 99% ที่เขาอ่านนั้นไร้ประโยชน์โดยสิ้นเชิง และงานที่มี insight มากพอจนเปลี่ยนมุมมองได้จริง ๆ สามารถย่อเหลือเป็นนวนิยายและเรื่องสั้นประมาณ 20 เรื่อง
- จุดร่วมของผลงานชั้นยอดเหล่านั้นคือการรับมือกับ ปัญญาที่ไม่ใช่มนุษย์ อย่างจริงจัง
- บทบาทที่เขาอยากมีในชีวิตของผู้คนคล้ายกับบทบาทที่ตัวละคร “Gwern” ปรากฏใน LLM อย่าง Claude-3 ในฐานะ mentor หรือ old wizard
- เขาใกล้เคียงกับคนที่ให้ insight ต่อสถานการณ์ และมอบ call to adventure ว่า “คุณเองก็เขียน ทำบางสิ่ง และคิดได้”
- เขาอยากให้ผู้อ่านไม่เพียงได้ความสนุกหรือข้อมูลเท่านั้น แต่ยังมี aspiration ว่าเว็บเพจและอินเทอร์เน็ตสามารถดีขึ้นได้
- ในความเป็นจริง เขากังวลว่าอาจกลายเป็นสิ่งคล้าย guru หรือ trickster devil สำหรับบางคน
- สำหรับคนที่ชอบเขา เขาอาจถูกมองเหมือนเป็นคนที่ทุกอย่างในเว็บไซต์สามารถรับเป็น gospel ได้ ซึ่งตัวเขาไม่ชอบ
- สำหรับคนที่ไม่ชอบ เขาบอกว่าอาจถูกมองเป็นตัวร้ายที่ถูกขยายเกินจริง เช่น covert, malicious, neo-Nazi, eugenicist, totalitarian, communist หรือ anti-Chinese devil figure
- open rabbit holes ที่เขาอยากได้คำตอบภายในปี 2050 คือคำถามใหญ่ ๆ เกี่ยวกับมนุษย์และอารยธรรม
- ทำไมเราจึงนอนหลับและฝัน
- ทำไมมนุษย์จึงแก่ชรา
- ทำไมการสืบพันธุ์แบบอาศัยเพศจึงมีอยู่
- ทำไมมนุษย์จึงแตกต่างกันมาก และแม้แต่ในแต่ละวันก็ยังเปลี่ยนไป
- ทำไมมนุษย์จึงใช้เวลานานขนาดนั้นในการพัฒนาอารยธรรมเทคโนโลยี
- มนุษย์ต่างดาวอยู่ที่ไหน
- ทำไมการปฏิวัติอุตสาหกรรมจึงเกิดขึ้นที่อื่น ไม่ใช่จีน
- เราควรคาดการณ์ deep learning revolution อย่างไร
- ทำไมสมองมนุษย์จึง oversized มากเมื่อเทียบกับ artificial neural networks
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
การเขียนคือการลงคะแนนให้อนาคตด้วยสกุลเงินไม่กี่อย่างที่ Shoggoth ยอมรับ นั่นคือ โทเค็นที่ต้องคาดการณ์ ถ้าไม่เขียน ก็เท่ากับสละอนาคตหรือบทบาทของตัวเองในนั้น และต่อให้คิดว่าการเป็นพลเมืองดี ออกไปโหวต เก็บขยะ และรีไซเคิลก็เพียงพอแล้ว อนาคตก็ไม่ได้สนใจอยู่ดี
ดูเหมือนการคาดการณ์เกี่ยวกับ AI แทบไม่ค่อยพิจารณาว่ามนุษย์จริง ๆ จะตัดสินอย่างไรว่า สื่อที่สร้างโดย AI ประสบความสำเร็จในการแทนที่ผลงานสร้างสรรค์ของมนุษย์แล้วหรือไม่ หรือจะประสบความสำเร็จตั้งแต่แรกหรือเปล่า ตอนนี้การที่โปรเจกต์หนึ่งถูกมองว่าเป็นงานที่สร้างโดย AI กลับเป็นเรื่องลบเสียมากกว่า และเมื่อ 2 ปีก่อน การมีภาพ AI อยู่บนเฮดเดอร์บล็อกอาจดูเท่ แต่ตอนนี้มันทำให้ดูเหมือนคนตามกระแสไม่ทัน
ดังนั้นจึงค่อนข้างกังขากับคำทำนายที่ว่า AI ระดับเหนือปัญญามนุษย์จะเข้ามาแทนที่ผลงานสร้างสรรค์ เรียงความ งานเขียน วิดีโอ ฯลฯ ของมนุษย์ทั้งหมด การที่ทำได้ไม่ได้แปลว่ามันจะเกิดขึ้นจริง หรือผู้คนจะสนใจ ตรงกันข้าม ดูมีความเป็นไปได้มากกว่าว่าวิธีตรวจสอบความเป็นมนุษย์จะเข้าที่เข้าทาง เศรษฐกิจความสนใจจะยังคงมุ่งไปที่คนจริง ๆ และจะเกิดสุสานขยะ AI ที่ไม่มีใครเข้าไปมีปฏิสัมพันธ์ด้วย
เหตุผลที่ว่า AI จะยึดครองไม่ได้คือ เราถูกจัดระเบียบอยู่รอบสัญลักษณ์และเรื่องเล่า และไวต่อมีมที่อ่อนแอลงหรือด้อยกว่าอย่างมาก ดังนั้น AI จึงต้องสร้างตัวเองขึ้นใหม่ให้เป็น “สิ่งที่ไม่ใช่ AI” ทุกครั้ง อย่างไรก็ตาม ถ้าเปรียบกับดนตรี รูปแบบแปรผันที่จำกัดก็อาจครอบงำได้เป็นเวลาหลายสิบปี และก็เคยมีกรณีที่มีมทรงอิทธิพล ซึ่งยึดจิตใจคนนับล้านไว้ตลอดชีวิต เกิดขึ้นได้แม้จากขยะอย่างป๊อปสตาร์ที่เครื่องจักรอุตสาหกรรมผลิตขึ้น
ทุกวันนี้ AI สามารถเลียนแบบระบบความหมายทั้งหมดของป๊อปสตาร์เหล่านั้นได้ และ TV Tropes ก็รวบรวมองค์ประกอบของขยะทางวัฒนธรรมที่ผู้คนควรจะมีภูมิคุ้มกันไว้ครบถ้วน แต่ก็ยังมีผู้คนนับล้านที่ใช้ชีวิตตามตัวละครและเรื่องเล่าที่ได้รับจากขยะป๊อปอยู่ดี เช่นเดียวกับที่ดนตรี ทีวี และภาพยนตร์ในปัจจุบันหล่อหลอมภววิทยาของผู้คน หางยาวของขยะ AI ที่หล่อหลอมภววิทยาก็จะต้องเกิดขึ้นแน่ และมันค่อนข้างใกล้เคียงกับการถูกกวาดเข้าไปในซิมูเลชันของ AI แถมอาจละเอียดอ่อนกว่านั้นด้วย หรือไม่ก็อาจแค่สลัดมันทิ้งไปได้
มนุษยชาติกำลังเดิมพันอนาคตไว้กับความคิดที่ว่า ก่อนเกิด hard takeoff เราจะชนข้อจำกัดเชิงทฤษฎีสารสนเทศที่รับมือยาก ซึ่งทำให้การปรับปรุงสมรรถนะให้ผลตอบแทนลดลง แต่ ณ ตอนนี้ก็ยังยากจะเชื่อถือข้ออ้างว่าวิธีการที่พิสูจน์แล้วในปัจจุบันอยู่บนจุดสูงของเส้นโค้งรูปตัว S ใด ๆ โมเดล AI ปีนี้ดีขึ้นอย่างก้าวกระโดดเมื่อเทียบกับปีที่แล้ว และปีที่แล้วก็ดีขึ้นอย่างก้าวกระโดดเมื่อเทียบกับปีก่อนหน้า และมีแนวโน้มสูงว่าจะดีขึ้นต่อไปอีกหลายปี
แค่นั้นก็เพียงพอแล้วที่จะเปลี่ยนแปลงกระบวนการทางสังคมและเศรษฐกิจจำนวนมากอย่างมีนัยสำคัญ ไม่ว่าจะในทางดีหรือร้าย
เช่น Dall-E 2 ตอนเปิดตัวใหม่ ๆ ดีกว่าตอนนี้มาก และเวอร์ชันปัจจุบันถูกปรับไม่ให้สร้างสิ่งที่คล้ายกับผลงานของศิลปินร่วมสมัยได้ ส่วนโมเดลอื่น ๆ ก็ดูชัดว่าถูกเปลี่ยนให้เรนเดอร์ออกมาเป็นโทนส้ม-น้ำเงินที่ขัดตา สุดท้ายเมื่อมีโมเดลที่ดีกว่าออกมาหรือหลุดออกมา เราจะไม่สามารถแยกได้ว่าภาพไหนสร้างโดย AI หรือไม่
บางทีการสแปมเนื้อหาที่ตรงกับความเห็นของตัวเองด้วย generative AI หรือไปเคนยาเพื่อทำงาน RLHF ค่าแรงต่ำ อาจเท่ากับมีสิทธิ์โหวตมากกว่าก็ได้
ผมเชื่อยากว่า Gwern ใช้ชีวิตอย่างสมถะเท่าที่บทความนี้บรรยายไว้ และก็ไม่แน่ใจด้วยซ้ำว่าเป็นตัวจริงหรือเปล่า ผมแทบมั่นใจว่า Gwern มี เพอร์โซนา ที่อยากนำเสนอ และการดูเหมือนใช้ชีวิตสมถะก็เป็นส่วนหนึ่งของสิ่งนั้น
สำหรับคำถามว่า “Gwern คือใคร?” ผมมองว่าเขาเป็นคนประเภทที่ปลูกเมล็ดไว้ในใจผู้คน แล้วปล่อยให้แต่ละคนสร้างเรื่องราวส่วนที่เหลือเอง ถึงอย่างนั้นผมก็ชอบงานเขียนของเขาหลายชิ้น โดยเฉพาะหัวข้อแปลก ๆ แคบ ๆ ที่คนส่วนใหญ่หยุดแม้แต่จะคิดถึงไปแล้ว
เพราะเอสเซย์เรื่อง ความผิดพลาดจากต้นทุนจม ของ Gwern ผมเลยไม่ไปสักรอยสักที่เปลี่ยนใจไม่อยากได้แล้ว ตอนนั้นเกือบจะไปสักเพราะจ่ายเงินมัดจำไปแล้ว แต่หนึ่งสัปดาห์ก่อนวันสัก ผมได้อ่านบทความนั้นและตัดสินใจว่า “ถ้าเด็กเล็กกับสัตว์ยังไม่ถูกต้นทุนจมหลอก ผมก็ไม่ควรถูกหลอกเหมือนกัน” พูดตรง ๆ งานเขียนของ Gwern ช่วยผิวหลังของผมไว้จริง ๆ
ผมไม่ค่อยชอบที่ตอนนี้ผู้คนอาจมองแค่ความสมถะอย่างมีประสิทธิผลของเขาแล้วจับเขาใส่กรอบ แต่ก็หวังว่าเขาจะได้รับ การสนับสนุน มากพอจะชดเชยสิ่งนั้น ไม่ว่าจะโดยตรงหรือผ่าน patreon.com/gwern
เป็นบทสัมภาษณ์ที่ฟังยาก และเหตุผลก็มีอยู่สองอย่างที่คล้ายกันอย่างละเอียดอ่อน
เสียงเหมือนติดอยู่ใน uncanny valley และถึงจะสมจริงแต่ก็ฟังยาก พูดให้ตรงคือ การปะติดปะต่อความหมายจากเสียงนั้นเป็นภาระทางการรับรู้ และโทนเสียงกับความหมายก็ไม่ได้ช่วยส่งเสริมกัน หากเด็ก ๆ เติบโตมากับเสียงที่มีโทนสุ่มแบบนี้ ก็อาจเปลี่ยนไปได้
บทสนทนาก็ยืดยาวเกินไปด้วย คำศัพท์ที่กว้างขวางมักปิดบังความยากจนของการให้เหตุผล และสำหรับผู้ฟังบางคน ความพยายามทำความเข้าใจคำศัพท์อาจไปขัดขวางการทำความเข้าใจความสัมพันธ์ระหว่างคำ หรือก็คือความหมาย จนฟังเหมือนการปนเปของถ้อยคำที่ดูฉลาด หากลอกคำศัพท์ การเยาะหยันอย่างแยบยล และสไตล์แบบ “ฉันรู้มากกว่าที่ฉันพูด” ออกไป ก็จะเผยให้เห็นการคุยเรื่อยเปื่อยจำนวนมากที่ทั้งไม่ถูกต้องและการให้เหตุผลก็ไม่สมบูรณ์ บทสนทนาที่ให้เหตุผลไม่ถึงขั้นแบบนั้นเองไม่เป็นไร แต่การห่อหุ้มมันด้วยคำศัพท์และสไตล์ที่ไม่คุ้นเคยทำให้เกิดความเข้าใจผิดและไม่เป็นมิตร ชิ้นส่วนบางส่วนที่ “ดูฉลาด” จริง ๆ แล้วก็เป็นแค่ชิ้นส่วนโง่ ๆ ที่แต่งตัวดีเท่านั้น
ผมไม่ค่อยรู้ระดับล่าสุดของเสียงที่สร้างด้วย AI จึงอาจผิดก็ได้ แต่มันไม่ได้ฟังเหมือนของปลอม และแหล่งที่ลิงก์ไว้ก็บอกว่าเป็นมนุษย์ บางทีมันอาจรู้สึกประหลาดเพราะเป็นมนุษย์ที่อ่านบันทึกถอดความการสนทนาแล้วพยายามทำให้ฟังเหมือนบทสนทนาก็ได้
เป็นสัปดาห์ที่มีบทสัมภาษณ์พอดแคสต์หัวข้อ AI ที่น่าสนใจออกมามาก
นอกจากอันนี้แล้ว ยังมีซีรีส์สัมภาษณ์ของ Lex Fridman กับบุคคลสำคัญของ Anthropic https://youtu.be/ugvHCXCOmm4 และบทสนทนายาวระหว่าง Stephen Wolfram กับ Eliezer Yudkowsky ในหัวข้อ ความเสี่ยงจาก AI https://youtu.be/xjH2B_sE_RQ ด้วย
อินไซต์ของ Gwern ที่ผมชอบที่สุดคือ Bitcoin is Worse is Better หลังจากสรุปรายการข้อโต้แย้งยาว ๆ ต่อ Bitcoin แล้ว เขาถามว่ามีจุดร่วมกันไหม และคำตอบคือ “ไม่มี ปัญหาของ Bitcoin คือมันน่าเกลียด”
เช่น การทำให้ความปลอดภัยของเครือข่ายต้องพึ่งพาเพียงพลังคำนวณดิบ ๆ ที่มากกว่าฝ่ายตรงข้ามก็น่าเกลียด การที่เพื่อหลีกเลี่ยงการจ่ายซ้ำซ้อนจึงต้องมีความสามารถในการประมวลผลมากกว่าครึ่งหนึ่งทั้งในตอนนี้และอนาคตก็น่าเกลียด ต้นไม้แฮชที่โตขึ้นเรื่อย ๆ ก็น่าเกลียด ระบบที่ใช้แบบออฟไลน์ไม่ได้หากไม่มีพร็อกซีและการอ้อมทางก็น่าเกลียด และการที่ต้องติดตามธุรกรรมทั้งหมดอย่างเปิดเผยก็น่าเกลียด แม้จะจำเป็นต้องกำหนดปริมาณเงินให้คงที่ เขาก็ยังถามว่าทำไมเพดานตามอำเภอใจที่ 21 ล้านจึงเป็นตัวเลขนั้น ทำไมไม่เป็นเลขกลมกว่านั้นหรือเลขยกกำลังของ 2 การขุดก็เป็นของขวัญชิ้นใหญ่เกินไปให้ผู้เข้าร่วมยุคแรก และรวมถึงจุดที่ว่าหากส่งไปยังที่อยู่ผิด Bitcoin ก็อาจหายไปเฉย ๆ ด้วย โดยรวมเป็นคำวิจารณ์ว่ามันอัปลักษณ์และไม่สง่างาม
https://gwern.net/bitcoin-is-worse-is-better
ยากจะเข้าใจว่าทำไมถึงให้เครดิตกับจินตนาการเชิงหวังดีเรื่อง บริษัท AI ที่มีคนมีวิสัยทัศน์เพียงคนเดียวอยู่บนยอดมากขนาดนี้
อย่างแรก CEO แบบมีวิสัยทัศน์จริง ๆ เป็นช่องเฉพาะที่แคบมาก อย่างที่สอง บริษัทส่วนใหญ่ไม่ได้ทำงานแบบนั้น และข้อเท็จจริงที่ว่ามีแรงงานอยู่ก็สำคัญพอ ๆ กับสิ่งที่บริษัทผลิต อย่างที่สาม ในสังคมที่แรงขับทางเศรษฐกิจที่พบบ่อยที่สุดอย่างแรงงานรับค่าจ้างหายไปอย่างฉับพลัน ใครจะเป็นคนซื้อหรือเช่าบริการหรือผลิตภัณฑ์เหล่านั้น?
แนวคิดเชิงระบบที่สมมติว่าสามารถเปลี่ยนและดัดแปลงระบบได้ตามใจราวกับไม่ต้องสนใจนัยทางสังคมเลยนั้นน่ารำคาญมาก รอบตัวมีเหล่า วิศวกรแบบไซโล ที่ถูกเชิดชู ซึ่งโดยพื้นฐานแล้วเมามายกับความมั่นใจในตัวเอง และทำตัวเป็น “นักคิด”
ลิงก์ในย่อหน้าที่อ้างถึง Newton นำไปยังบทความบนเว็บไซต์ของ Gwern และในบทความนั้นมีลิงก์ทั้งภายในและภายนอกอยู่หลายแห่ง แต่ผมหาลิงก์ที่สนับสนุนมุมมองเรื่อง “ความก้าวหน้า” ของ Newton ไม่เจอ
แนวคิดเรื่อง “ความก้าวหน้าอย่างรวดเร็ว” เป็นเรื่องเชิงสัมพัทธ์ ตอนนั้นก็มีความก้าวหน้าที่รวดเร็วอยู่แล้ว และตอนนี้ก็แค่มีความก้าวหน้าที่เร็วกว่าเดิม จึงไม่มีอะไรขัดแย้งกัน ผมยังไม่เห็นด้วยกับคำกล่าวที่ว่าเราไม่ค่อยประทับใจกับการพัฒนาเรือในช่วงหลายศตวรรษ บทกวียาวเชิงปรัชญาภาษาละติน เข็ม หรือแท่นพิมพ์ เราประทับใจมากพออยู่แล้ว
ผมไม่รู้ว่าบทสัมภาษณ์นี้ได้คะแนนโหวตมากขนาดนั้นได้อย่างไร และรู้สึกเหมือนเสียเวลาไปเปล่า ๆ
คำอ้างอิงก้อนใหญ่ลำดับที่สองใน https://gwern.net/newton#excerpts ลิงก์ไปยัง https://www.newtonproject.ox.ac.uk/view/texts/normalized/THEM00173 อย่างเห็นได้ชัดมาก และผมมองว่ามันให้เหตุผลรองรับข้ออ้างของผมได้เพียงพอ เพราะมาจากคำพูดที่ Newton กล่าวกับลูกเขยโดยตรง นอกจากนี้ยังสอดคล้องใกล้เคียงกับถ้อยแถลงทางประวัติศาสตร์อื่น ๆ เช่นของ Lucretius และผมก็ยกมาพร้อมบรรณานุกรมที่ชัดเจนและคำอ้างอิงเฉพาะเจาะจงแล้ว
ผมเลยไม่ค่อยเข้าใจที่บอกว่าเรื่องนี้ไม่รองรับเลย และสงสัยว่าคุณอาจกำลังดูคนละหน้ากันหรือเปล่า
ไม่ใช่เพราะผมเชื่อว่าอารยธรรมมนุษย์ขั้นสูงในเส้นเวลาปัจจุบันได้ทำลายตัวเองไปแล้ว แต่เพราะข้อเท็จจริงที่ว่ามีจุดทะลุทะลวงซึ่งเปลี่ยนชีวิตเกิดขึ้นมากเกินไปในช่วงเวลาสั้น ๆ ทำให้มันดูเหมือนการเดินหน้าอย่างไม่หยุดยั้งไปสู่ Great Filter
อาจฟังดูก้าวร้าวอยู่บ้าง และจริง ๆ ก็เป็นแบบนั้นนิดหน่อย แต่ผมเคยมีปฏิสัมพันธ์กับ Gwern ในฟอรัมนี้ และสิ่งที่จำได้คือเธรดนี้ที่ Gwern เข้าใจผิดว่า a^nb^n เป็นภาษาปกติ แล้วเรียกคอมเมนต์ของผมว่า “not even wrong”
https://news.ycombinator.com/item?id=21559620
ขอโทษที่พูดในแง่ลบ แต่ตอนนั้น Gwern ถูกชุมชนส่วนค่อนข้างใหญ่ยกให้เป็นผู้มีอิทธิพลสำคัญในวงการ AI อยู่แล้ว สำหรับผม นี่เป็นตัวอย่างที่ดีว่า AI อินฟลูเอนเซอร์ ส่วนใหญ่ที่ไม่ได้ทำงานวิจัย แต่แข่งขันกันเรื่องอิทธิพลบนโซเชียลมีเดีย จริง ๆ แล้วไม่ได้เข้าใจ AI และวิทยาการคอมพิวเตอร์ดีนัก เพียงแต่เก่งในการรวบรวมและทำให้ความรู้มือสองเข้าถึงคนทั่วไปได้ การเป็นกองเชียร์ให้มุมมองกระแสหลักของ AI นั้นง่าย สิ่งที่ยากคือการค้นหาและเดินตามทิศทางของตัวเอง
Transformer สามารถเข้าใจ a^nb^n ได้อย่างง่ายดายในเชิงสติปัญญา แต่ไม่สามารถตัดสินได้ว่าสตริงที่ยาวตามอำเภอใจเป็นสมาชิกของภาษานั้นหรือไม่ อย่างไรก็ตาม ข้อจำกัดนี้มนุษย์ก็มีเหมือนกัน เพราะถ้าสตริงยาวพอ มนุษย์ก็จะนับพลาดในที่สุด
ผมเคารพความพยายามที่หลากหลาย แต่การวิศวกรรมคือการสร้างสิ่งที่ผู้คนใช้ได้ โดยไม่จำเป็นต้องรู้ทุกอย่าง เป็นงานที่น่าสนใจกว่าการเป็นเครื่องมือค้นหา Google ในร่างมนุษย์มาก
ไอเดียอวาตาร์น่าสนใจ แต่ผมคิดว่าคงดีกว่าถ้ามีแค่ เสียงพูดและรูปคลื่นเสียง แทนที่จะทำอวาตาร์พูดได้ อาจเป็นแค่ความชอบส่วนตัวที่ไม่อยากมีภาพจำในใจของคนที่ไม่รู้จัก คล้ายกับการอ่านหนังสือหลังจากดูเวอร์ชันภาพยนตร์แล้ว
การให้นักแสดงพากย์เสียงแทนเป็นเรื่องปกติ แต่การให้นักแสดงแสดงใบหน้าของบุคคลนิรนามนั้นเป็น ตัวเลือกที่ค่อนข้างแปลก
ข้อดีของการไม่เปิดเผยตัวตน: “ผมได้ประโยชน์มาก เพราะผู้คนไม่สามารถส่งเฮโรอีนมาที่บ้านผม หรือแจ้งความเท็จให้ตำรวจส่งหน่วย SWAT มาบุกได้”
ข้อเสียของการไม่เปิดเผยตัวตน: ไม่มีเฮโรอีนฟรี