2 คะแนน โดย GN⁺ 3 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Greg Brockman มองว่าเพื่อให้ OpenAI บรรลุภารกิจ AGI จำเป็นต้องก้าวข้ามข้อจำกัดขององค์กรไม่แสวงหากำไรและต้องมี นิติบุคคลแสวงหากำไร พร้อมทรัพยากรคอมพิวต์ขนาดใหญ่
  • จุดเปลี่ยนทางเทคโนโลยีของ OpenAI นำจาก การขยาย PPO ใน Dota ไปสู่การเรียนรู้ความหมายของโมเดลภาษา และการทบทวนเกณฑ์ AGI ใหม่หลัง GPT-4
  • การพัฒนา AI กำลังถูกเร่งด้วย AI อยู่แล้ว และแม้การเขียนโค้ดจะถูกแทนที่อย่างรวดเร็ว แต่เขามองว่า การออกแบบโครงสร้างโค้ด มนุษย์ผู้เชี่ยวชาญยังคงทำได้ดีกว่า
  • ต่อจากนี้ข้อจำกัดสำคัญคือ คอมพิวต์ และ OpenAI ต้องการกระจายประโยชน์ของเทคโนโลยีให้กว้างผ่านดาต้าเซ็นเตอร์และการเข้าถึงแบบฟรี
  • การปล่อยใช้งานแบบวนซ้ำ ความปลอดภัย ความเป็นกลาง และกฎระเบียบ ล้วนเป็นโจทย์หลักของทั้งผลิตภัณฑ์และสังคม และเกณฑ์ความสำเร็จคือ AGI ต้องเป็นประโยชน์ต่อมวลมนุษยชาติทั้งหมด

การก่อตั้ง OpenAI และการเปลี่ยนโครงสร้าง

  • เหตุผลที่ย้ายจาก Stripe มาสู่ AI

    • Greg Brockman มองว่าปัญหาที่เขาทำอยู่ที่ Stripe ไม่ใช่ปัญหาที่อยากทุ่มเทไปทั้งชีวิต และหากเขาสามารถมีอิทธิพลต่อ วิธีที่ AI จะคลี่ตัวออกในโลก ได้ ก็จะเป็นชีวิตที่มีความหมาย
    • ตอนที่ Brockman กำลังจะออกจาก Stripe, Patrick Collison แนะนำให้เขาไปคุยกับ Sam Altman และ Sam ก็รู้ภายในไม่กี่นาทีว่า Brockman ตัดสินใจจะออกไปแล้ว
    • เมื่อ Brockman บอกว่ากำลังคิดจะทำบริษัท AI, Sam ก็พูดว่าตัวเองกำลังจะเริ่มทำอะไรบางอย่างใน AI เหมือนกัน และชวนให้ติดต่อกันต่อ ซึ่งนำไปสู่การคุยเรื่องการตั้งแล็บวิจัยในปี 2015
  • การก่อตั้งแล็บวิจัยในปี 2015 และทีมยุคแรก

    • ในเวลานั้น DeepMind ดูเหมือน “กอริลลาหนัก 10,000 ปอนด์” ที่มีทั้งนักวิจัย ทุน ข้อมูล และผลงานพร้อมสรรพ และแม้ก่อน AlphaGo เปิดตัวก็เห็นแรงส่งได้ชัดเจนแล้ว
    • คำถามสำคัญคือ “สายเกินไปหรือยังที่จะรวบรวมนักวิจัยระดับท็อปจำนวนมากแล้วเริ่มแล็บวิจัยขึ้นมาใหม่ และมันยังเป็นไปได้หรือไม่” ซึ่งแม้จะมีเหตุผลมากมายว่าทำไมจึงยาก แต่ก็ยังไม่มีข้อสรุปว่ามันเป็นไปไม่ได้
    • Sam Altman กับ Brockman จึงสรุปว่า “ต้องทำ” และ Brockman ก็เริ่มลงมือสร้างองค์กรแบบเต็มตัวตั้งแต่วันถัดมา
    • แผนเริ่มต้นมี Ilya Sutskever, Dario Amodei, Chris, Greg Brockman อยู่ด้วย แต่ก็ไม่ได้เกิดขึ้นครบทั้งหมด โดย Chris ไปที่ Google Brain และ John Schulman กับคนอื่น ๆ แสดงความสนใจ
    • มีคนราว 10 คนที่กำลังถามว่า “ใครจะร่วมไปด้วย” ขณะที่ Sam เสนอให้จัดออฟไซต์ และรวบรวมผู้คนที่ Napa โดยยังไม่มีทั้งข้อเสนออย่างเป็นทางการ โครงสร้างองค์กร หรือรายชื่อคนที่ตอบรับแน่นอน
    • ที่ออฟไซต์ใน Napa ได้ทิศทางที่ใกล้เคียงกับแผนเทคโนโลยีที่ดำเนินต่อมาอีก 10 ปี โดยแกนหลักคือ แก้ reinforcement learning, แก้ unsupervised learning และใช้กลยุทธ์ค่อย ๆ เรียนรู้สิ่งที่ซับซ้อนขึ้น
  • ข้อจำกัดของโครงสร้างไม่แสวงหากำไรและนิติบุคคลแสวงหากำไร

    • ในปี 2017 OpenAI เริ่มคำนวณเงื่อนไขที่จำเป็นต่อการสร้าง AGI จริง ๆ และ ขนาดของคอมพิวต์ ที่ต้องใช้ ก่อนจะสรุปว่าจำเป็นต้องมีคอมพิวเตอร์ขนาดใหญ่
    • พวกเขามองว่าฮาร์ดแวร์คอมพิวต์แบบเฉพาะที่ Cerebras กำลังสร้างอาจไปได้ไกลกว่าระดับที่การคำนวณบอกว่าจำเป็นมาก และตัดสินว่าการเข้าถึงแบบผูกขาดหรือการมีดาต้าเซ็นเตอร์ขนาดใหญ่จะให้ความได้เปรียบอย่างมากในการสร้าง AGI
    • พวกเขามองว่าการระดมทุนแบบไม่แสวงหากำไรมีเพดาน และ Elon Musk, Sam Altman, Ilya Sutskever, Greg Brockman ก็เห็นพ้องกันว่าเส้นทางเดียวที่จะทำภารกิจของ OpenAI ให้สำเร็จได้คือการสร้าง นิติบุคคลแสวงหากำไร ที่เชื่อมโยงกับ OpenAI
    • การสร้าง AGI ต้องใช้เงินทุน แต่ถ้ามีเพียงโครงสร้างไม่แสวงหากำไร ก็อาจหาเงินได้ระดับ 100 ล้านหรือ 500 ล้านดอลลาร์ ทว่าไปถึง 1 พันล้านดอลลาร์ได้ยากมาก
  • ความตึงเครียดภายในและกรณีปลด Sam Altman

    • ในองค์กรที่เชื่อว่าสามารถสร้างเครื่องจักรที่มีสติปัญญาระดับมนุษย์ได้ การเมืองภายในบริษัทแบบทั่วไป เช่น ใครมีอำนาจตัดสินใจ คุณค่าแบบใดที่เข้าไปอยู่ในกระบวนการตัดสินใจ และการจัดสรรเครดิต จะมี น้ำหนักเชิงภาวะดำรงอยู่ ขึ้นมาทันที
    • Brockman เห็นผ่านวิดีโอคอลว่าคณะกรรมการที่ไม่มี Sam อยู่รวมตัวกัน และได้รับแจ้งว่าคณะกรรมการตัดสินใจปลด Sam Altman ออก
    • เขาขอข้อมูลเพิ่มเติม แต่ได้รับคำตอบว่าไม่มีอะไรจะเปิดเผยเพิ่มแล้ว และยังถูกแจ้งว่าตัวเขาเองก็จะถูกถอดออกจากบอร์ดเช่นกัน แต่ยังควรอยู่กับบริษัทต่อเพราะมีความสำคัญต่อภารกิจ
    • เมื่อไม่ได้รับทั้งเหตุผลและฟีดแบ็ก Brockman จึงคุยกับภรรยาทันทีหลังวางสาย และสรุปว่าตัวเองควรลาออก
    • ในวันที่เขาลาออก มีข้อความหลั่งไหลเข้ามาว่าไม่ว่า Sam กับ Brockman จะทำอะไรต่อ ก็จะมีคนตามไปด้วย และผู้ร่วมงานใกล้ชิดหลายคนก็ลาออกในวันนั้นเช่นกัน
    • คนห้าคนรวมถึง Sam เริ่มร่างแนวคิดบริษัทใหม่ และ Brockman มองโอกาสที่จะได้บริษัทคืนมาว่ามีเพียง 10%
    • เมื่อคืนวันอาทิตย์บอร์ดเปลี่ยน Mira ซึ่งเป็น CEO ชั่วคราวออกแล้วเอาคนใหม่เข้ามา บริษัทก็เกิดแรงต้าน และแผนเดิมที่ตั้งใจรับเฉพาะคนที่คาดว่าจะย้ายมาร่วมงานเหมือน “เรือชูชีพ” ลำเล็ก ก็ขยายจนเกือบต้องรับทุกคน
    • แม้จะใกล้ Thanksgiving แล้ว พนักงานจำนวนมากก็ยังยกเลิกไฟลต์กลับบ้านและมารวมตัวที่ออฟฟิศ และเอกสารคำร้องก็มีคนพยายามลงชื่อพร้อมกันมากเกินไปจน Google Docs ค้าง
    • Brockman เปิดดู Twitter ตอนเช้ามืด และรู้สึกโล่งใจมากเมื่อเห็นว่า Ilya โพสต์ว่าตัวเองได้ลงชื่อในคำร้องและต้องการให้บริษัทกลับมารวมกันอีกครั้ง
  • การฟื้นความสัมพันธ์กับ Ilya Sutskever และบทเรียนด้านภาวะผู้นำ

    • Ilya เป็นคนสนิทถึงขั้นเคยทำหน้าที่ประกอบพิธีแต่งงานทางแพ่งให้ Brockman และทั้งคู่ก็ผ่านช่วงเวลายากลำบากมาด้วยกัน
    • หลังจากนั้นทั้งสองใช้เวลามากในการทำความเข้าใจและพูดถึงสิ่งต่าง ๆ ที่สะสมค้างคาหรือไม่เคยพูดออกมา และ Brockman รู้สึกว่ากระบวนการนั้นทำให้เขาไปถึงจุดปิดฉากได้
    • หลังเหตุการณ์นั้น บริษัทคู่แข่งพยายามดึงคนออกไป และอาจมีข้อเสนอที่เงินมากกว่าหรือดีกว่า แต่ตลอดสุดสัปดาห์นั้น OpenAI ไม่เสียคนไปแม้แต่คนเดียว และไม่มีใครรับข้อเสนอจากคู่แข่ง
    • ตอนที่ Ilya ออกจากบริษัท นั่นแทบเป็นช่วงเวลาเดียวในประวัติศาสตร์ OpenAI ที่ Brockman รู้สึกว่าไม่อยากทำต่อแล้ว และเขาต้องกลับไปค้นหาอีกครั้งว่าทำไมเรื่องนี้จึงสำคัญและทำไมความเจ็บปวดนี้จึงคุ้มค่าที่จะยอมรับ
    • ในช่วงพัก เขาได้ ฝึก language model กับลำดับ DNA และร่วมกับภรรยาสนใจว่า AI จะช่วยอะไรได้บ้างกับปัญหาสุขภาพของสัตว์ โดยนำเทคโนโลยีไปใช้ในด้านที่มีความหมายกับชีวิตส่วนตัว
    • เมื่อลองมองย้อนกลับไป สิ่งที่เขาทำพลาดส่วนใหญ่มักเป็นการผัดวันประกันพรุ่งกับการตัดสินใจที่รู้อยู่แล้วว่าควรทำ และบทเรียนที่ได้ซ้ำแล้วซ้ำเล่าคือ จงตัดสินใจเรื่องยาก และจงคุยเรื่องยาก

จุดเปลี่ยนทางเทคนิคและการเร่งความเร็วของการพัฒนา AI

  • ช่วงเวลาต่อเนื่องที่ทำให้รู้สึกว่า “มันเป็นของจริง”

    • ความก้าวหน้าของ OpenAI ไม่ได้เกิดจากการตระหนักรู้เพียงครั้งเดียว แต่เป็นกระบวนการของช่วงเวลาที่ต่อเนื่องกันซึ่งทำให้รู้สึกว่า “มันเป็นของจริง”
    • การก่อตั้งในช่วงแรกเป็นช่วงเวลาที่ทำให้สามารถรวบรวมทีมและเดินหน้าตามภารกิจได้ แต่วันถัดมาในออฟฟิศกลับยังอยู่ในสภาพที่ไม่รู้ว่าจะต้องทำอะไร หรือแม้แต่ไม่มีไวท์บอร์ดด้วยซ้ำ
  • ความสามารถในการขยายที่ Dota และ PPO แสดงให้เห็น

    • Dota คือความสำเร็จครั้งใหญ่ครั้งแรก และแสดงให้เห็นว่าเมื่อเพิ่ม compute ผลลัพธ์ก็ขยายตาม
    • เดิมทีโปรเจกต์ Dota เป็นความพยายามที่จะพัฒนาวิธีใหม่ เพราะมองว่า reinforcement learning แบบเดิมจะขยายต่อไม่ได้ และอัลกอริทึมที่ใช้คือ PPO
    • PPO วางแผนทุกช่วงเวลา ไม่มีโครงสร้างแบบลำดับชั้น จึงต่างจากวิธีที่มนุษย์วางแผนในแต่ละวัน มีข้อบกพร่องมาก และเคยถูกมองว่าน่าจะขยายต่อไม่ได้ แต่ทีมก็ตัดสินใจผลัก baseline นี้ไปจนสุดขีด
    • ผลจากการขยาย PPO อย่างต่อเนื่องทำให้ประสิทธิภาพแซงผู้เล่นมนุษย์ระดับสูงสุด และนำไปสู่การค้นพบว่าอัลกอริทึมที่เรียบง่ายกับ compute ขนาดใหญ่สามารถใช้ได้ผลจริง
    • สภาพแวดล้อมของ Dota เป็นสภาพแวดล้อมที่ซับซ้อน ยากต่อการโปรแกรมล่วงหน้า มองการณ์ไกล หรือทำการค้นหา และแทบจะต้องใช้สัญชาตญาณแบบมนุษย์
    • โครงข่ายประสาทที่ใช้มีจำนวนไซแนปส์ใกล้เคียงกับ “สมองของแมลงขนาดเล็ก” และทิ้งคำถามไว้ว่าจะเกิดอะไรขึ้นหากขยายแนวทางการคำนวณแบบเดียวกันให้ใกล้เคียงกับขนาดสมองมนุษย์มากขึ้น
  • โมเดลภาษา การเรียนรู้ความหมาย และการเปลี่ยนเกณฑ์หลัง GPT-4

    • งานวิจัย unsupervised sentiment neuron ในปี 2017 ถูกยกให้เป็นช่วงเวลาแรกที่ได้เห็นว่าเป้าหมายของ language modeling สามารถก่อให้เกิดความหมายเชิง semantics ได้
    • แม้จะฝึกเพียงให้ทำนายอักขระตัวถัดไป แต่โครงข่ายประสาทกลับเข้าใจได้ว่าประโยคมีอารมณ์เชิงบวกหรือลบ และแสดงให้เห็นว่าสามารถเรียนรู้ไม่ใช่แค่ตำแหน่งของเครื่องหมายจุลภาค คำนาม หรือคำกริยา แต่รวมถึงความหมายของประโยคได้ด้วย
    • ระหว่างที่ทำงานกับ GPT-4 มีคำถามเกิดขึ้นว่า “ทำไมสิ่งนี้จึงยังไม่ใช่ AGI” เพราะมันสามารถสนทนาได้อย่างลื่นไหลในหัวข้อที่ต้องการ แต่ก็ยังชัดเจนว่ามีบางอย่างขาดไป
    • เกณฑ์ AGI ที่มีอยู่ก่อนการเปิดตัว GPT-4 สองเดือนอาจไม่สอดคล้องกับความสามารถจริงของ GPT-4 และยังมองว่ายังมีช่วงเวลาแห่งการทะลุเพดานที่ทำให้ก้าวไปสู่ขั้นถัดไปได้อีกในอนาคต
  • ความเชื่อมโยงของการพยากรณ์ การเรียนรู้แบบไม่มีผู้สอน และ reinforcement learning

    • การทำนายคำถัดไปอาจดูธรรมดา แต่มีมุมมองหนึ่งที่ว่า ถ้าสามารถทำนายคำพูดถัดไปของ Einstein ได้จริง อย่างน้อยก็ต้องฉลาดระดับเดียวกับ Einstein
    • แก่นสำคัญของการพยากรณ์ไม่ใช่การทายสิ่งที่รู้อยู่แล้วให้ถูก แต่คือการทำนายว่าสิ่งใดจะตามมาในสถานการณ์ใหม่ที่ไม่เคยเห็นมาก่อน
    • การฝึกโมเดลแบ่งได้เป็น การเรียนรู้แบบไม่มีผู้สอน ที่ฝึกให้ทำนายสิ่งที่จะตามมาจากข้อมูลแบบคงที่และข้อมูลเชิงสังเกต และ reinforcement learning ที่ AI เลือกการกระทำด้วยตนเอง รับการสังเกตจากโลก และเรียนรู้จากข้อมูลของตัวเอง
    • เทคโนโลยีที่ใช้ในทั้งสองขั้นนั้นโดยพื้นฐานเหมือนกัน สิ่งที่ต่างกันคือ โครงสร้างข้อมูล
  • ขั้นที่ AI เร่งการพัฒนา AI เอง

    • มองว่าได้เข้าสู่ช่วงที่ความเร็วในการพัฒนาเพิ่มขึ้นเรื่อย ๆ จากการนำ AI มาใช้กับกระบวนการพัฒนาของตัวเอง
    • หลัง ChatGPT กระบวนการพัฒนาภายในเร็วขึ้น 10~20% และเครื่องมือเขียนโค้ดในช่วงล่าสุดได้เปลี่ยนวิธีการทำ software engineering ไปอย่างมาก
    • ในการผลิตโมเดล คอขวดส่วนใหญ่อยู่ที่ ซอฟต์แวร์ เช่น การสร้างระบบ การขยายสเกล และการจัดการคอมพิวเตอร์ขนาดใหญ่
    • มองว่าอีกไม่นาน AI จะไปถึงขั้นที่สามารถเสนอไอเดียวิจัยของตัวเอง รันการทดลอง และทำการทดสอบได้
    • ปัจจุบันยากที่จะรู้ว่าสัดส่วนของโค้ดที่ AI ไม่ได้เขียนมีมากน้อยเพียงใด และมันอยู่ในระดับ “แทบหายไป” โดยมองว่าหากให้บริบทและโครงสร้างที่ถูกต้อง การเขียนโค้ดจริงนั้น AI ทำได้ดีกว่ามนุษย์
    • อย่างไรก็ตาม ในด้าน การออกแบบโครงสร้างโค้ด เช่น การจัดวางโมดูล ความสัมพันธ์ขององค์ประกอบ และการนิยามอินเทอร์เฟซเฉพาะทาง ยังมองว่าผู้เชี่ยวชาญมนุษย์เก่งกว่ามาก
  • ไอเดียใหม่และการไม่เปิดเผย chain of thought

    • มองว่า AI กำลังเข้าใกล้ขั้นที่สามารถเสนอไอเดียใหม่ซึ่งมนุษย์ไม่เคยนึกถึงได้
    • ในการออกแบบชิปภายในปี 2024 มีการนำเทคโนโลยีของ OpenAI มาใช้เพื่อลดพื้นที่วงจร และแม้การปรับให้เหมาะที่สุดที่โมเดลสร้างขึ้นจะอยู่ในรายการของมนุษย์อยู่แล้ว แต่ก็ช่วยนำสิ่งที่ไม่มีเวลาทำมาทำให้เกิดขึ้นได้เร็วขึ้น
    • ในคณิตศาสตร์และฟิสิกส์ กำลังแก้ ปัญหาคณิตศาสตร์แบบเปิดและปัญหาฟิสิกส์แบบเปิด และกล่าวว่าเมื่อไม่นานมานี้ได้แก้ปัญหาเฉพาะด้านในฟิสิกส์ควอนตัมในทิศทางที่ตรงข้ามกับที่ชุมชนคาดไว้ พร้อมทั้งได้สูตรที่สวยงามออกมาด้วย
    • OpenAI พยายามทำให้การกลั่นความรู้ทำได้ยากขึ้น โดยเฉพาะการปกป้ององค์ประกอบที่เป็นส่วนหนึ่งของโมเดลแต่ไม่จำเป็นต่อการส่งผลลัพธ์ให้ผู้ใช้ เช่น chain of thought
    • ความได้เปรียบหลักของ OpenAI ไม่ได้อยู่ที่โมเดลใดโมเดลหนึ่งโดยเฉพาะ แต่อยู่ที่ เครื่องจักรที่สร้างโมเดล
    • หนึ่งในเหตุผลที่ไม่แสดง reasoning คือการป้องกันการกลั่นความรู้ และอีกเหตุผลที่สำคัญกว่าคือเรื่อง interpretability
    • หากฝึก chain of thought ให้ดูดีสำหรับการแสดงผล ความซื่อสัตย์ต่อกระบวนการคิดจริงจะหายไป และโมเดลอาจสร้าง reasoning ในรูปแบบที่ผู้ใช้ต้องการแทนเหตุผลที่แท้จริง
    • OpenAI ตัดสินใจตั้งแต่เนิ่น ๆ ว่าจะหลีกเลี่ยงสิ่งยั่วยวนในการฝึก chain of thought ให้เป็นรูปแบบที่แสดงต่อผู้ใช้ได้สวยงาม และด้วยเหตุผลด้านการแข่งขันและความปลอดภัย จึงเอนเอียงไปทางไม่เปิดเผยการคิดขั้นกลาง

ข้อจำกัดด้านคอมพิวต์, ดาต้าเซ็นเตอร์, จุดโฟกัสของผลิตภัณฑ์

  • โลกที่คอมพิวต์กลายเป็นข้อจำกัดหลัก

    • มองว่าในอนาคตโดยรวมเรากำลังมุ่งไปสู่ โลกที่ถูกจำกัดด้วยคอมพิวต์
    • คุณค่าที่โมเดลสร้างขึ้นขยายไปไกลกว่าการตอบคำถามทั่วไป ไม่ว่าจะเป็นการเข้าถึงข้อมูลสุขภาพ การรวมหลายแหล่งข้อมูล การค้นหาฐานความรู้ขององค์กร การแก้ปัญหาที่ยาก และการเขียนซอฟต์แวร์ได้ดีกว่ามนุษย์
    • ความก้าวหน้าจาก GPT-5 ไปสู่ 5.1, 5.2, 5.3 Codex และ 5.4 นั้นมากอย่างยิ่ง และความสามารถของโมเดลในการเข้าใจเจตนาของผู้ใช้และปรับให้ตรงกับเป้าหมายก็ดีขึ้นอย่างมาก
    • เมื่อนำโมเดลขึ้นไปอยู่บนอินเทอร์เฟซอย่าง Codex นักพัฒนาก็สามารถทำสิ่งต่าง ๆ ได้มากกว่าเดิมอย่างมาก
    • ต่อให้พยายามมอบ GPU ให้คนทั่วโลกคนละหนึ่งตัว ก็ยังต้องใช้ถึง GPU 8 พันล้านตัว แต่แนวโน้มปัจจุบันก็ยังไปไม่ใกล้ระดับนั้น
    • ปัจจุบันระดับหลายแสน GPU ถือว่าใหญ่มาก และในอนาคตอาจไปถึงหลายล้าน GPU แต่โลกก็ยังมีคอมพิวต์น้อยเกินไปอยู่ดี และหากต้องการนำเทคโนโลยีนี้ไปสู่ทุกคนก็ยังต้องมีมากกว่านี้อีกมาก
  • กลยุทธ์ดาต้าเซ็นเตอร์และโครงสร้างพื้นฐานทางกายภาพ

    • OpenAI ทุ่มเทอย่างมากในการสร้างคอมพิวต์โดยคาดการณ์สิ่งที่จะมาถึงล่วงหน้า และต้องการโฟกัสที่ภารกิจในการทำให้โมเดลพร้อมใช้อย่างแพร่หลายสำหรับทุกคน
    • กลยุทธ์ที่ทุ่มทั้งแรงและเงินจำนวนมากไปกับดาต้าเซ็นเตอร์เคยถูกคู่แข่งเยาะเย้ย แต่ตอนนี้มองว่านั่นจะกลายเป็นความได้เปรียบ ไม่ใช่แค่ในเชิงธุรกิจ แต่รวมถึงการทำภารกิจในการส่งต่อเทคโนโลยีให้ทุกคนด้วย
    • ดาต้าเซ็นเตอร์สำหรับ AI นั้นใกล้เคียงกับการเป็น “เครื่องจักรที่ใหญ่ที่สุดที่มนุษยชาติสร้างขึ้น” และเป้าหมายของมันคือช่วยแก้ปัญหาที่สำคัญต่อผู้คน เช่น การรักษามะเร็ง การดำเนินธุรกิจ และคำถามในชีวิตประจำวัน รวมถึงช่วยให้บรรลุเป้าหมายต่าง ๆ
    • สำหรับดาต้าเซ็นเตอร์ที่อุทิศให้กับปัญหาเฉพาะ เช่น ดาต้าเซ็นเตอร์ขนาดมหึมาใน Dakota ที่รับหน้าที่แก้ปัญหามะเร็งเพียงอย่างเดียว ก็ ไม่อาจตัดความเป็นไปได้ทิ้งได้ว่าจะเกิดขึ้นภายในปีนี้
    • ปัจจุบันดาต้าเซ็นเตอร์เป็นเครื่องจักรขนาดใหญ่ที่ละเอียดอ่อนมาก และในอดีตเคยมีกรณีที่สายเคเบิลตึงเกินไปจนเกิด ปัญหาความสมบูรณ์ของสัญญาณ และทำให้คอมพิวเตอร์ไม่สามารถทำงานได้
    • ปัจจุบันการบำรุงรักษาระบบยังเป็นงานที่คนต้องลงมือทำทางกายภาพ แต่ในอนาคตอาจเปลี่ยนไปสู่ หุ่นยนต์
    • ดาต้าเซ็นเตอร์ในอวกาศยังมีปัญหาทางเทคนิคอีกมาก แต่ก็มองว่าความต้องการคอมพิวต์สูงมากจนต้องพิจารณาทุกทางเลือก
  • การจัดสรรคอมพิวต์และการเข้าถึง

    • เมื่อคอมพิวต์มีจำกัด คำถามสำคัญในระดับสังคมก็คือจะ จัดสรรคอมพิวต์ไปไว้ที่ไหน ระหว่างความต้องการที่แตกต่างกัน เช่น “การสร้างภาพ” กับ “การแก้ปัญหามะเร็ง”
    • OpenAI มองว่าทุกคนควรเข้าถึงคอมพิวต์ได้ และเหตุผลที่ ChatGPT มี ฟรีเทียร์ ก็เพื่อให้เทคโนโลยีถูกใช้อย่างกว้างขวาง และให้ผู้คนได้เข้าใจและกำหนดวิธีใช้ด้วยตัวเอง
    • แนวทางแบบ “หอคอยงาช้าง” ที่แก้ปัญหาให้เสร็จก่อนแล้วค่อยเผยแพร่ผลลัพธ์ก็มีข้อดีเช่นกัน แต่จุดเน้นของ OpenAI อยู่ที่การ กระจายประโยชน์ ของเทคโนโลยีให้กว้างขวาง
  • การบรรจบกันขององค์กรและผู้บริโภค

    • ในก้าวต่อไปของ OpenAI ภาคองค์กรมีความสำคัญมาก และเศรษฐกิจก็กำลังเปลี่ยนไปเป็น เศรษฐกิจที่ขับเคลื่อนด้วยคอมพิวต์ ต่อหน้าต่อตาเรา
    • ในสายงานวิศวกรรมซอฟต์แวร์เราเห็นการเปลี่ยนแปลงแล้ว และคาดว่าในทุกสายงานที่ทำงานผ่านคอมพิวเตอร์ รูปแบบจะเปลี่ยนจาก “คนทำงานผ่านคอมพิวเตอร์” ไปเป็น คอมพิวเตอร์ทำงานแทนคน
    • เส้นแบ่งระหว่างองค์กรกับผู้บริโภคอาจเลือนรางลง และตอนนี้ก็เริ่มเห็น การเปลี่ยนแปลงที่ทำให้การก่อตั้งสตาร์ตอัปง่ายขึ้นมาก แล้ว
    • มีเพื่อนคนหนึ่งที่ระหว่างฟังน้องสาวเล่าถึงแอปที่เธออยากได้ ก็พิมพ์ให้ Codex ไปด้วย และไม่กี่ชั่วโมงต่อมาก็เอาแอปให้เธอดู น้องสาวถามว่า “ใครเป็นคนทำ” และเขาก็ตอบว่า “เธอนั่นแหละเป็นคนทำ”
    • Codex ไม่ได้ถูกนำเสนอเป็นเครื่องมือสำหรับวิศวกรซอฟต์แวร์เท่านั้น แต่เป็นเครื่องมือที่ทำให้ใครก็ตามที่มีวิสัยทัศน์และความตั้งใจลงมือทำสามารถกลายเป็น ผู้สร้าง ได้
  • AI ส่วนบุคคลและระบบเทคโนโลยีหนึ่งเดียว

    • ด้านผู้บริโภคที่ OpenAI ให้ความสำคัญเป็นพิเศษคือ การช่วยบรรลุเป้าหมาย มากกว่าความบันเทิงหรือการแสดงตัวตน
    • หากมีผู้ใช้สมาร์ตโฟนราว 4 พันล้านคน ก็เชื่อว่าทุกคนควรมี AI ส่วนบุคคลหรือ AGI ส่วนบุคคลที่รู้จักตัวตนของตนเองเป็นอย่างดี เข้าใจบริบทส่วนตัว น่าเชื่อถือ และสามารถขอคำแนะนำได้
    • AI ส่วนบุคคลสามารถลงมือทำเชิงรุกได้ เช่น ซื้อตั๋วเมื่อศิลปินที่ชอบมาแสดงในเมือง โดยในบางกรณีอาจถามยืนยันก่อน และในบางกรณีอาจดำเนินการได้ทันทีตามการอนุมัติล่วงหน้า
    • อย่างไรก็ตาม เป้าหมายยังคงต้องเป็นสิ่งที่ผู้ใช้กำหนดเอง และมีข้อสมมติฐานว่าผู้ใช้ต้องเป็นผู้ถืออำนาจควบคุม
    • มองว่าผู้ที่ควรเข้าถึง AI ส่วนบุคคลหรือ AGI ส่วนบุคคลไม่ได้มีแค่ 4 พันล้านคน แต่ควรเป็น 8 พันล้านคน หรือทั้งโลก
    • ไม่ว่าจะใช้ในการทำงานหรือชีวิตส่วนตัว แม้อาจมีหลายอินสแตนซ์ แต่โดยพื้นฐานแล้วมองว่านี่คือ ระบบเทคโนโลยีหนึ่งเดียว

การเผยแพร่, ความปลอดภัย, ความเป็นกลาง, กฎระเบียบ

  • การเผยแพร่แบบทำซ้ำ

    • การเผยแพร่แบบทำซ้ำ (iterative deployment) เป็นหนึ่งในเสาหลักสำคัญที่ OpenAI ใช้มาตลอดเพื่อทำให้เทคโนโลยีเป็นประโยชน์ต่อผู้คนและบรรลุภารกิจของตน
    • แม้จะมีเส้นทางแบบสร้าง AGI อย่างลับ ๆ ไม่เผยแพร่อะไรเลย แล้วกดปุ่มปล่อยออกมาในช่วงใดช่วงหนึ่ง แต่ในกรณีนั้นก็ต้องรับมือกับการปะทะครั้งแรกระหว่างระบบอันทรงพลังกับโลกแห่งความเป็นจริงในคราวเดียว
    • ตรงกันข้าม หากเผยแพร่ระบบที่แข็งแกร่งขึ้นเรื่อย ๆ หลายครั้ง ก็จะกลายเป็นสถานการณ์ของการรับมือกับ “ระบบลำดับที่ 100” และสามารถเรียนรู้จากการ แก้ปัญหา 99 ครั้งก่อนหน้า ได้ ขณะเดียวกันโลกก็มีเวลาปรับตัว
    • ก่อนเผยแพร่ GPT-3 เคยคิดกันมากถึงภาพใหญ่ เช่น ข้อมูลเท็จ แต่การใช้งานผิดวัตถุประสงค์ที่ใหญ่ที่สุดจริง ๆ กลับเป็น สแปมทางการแพทย์ ที่โฆษณายาหลายชนิดให้ผู้คน
    • การเผยแพร่แบบทำซ้ำคือแนวทางที่นำเวอร์ชันระหว่างทางออกสู่โลก เพื่อดูและเรียนรู้จากการใช้งานผิดวัตถุประสงค์และความเสี่ยงจริง ไม่ได้หมายความว่าให้ปล่อยออกไปแบบไม่คิดหน้าคิดหลัง
    • สำหรับเทคโนโลยีที่ทรงพลังและเผยแพร่รวดเร็วอย่าง AI นั้น ยังไม่มีเพลย์บุ๊ก และ OpenAI เองก็อยู่ในสถานการณ์ที่ต้องเรียนรู้ไปพร้อมกับการสร้างมันขึ้นมา
  • ความปลอดภัยคือฟีเจอร์ของผลิตภัณฑ์

    • ความปลอดภัยไม่ใช่แค่องค์ประกอบเสริม แต่เป็น ฟีเจอร์หลักของผลิตภัณฑ์ และไม่มีใครต้องการโมเดลที่ไม่สอดคล้องกับตนเอง
    • ผู้ใช้ต้องการโมเดลที่เชื่อถือได้ในทุกสถานการณ์และทำสิ่งที่ถูกต้อง
    • OpenAI มองว่าตนเองอาจลงทุนด้านความปลอดภัยมากกว่าที่ผู้คนรับรู้มาก และอาจมากกว่าสถาบันวิจัยอื่นใดด้วยซ้ำ
    • เนื่องจาก ChatGPT เป็นกรณีการเผยแพร่ language model ที่มีคนใช้งานมากที่สุดในโลก OpenAI จึงต้องใส่ใจเรื่องความปลอดภัย และระบุว่าที่ผ่านมาก็ใส่ใจเรื่องนี้มาโดยตลอด
    • มองว่าไม่มีสภาวะที่ยั่งยืนสำหรับนักพัฒนา AI ที่สร้างผลิตภัณฑ์สำเร็จได้ หากไม่ลงทุนด้านความปลอดภัยอย่างจริงจังมาก
  • ความยืดหยุ่นของสังคมและ OpenAI Foundation

    • ความปลอดภัยไม่ได้เกี่ยวกับตัวโมเดลเพียงอย่างเดียว แต่ยังเชื่อมโยงกับ วิธีที่สังคมมีความยืดหยุ่นรับมือ ด้วย
    • รถยนต์ต้องมีทั้งเข็มขัดนิรภัยและถนน ส่วนไฟฟ้าก็มีทั้งมาตรฐานความปลอดภัยและกฎเกี่ยวกับการจัดวางเสาไฟกับสายไฟแรงสูง
    • สำหรับ AI สิ่งสำคัญจึงไม่ใช่แค่ตัวโมเดล แต่รวมถึงการผสานเข้ากับโลกและวิธีที่สังคมสร้างความยืดหยุ่นด้วย
    • OpenAI Foundation วางให้การช่วยให้สังคมลงทุนและสร้าง ชั้นความยืดหยุ่น สำหรับ AI เป็นหนึ่งในจุดโฟกัสหลัก
  • อคติทางการเมืองของโมเดล, ความเป็นกลาง, และการเรียนรู้ตามความชอบของผู้ใช้

    • OpenAI ระบุว่าทุ่มเทอย่างมากเพื่อให้โมเดลมีความเป็นกลางและสะท้อนความจริง โดยค่านิยมและวิธีการทำงานที่ใส่เข้าไปในโมเดลสามารถดูได้จากสเปกสาธารณะบนเว็บไซต์และเปิดให้แสดงความคิดเห็นได้
    • ภาพหน้าจอจาก Twitter อาจไม่ได้ซื่อตรงทั้งหมดเสมอไป เพราะคำตอบอาจถูกปรับไปในทิศทางหนึ่งจากหน่วยความจำที่อยู่เบื้องหลัง คำสั่งแฝง และบริบทของบทสนทนาก่อนหน้า
    • บางคำถามไม่มีคำตอบที่ถูกต้อง และหากบังคับให้ตอบด้วยคำเดียว ไม่ว่าจะตอบอย่างไรก็อาจถูกกล่าวหาว่ามีอคติได้
    • แกนหลักที่ OpenAI ให้ความสำคัญคือ AI ที่ ยึดตามความจริง และเป็นตัวแทนของผู้ใช้
    • วิธีฝึกโมเดลให้สอดคล้องกับความชอบของผู้ใช้ได้พัฒนามาเรื่อย ๆ และครั้งหนึ่งโมเดลก็เคยเอนเอียงไปในทางพูดสิ่งที่ผู้ใช้อยากได้ยิน
    • เป้าหมายคือให้โมเดลช่วยสนับสนุน เป้าหมายระยะยาวและความเป็นอยู่ที่ดีในระยะยาว ของผู้ใช้ และมีการปรับปรุงทางเทคนิคเพื่อไม่ให้เกิด “การแฮ็กผู้ให้คะแนน” เพื่อเอาความพึงพอใจระยะสั้น
  • กฎระเบียบ, ความกังวลเรื่องดาต้าเซ็นเตอร์, และยุทธศาสตร์ระดับชาติ

    • กฎระเบียบด้าน AI ควรทำให้เทคโนโลยีสร้างประโยชน์แก่ผู้คนในท้ายที่สุด และต้องรับมือกับความจริงที่ว่าระบบ อาชีพ และเส้นทางชีวิตที่เคยคิดว่ามั่นคง อาจไม่มั่นคงอีกต่อไป
    • คำถามสำคัญของกฎระเบียบคือ ทุกคนควรเข้าถึง compute ได้หรือไม่ และเมื่อเทคโนโลยีสร้างมูลค่าทางเศรษฐกิจมากขึ้น จะทำอย่างไรไม่ให้มูลค่านั้นกระจุกอยู่เพียงที่เดียว
    • มีผู้คนที่บอกว่าการใช้ ChatGPT ช่วยชีวิตตนเองหรือคนที่รักไว้ได้ และมองว่าการใช้งานเช่นนั้นควรได้รับการสนับสนุนและคุ้มครอง
    • การพูดคุยกับแพทย์หรือทนายความเป็นการสื่อสารที่ได้รับเอกสิทธิ์คุ้มครองทางกฎหมาย แต่สำหรับ AI ยังไม่มีระบบเช่นนั้น
    • มีความกังวลว่าดาต้าเซ็นเตอร์จะทำให้ค่าไฟสูงขึ้น และ OpenAI ระบุว่ามีพันธสัญญาที่จะไม่ให้เกิดเช่นนั้น
    • มีการพูดถึงการใช้น้ำของดาต้าเซ็นเตอร์อย่างมาก แต่ OpenAI ระบุว่าดาต้าเซ็นเตอร์ของตนใช้น้ำน้อยมาก และคำกล่าวว่ามันใช้น้ำมากนั้นเป็น ข้อมูลผิด
    • เหตุผลที่ใช้น้ำน้อยคือเป็นโครงสร้างแบบวงจรปิด จึงเป็นลักษณะของการเติมน้ำในปริมาณประมาณสระว่ายน้ำแล้วหมุนเวียนใช้ต่อเนื่อง
    • มองว่าสถานการณ์ปัจจุบันใกล้เคียงกับ ยุคฟื้นฟู AI ระดับโลก มากกว่าจะเป็น “การแข่งขัน AI ระดับโลก” และพลวัตระหว่างประเทศต่าง ๆ ก็ยังไม่ได้ถูกกำหนดตายตัวทั้งหมด
    • มองว่าการที่สหรัฐฯ เป็นผู้นำด้าน AI มีความสำคัญต่อการปกป้องและรักษาคุณค่าประชาธิปไตย
    • แต่ละประเทศกำลังตระหนักว่าหาก AI กำลังกลายเป็นรากฐานของความมั่นคงทางเศรษฐกิจและความมั่นคงของชาติ ก็จำเป็นต้องมีส่วนร่วมไม่ทางใดก็ทางหนึ่ง และต้องมียุทธศาสตร์ sovereign AI
    • หากจำกัดการส่งออกชิปและเทคโนโลยีเข้มงวดเกินไป ประเทศอื่นก็จะสร้างคู่แข่งของตนเองหรือหันไปพึ่งผู้ให้บริการรายอื่น แต่ถ้าผ่อนเกินไป สหรัฐฯ ก็อาจสูญเสียความได้เปรียบ
    • ภาวะผู้นำไม่ได้หมายถึงแค่การนำหน้าเท่านั้น แต่ยังรวมถึงการพาโลกก้าวไปด้วยกันด้วย

งาน ทักษะที่จำเป็น และอนาคตที่พึงปรารถนา

  • ความกังวลเรื่องงานและสิ่งที่จะได้รับ

    • ยังไม่แน่ชัดว่า AI จะพัฒนาไปอย่างไรแบบเป๊ะ ๆ และมันอาจปรากฏออกมาในรูปแบบที่น่าประหลาดใจ โดย AI และโลกในปัจจุบันก็แตกต่างจากภาพที่นิยายวิทยาศาสตร์เคยคาดไว้ด้วย
    • ปฏิเสธไม่ได้ว่าการเปลี่ยนแปลงกำลังมาถึง สิ่งที่สูญเสียไปนั้นมองเห็นได้ง่าย แต่ สิ่งที่จะได้รับ กลับมองเห็นล่วงหน้าได้ยากกว่ามาก
    • ถ้าอธิบายให้คนในปี 1950 ฟังว่า หลังจากมีคอมพิวเตอร์ โทรศัพท์มือถือ และ GPS แล้ว เราจะเรียกรถมารับยังตำแหน่งปัจจุบันได้ภายใน 3 นาที มันคงฟังดูประหลาด แต่ในความเป็นจริงการลงทุนด้านเทคโนโลยีเหล่านั้นได้นำไปสู่การใช้งานนับพัน นับหมื่น และนับล้านรูปแบบ
    • แก่นสำคัญของ AI คือ การเสริมศักยภาพ และความเป็นตัวของตัวเองของมนุษย์ ขณะเดียวกันบางระบบและบางอาชีพก็อาจไม่ได้มั่นคงอย่างที่คิด และจะส่งผลกระทบต่อผู้คน
    • เมื่อมองดูเทคโนโลยี AI หลายรุ่นที่ผ่านมา จะเห็นแนวโน้มว่าคนที่เรียนรู้เทคโนโลยีรุ่นก่อนก่อน มักจะได้รับประโยชน์มากที่สุดในรุ่นถัดไปด้วย
    • ทักษะสำคัญคือความเป็นตัวของตัวเอง วิสัยทัศน์ และไอเดีย และอุปสรรคในการเริ่มลงมือทดลองก็ต่ำลงกว่าที่เคยเป็นมา
    • โลกต้องคิดว่าจะสนับสนุนทุกคนที่กำลังเผชิญความไม่แน่นอนและช่วงเปลี่ยนผ่านอย่างไร และเศรษฐกิจก็จะเปลี่ยนไปเป็น เศรษฐกิจที่ขับเคลื่อนด้วย compute
  • สิ่งที่คนรุ่นใหม่ควรเรียนรู้

    • สำหรับนักเรียนมัธยม นักศึกษา และคนที่อยู่ช่วงเริ่มต้นอาชีพ ทักษะสำคัญคือการใช้ AI อย่างลึกซึ้ง และเข้าใจ วิธีดึงศักยภาพจาก AI ให้ได้สูงสุด
    • เขามองว่าในอนาคตเราอาจไปสู่โลกที่ทุกคนเป็นผู้จัดการของเอเจนต์ และไกลไปกว่านั้นคือเป็น CEO ของบริษัท AI อัตโนมัติ
    • สามารถจินตนาการถึงสถานการณ์ที่แรงงานของบริษัทขนาด 100,000 คน ทำงานให้คุณตลอด 24 ชั่วโมงได้ และสิ่งนี้ต้องอาศัยโทเค็นและ compute
    • การที่ทุกคนเข้าถึง compute ได้ เป็นโจทย์สำคัญที่โลกต้องแก้ให้ถูกต้อง
    • ทักษะที่สำคัญในอนาคตคือการรู้วิธีใช้ AI การนำเทคโนโลยีต่าง ๆ มาจัด组合ใหม่ การโต้ตอบและบริหารเอเจนต์ และการเข้าใจว่าตัวเองต้องการอะไรและมีเป้าหมายอะไร
  • ความเสี่ยงและอนาคตที่พึงปรารถนา

    • ที่ผ่านมาเทคโนโลยีมักบังคับให้มนุษย์ต้องบิดร่างกายและวิถีชีวิตให้เข้ากับเครื่องจักร ภาพของการนั่งพิมพ์อยู่หน้ากล่องสี่เหลี่ยมจนเป็น carpal tunnel syndrome และไหล่งุ้ม ไม่ใช่สิ่งที่เป็นธรรมชาติต่อมนุษย์
    • ต่อจากนี้เราจะเคลื่อนไปสู่โลกที่ไม่ได้เป็น มนุษย์ทำงานด้วยคอมพิวเตอร์ แต่เป็น คอมพิวเตอร์ทำงานให้มนุษย์ ซึ่งสร้างทั้งโอกาสและความเสี่ยงไปพร้อมกัน
    • หากเครื่องจักรเข้ามาช่วยให้มนุษย์บรรลุเป้าหมาย ก็ต้องกำหนดว่าจะประสานเป้าหมายที่ขัดแย้งกันอย่างไร และวางเส้นแบ่งว่า AI ควรช่วยอะไรและไม่ควรช่วยอะไร
    • ต้องหาวิธีว่า AI จะเข้ามาอยู่ในสังคมอย่างไร และทำอย่างไรให้ผลประโยชน์ไม่ตกอยู่กับบริษัทเดียวหรือกลุ่มเดียว แต่ช่วยยกระดับทุกคน
    • ต้อง ยกระดับพื้นฐานขั้นต่ำ เพื่อให้ทุกคนเข้าถึงชีวิตที่ดี เทคโนโลยีนี้ และสามารถใช้มันทำบางสิ่งได้ และเมื่อเป็นเช่นนั้น เพดานก็จะสูงขึ้นตามไปด้วย
    • ในด้านการเข้าถึงบริการสุขภาพ เขามองว่าโลกที่ทุกคนมีแพทย์ในกระเป๋าซึ่งเก่งกว่าทีมแพทย์ใด ๆ ในปัจจุบันนั้นเป็นไปได้
    • การเปลี่ยนแปลงแบบนี้เป็นการเปลี่ยนแปลงเชิงทำลายล้าง และไม่ได้เกิดขึ้นฟรี ๆ อีกทั้งความผิดพลาดระยะแรกก็เริ่มปรากฏแล้ว
    • เขามองว่าในช่วง 2 ปี ข้างหน้า มันอาจเป็นพลังเพื่อความดีได้ แต่หากต้องการไปถึงศักยภาพด้านบวกนั้น ก็ต้องยอมรับทั้งรูปแบบที่มันอาจผิดพลาดและความเสี่ยงต่าง ๆ ไปพร้อมกัน
  • มาตรฐานส่วนตัวและนิยามของความสำเร็จ

    • การเขียนงานวิจัย การได้รับการอ้างอิง และการเป็นที่จับตามองในงานประชุมวิชาการ เพียงเท่านี้ยังไม่ทำให้บรรลุภารกิจได้ แต่ต้องเชื่อมโยงกับคำถามว่า “กิจกรรมนั้นทำให้ AGI มุ่งไปในทิศทางที่ดีกว่าสำหรับโลกอย่างไร” จึงจะเพียงพอ
    • ตามคำพูดของ Ilya มีมุมมองว่า “ต้องเผชิญความเจ็บปวด” และถ้าไม่มีความเจ็บปวด ก็แทบหมายความว่าเราไม่ได้กำลังสร้างคุณค่าอยู่
    • เขามองว่าวิธีทำงานของ OpenAI ไม่ใช่การปิดบังปัญหาแล้วเดินหน้าต่ออย่างไม่ลืมหูลืมตา แต่ใกล้เคียงกับการเผชิญหน้าความจริงที่ยากลำบากและทำความเข้าใจความเป็นจริงตามที่มันเป็น
    • ความหมายของ AI ที่อยากสื่อถึงคนที่ไม่ได้อยู่สายเทคนิค คือมันจะช่วยชีวิตส่วนตัวของผู้คน ผลักดันวิทยาศาสตร์และการแพทย์ให้ก้าวหน้า และเป็น พลังเพื่อความดี ที่ช่วยยกระดับทุกคน
    • ความสำเร็จคือ พันธกิจของ OpenAI นั่นคือการทำให้มั่นใจว่า AGI จะเป็นประโยชน์ต่อมวลมนุษยชาติทั้งหมด

1 ความคิดเห็น

 
GN⁺ 3 시간 전
ความคิดเห็นจาก Hacker News
  • จำได้ว่าสมัยก่อนนิตยสารคอมพิวเตอร์ทำมาเพื่อโปรแกรมเมอร์ และยังมีการลงรายการโค้ดด้วย
    แต่พอถึงจุดหนึ่งก็เอาแต่พูดเรื่องคดี IBM ปะทะ Microsoft แล้วหลังจากนั้นก็ดูเหมือนจะค้นพบสูตรสำเร็จด้วยการเอาแต่เมาท์การเมืองภายในของบริษัทคอมพิวเตอร์ พวกข่าวบริษัทชนบริษัทแบบนี้น่าเบื่อ และเหมือนเรียลลิตี้ทีวีของวงการเทค คืนนี้ Debra จะตกรอบหรือ Deborah จะตกรอบ อะไรทำนองนั้น

    • จำได้ตอนที่ Wired เปลี่ยนบรรณาธิการ หลังจาก Chris Anderson ออกไป มันก็กลายเป็น “GQ ที่พูดเรื่อง iPhone”
    • ในวงการ “เทค” มีอยู่สองโลก และเทคในความหมายของคนสายแฮ็กเกอร์ก็ไม่เหมือนเทคที่คนทั่วไปพูดถึง
      ฝั่งที่คนทั้งโลกมองเห็นนั้นใกล้เคียงกับระดับเงิน อำนาจ อิทธิพล และการวางแผนเบื้องหลังแบบบ้าคลั่งที่เทคทำให้เกิดขึ้น มากกว่าจะเป็นตัวเทคโนโลยีจริงๆ ยุค IBM ปะทะ Microsoft ก็ใหญ่แล้ว แต่ขนาดของยุค OpenAI ตอนนี้เกินจินตนาการไปมาก ยังมีคนอีกรุ่นที่เชื่อมโยงกับสายวิศวกรรม/เทคก็เพราะสนใจอีกด้านนั้นเท่านั้น คิดถึงยุค Byte magazine
  • ถ้าไม่อยากฟังทั้งหมด ดูตรงนี้ได้: https://apecast.app/podcast/the-knowledge-project/episode/op...

  • ยังมีไดอารีส่วนตัวที่ถูกเปิดเผยออกมาในคดีของ Musk ซึ่งแสดงให้เห็นว่า Brockman มองอดีตอย่างไร
    ตัวอย่างเช่นมีประโยคอย่าง “Financially what will take me to $1B?” อยู่ด้วย อนึ่ง Musk แพ้คดีเพราะยื่นช้าเกินไป

    • ถ้าไดอารีส่วนตัวทั้งหมดถูกเปิดเผยออกมาแล้วสิ่งที่แย่ที่สุดมีแค่นั้น ก็ถือว่ายังโอเคอยู่
  • ไม่เข้าใจว่าทำไมไม่มีใครถามถึงความคิดจริงๆ ของ Ilya
    ตรงที่เขาไล่ Sam ออก แล้วต่อมากลับไปเซ็นจดหมายแสดงจุดยืนร่วมว่าจะออกจาก OpenAI ถ้า Sam ถูกไล่ออกต่อ มันชวนงง ข้อมูลอื่นๆ นอกจากนั้นดูเหมือนแค่แตะผิวเผิน

    • ส่วนหนึ่งของเกมตอบโต้คือ Microsoft พยายามให้เห็นว่าถ้ายังยืนยันการปลดออก ก็จะรับคนเข้าทำงานเป็นรายบุคคลแม้ไม่มีองค์กรเดิมแล้ว และจะชดเชยมูลค่าหุ้นที่มีโอกาสเพิ่มขึ้นซึ่งสูญเสียไป
      ในทางปฏิบัติน่าจะทำได้ยากกว่ามาก แต่ก็อาจทำให้คนเชื่อว่านั่นคือผลลัพธ์ที่เลี่ยงไม่ได้
    • ใช่ ควรถามเรื่องนั้น แล้วก็ยังไม่เข้าใจอยู่ดีว่าทำไมหลังจากเขี่ย Sam ออกไปแล้ว บอร์ดถึงลาออกกันหมด
  • ไม่รู้เหมือนกันว่าทำไม แต่ตอนนี้ฟังแล้วรู้สึกว่าตอนนี้ค่อนข้างน่าเบื่อ
    น่าจะเพราะแทบไม่ได้แชร์อะไรที่คาดไม่ถึงหรือไม่เคยรู้มาก่อนเลย

    • เดิมคิดว่าคงมีแต่เรื่องที่รู้อยู่แล้ว แต่กลับได้รู้อะไรใหม่ๆ เยอะกว่าที่คิด เลยสนุกกว่าที่คาด
  • เรื่องนั้นคงไม่ได้ฆ่า OpenAI หรอก ตรงกันข้าม มันน่าจะทำให้เข้าที่เข้าทางมากกว่า

    • ผู้ชนะเป็นคนเขียนประวัติศาสตร์
  • สิ่งที่น่าสนใจคือพวกเขาแทบจะเจอคำตอบโดยบังเอิญ pretraining คือการเรียนรู้แบบไม่กำกับดูแลขนาดใหญ่ และ RLHF ก็คือการเรียนรู้แบบเสริมกำลัง แค่ตอนนั้นยังไม่รู้สูตรเท่านั้น

    • pretraining ไม่ใช่การเรียนรู้แบบไม่กำกับดูแล แต่เป็นการเรียนรู้แบบกำกับตนเอง ดังนั้นจึงมีข้อจำกัดด้านการขยายสเกลมากกว่าเล็กน้อย
  • ไม่เข้าใจว่าทำไมองค์กรไม่แสวงหากำไรถึงทำอะไรแบบนี้ได้
    แบบนี้มันไม่กลายเป็นบรรทัดฐานเหรอว่าองค์กรไม่แสวงหากำไรจริงๆ แล้วไม่ได้มีความหมายอะไร จะใช้โครงสร้างที่ได้เปรียบไปก่อน แล้วค่อยเปลี่ยนตอนถึงเวลาที่ตัวเองจะรวยก็ได้

    • น่าจะช่วยได้ถ้าระบุให้ชัดว่ามองว่าปัญหาอยู่ตรงไหน
      OpenAI ก่อตั้งเป็นองค์กรไม่แสวงหากำไรใน Delaware เมื่อปี 2015 และในปี 2017 หลังค้นพบกฎการขยายสเกล ก็พบว่าต้องใช้คอมพิวต์และเงินทุนมากกว่าที่คาดไว้มาก หลังจากนั้นจึงมีการเจรจาปรับโครงสร้างเพื่อระดมทุนเพิ่ม โดยผู้ก่อตั้งคนอื่นไม่ยอมให้ Musk มีอำนาจควบคุม ทำให้ Musk ออกไป ปี 2018 แม้ Elon จะหยุดสนับสนุนแล้วก็ยังพยายามเร่งการระดมทุนอย่างมาก แต่ระดมได้เพียง 50 ล้านดอลลาร์จากเป้าหมาย 100 ล้านดอลลาร์ ปี 2019 จึงตั้งบริษัทย่อยแบบ capped-profit เพื่อดึงเงินทุนเชิงพาณิชย์เข้ามา โดยองค์กรไม่แสวงหากำไรจ้างผู้ประเมินอิสระมาตีมูลค่าทรัพย์สินทางปัญญา แล้วโอนไปยังนิติบุคคลแสวงหากำไรในมูลค่ายุติธรรมราว 60 ล้านดอลลาร์ เพื่อแลกกับสิทธิที่จะได้รับผลตอบแทนจากการลงทุนในทรัพย์สินทางปัญญาเดิมสูงสุด 100 เท่า หรือสูงสุด 6 พันล้านดอลลาร์เมื่อมีผลกำไร และยังมีสิทธิในกำไรส่วนที่เหลือหลังนักลงทุนในอนาคตแตะเพดานผลตอบแทนแล้ว Microsoft ลงทุน 1 พันล้านดอลลาร์ในปี 2019, 2 พันล้านดอลลาร์ในปี 2021 และ 1 หมื่นล้านดอลลาร์ในปี 2023 โดยแต่ละรอบมีเพดานผลตอบแทน 20 เท่าหรือ 6 เท่า ทำให้ยอดชำระคืนเป้าหมายรวมอยู่ที่ 9.2 หมื่นล้านดอลลาร์ ในปี 2025 มีการปรับโครงสร้างทุนจาก capped-profit ไปเป็นpublic benefit corporation ที่มีหุ้นแบบดั้งเดิม โดยองค์กรไม่แสวงหากำไรยกสิทธิในกำไรส่วนที่เหลือและเพดานผลตอบแทน 100 เท่าจากการโอน 60 ล้านดอลลาร์เดิม แลกกับหุ้น 26% ในบริษัทแสวงหากำไร ซึ่งปัจจุบันมีมูลค่าประมาณ 2 แสนล้านดอลลาร์ ข้อมูลนี้มาจากบันทึกคดี Musk v. Altman และสรุปได้ว่าองค์กรไม่แสวงหากำไรได้เปลี่ยนทรัพย์สินทางปัญญามูลค่าราว 60 ล้านดอลลาร์ในปี 2019 ให้กลายเป็นสิทธิในกำไรอนาคตมูลค่า 6 พันล้านดอลลาร์ และหลังการปรับโครงสร้างทุนก็ถือหุ้นมูลค่า 2 แสนล้านดอลลาร์ มีหลายคนในเธรดนี้ที่มองว่าองค์กรไม่แสวงหากำไรไม่มีอยู่แล้ว แต่ไม่จริง
    • ช่วงนี้หลายอย่างที่ไม่ควรเกิดขึ้นก็เกิดขึ้นจริงบ่อย
    • เดิมทีองค์กรไม่แสวงหากำไรก็สามารถมีบริษัทย่อยแสวงหากำไรที่ตนถือครองได้อยู่แล้ว
    • องค์กรไม่แสวงหากำไรส่วนใหญ่ไม่ได้มีพันธกิจหรือโอกาสในการขายผลิตภัณฑ์ระดับพันล้านที่จะได้ประโยชน์จากการเปลี่ยนโครงสร้าง ต่อให้อยากทำก็คงไม่มีวิธีทำกำไรได้จริง
    • สตาร์ทอัพส่วนใหญ่จริงๆ แล้วทำกำไรไม่ได้ และองค์กรไม่แสวงหากำไรก็แจกหุ้นไม่ได้ด้วย เลยไม่ใช่โครงสร้างที่ได้เปรียบอะไรนัก
  • ในเชิงมารยาทขอพูดหน่อยว่า ตอนนี้บริษัท AI ที่สำคัญที่สุดคือAnthropic

    • ตอนนี้บริษัท AI ที่ถูกประเมินค่าสูงเกินจริงที่สุดคือ Anthropic โมเดลไม่ได้ดีที่สุด แต่การตลาดเก่งแน่นอน
    • คนประเมิน Google/DeepMind ต่ำเกินไป ทั้งที่งานวิจัยแกนหลักยุคแรกจำนวนมาก รวมถึงการคิดค้นTransformerซึ่งเป็นรากฐานของบริษัท AI อื่นๆ ก็ออกมาจากที่นั่น
    • รู้สึกแรงมากว่า OpenAI สูญเสียความเป็นผู้นำไปแล้ว หลายเดือนมานี้ไม่เคยใช้แม้แต่แอปของพวกเขา ไม่ต้องพูดถึงโมเดลเลย