ณ ตอนนี้ ผมไม่เห็นเหตุผลว่าทำไมจึงไม่ควรให้ความเชื่อถือขั้นต่ำกับ Jeff Dean ในทันที ผลงานของเขาแทบไม่มีใครเทียบได้ และเขายังทำงานอย่างแข็งขัน มีเรื่องอะไรที่ทำให้ชื่อเสียงของเขามัวหมองหรือ? บางครั้งตัวผู้ส่งสารเองก็มีน้ำหนักในตัวมัน
ในกรณีนี้เขาดูเหมือนจะไปอยู่ข้างเดียวกับคนผิดกลุ่ม เขาเป็น system builder โดยพื้นฐาน ไม่ใช่ผู้เชี่ยวชาญด้านการออกแบบชิปหรือ EDA และพูดอย่างเคร่งครัดก็ไม่ใช่นักวิจัย machine learning ด้วย
บางคนอาจมองว่าเขาถูกนักต้มตุ๋นหนุ่มผู้มีคาริสมาเกี่ยวพันเข้าไป และตอนนี้ก็ถลำลึกเกินกว่าจะถอยได้แล้ว การทุ่มเทกับโปรเจกต์นี้ก็ไม่ได้ช่วยสถานะของเขาภายใน Google ด้วย เรื่องสำคัญทั้งหมดเมื่อปีที่แล้วถูกโอนไปให้ Demis และเขาเหลือเพียงตำแหน่งที่ใกล้เคียงกับตำแหน่งกิตติมศักดิ์เท่านั้น เมื่อคิดถึงผลงานของเขาแล้วก็น่าเสียดายทีเดียว
ตอน Jeff Dean บรรยายในปี 2020, 2021, 2022 ความเชื่อถือแบบนั้นยังสมเหตุสมผล แต่ตอนนี้เขาตอบโต้ความกังขาของชุมชน EDA ด้วย การโจมตีตัวบุคคลที่ไม่เป็นวิชาการ และการอ้างอย่างคลุมเครือว่ามี “หลายบริษัท” ใช้งานอยู่
ตอนนี้ผมคิดว่าเราผ่านจุดของการสันนิษฐานโดยสุจริตไปแล้ว และเข้าสู่พื้นที่ที่สามารถสงสัยได้อย่างมาก
การอ้างว่ามีอคติเพราะนายจ้างของนักวิจารณ์นี่น่าขำจริง ๆ เหมือนกับว่าการทำงานที่ Google ไม่มีผลประโยชน์ทับซ้อนเลย
Google ไม่ใช่บริษัทที่พยายามอวดเกินจริงอย่างสิ้นหวังกับการพัฒนา AI แบบ “ฉันก็ทำได้เหมือนกัน” ทุกอย่างเพื่อดันราคาหุ้นหรอกหรือ? Jeff ดูเหมือนจะดื่ม Kool-Aid เข้าไปมากจนลืมไปแล้วว่าน้ำคืออะไร
หลักฐานขั้นสุดท้ายของ Google คือการทำ ชิปที่ดีกว่า คู่แข่ง ตอนนี้ยังทำไม่ได้
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ได้เพิ่มภาคผนวกไว้ท้ายบทความที่เขียนเกี่ยวกับ AlphaChip (https://vighneshiyer.com/misc/ml-for-placement/) โดยครอบคลุมคำโต้แย้งของ Google และ อัลกอริทึม AlphaChip โดยรวม
สรุปคือ ผมเห็นว่าผู้เขียนบทความใน Nature มีข้อวิจารณ์ที่สมเหตุสมผลบางส่วนต่อระเบียบวิธีการฝึกของผู้เขียน ISPD แต่ AlphaChip ยังมีต้นทุนการคำนวณและเวลารันสูงเกินไปเมื่อเทียบกับ commercial automatic floorplanner และ AutoDMP จนมีความสามารถในการแข่งขันต่ำ อย่างไรก็ตาม ผู้เขียน ISPD ควรออกงานวิจัยที่เข้มงวดกว่านี้ซึ่งตอบข้อวิจารณ์ทั้งหมดของผู้เขียน Nature และแม้เพียงการประเมิน checkpoint ที่ผ่านการ pre-train ซึ่ง Google เปิดเผยออกมา ก็จะเป็นข้อมูลที่มีประโยชน์ต่อข้อถกเถียงนี้
แค่เหตุผลข้อนี้ข้อเดียวก็ดูเพียงพอที่จะตั้งข้อสงสัยต่อ ความถูกต้องของข้อสรุปในงานวิจัย ISPD แล้ว จึงอยากทราบว่าคุณมองอย่างไร อีกอย่าง คอมเมนต์นี้มีท่าทีเป็นกลาง แต่ในบทความกลับใช้น้ำเสียงแรงกว่ามากกับผู้เขียน AlphaChip เช่น “arrogance”, “disdain”, “hyperbole”, “belittling”, “hostile” และเรียกรองประธานของ Synopsys ว่า “excellent” จึงอยากทราบด้วยว่าความแตกต่างนี้มาจากไหน
บนคลาวด์ GPU มีราคาประมาณชั่วโมงละ 1–2 ดอลลาร์ ดังนั้น inference จะอยู่ราว 100–200 ดอลลาร์ และ pre-training ราว 800–1600 ดอลลาร์ อีกทั้งต้นทุน pre-training ยังถูกเฉลี่ยไปกับชิปหลายตัว ราคาคลาวด์ถือว่าใกล้เพดานบน และแล็บวิทยาการคอมพิวเตอร์ส่วนใหญ่ก็มีทรัพยากร on-premise มากกว่านี้มาก ในภาคอุตสาหกรรม ต้นทุนแบบนี้เล็กมากเมื่อเทียบกับต้นทุนส่วนที่เหลือของกระบวนการออกแบบชิป และแค่ค่าไลเซนส์ซอฟต์แวร์ EDA เชิงพาณิชย์ก็อยู่ในระดับหลายล้านดอลลาร์แล้ว
ณ ตอนนี้ ผมไม่เห็นเหตุผลว่าทำไมจึงไม่ควรให้ความเชื่อถือขั้นต่ำกับ Jeff Dean ในทันที ผลงานของเขาแทบไม่มีใครเทียบได้ และเขายังทำงานอย่างแข็งขัน มีเรื่องอะไรที่ทำให้ชื่อเสียงของเขามัวหมองหรือ? บางครั้งตัวผู้ส่งสารเองก็มีน้ำหนักในตัวมัน
บางคนอาจมองว่าเขาถูกนักต้มตุ๋นหนุ่มผู้มีคาริสมาเกี่ยวพันเข้าไป และตอนนี้ก็ถลำลึกเกินกว่าจะถอยได้แล้ว การทุ่มเทกับโปรเจกต์นี้ก็ไม่ได้ช่วยสถานะของเขาภายใน Google ด้วย เรื่องสำคัญทั้งหมดเมื่อปีที่แล้วถูกโอนไปให้ Demis และเขาเหลือเพียงตำแหน่งที่ใกล้เคียงกับตำแหน่งกิตติมศักดิ์เท่านั้น เมื่อคิดถึงผลงานของเขาแล้วก็น่าเสียดายทีเดียว
ตอนนี้ผมคิดว่าเราผ่านจุดของการสันนิษฐานโดยสุจริตไปแล้ว และเข้าสู่พื้นที่ที่สามารถสงสัยได้อย่างมาก
ผมสงสัยว่าทำไมข้อถกเถียงนี้ถึงมีอารมณ์และความขุ่นเคืองมากขนาดนี้ การถกเถียงทางวิชาการที่น่าเบื่ออย่าง benchmark หรือ significance กลายเป็น ศึกโจมตีตัวบุคคล ได้อย่างไร?
คำพูดอย่าง “AI ออกแบบ AI… ไม่สิ ออกแบบชิป” ฟังดูล้ำยุคสำหรับคนสายศิลป์ และดูเหมือนว่าจะเป็นแบบนั้นแม้แต่กับโปรแกรมเมอร์ที่ควรสงสัยทุกอย่างที่เรียกว่า “AI” ด้วย เริ่มตั้งแต่การส่งลง Nature กระบวนการตีพิมพ์ทั้งหมดดูไม่ซื่อสัตย์ ทำไมไม่ไปลงที่อย่าง ISCCC?
ผลก็คืองานวิจัย AI สมัยใหม่กำลังเผชิญ วิกฤตการทำซ้ำผลลัพธ์ ที่รุนแรงกว่าสังคมศาสตร์มาก ทั้งที่มีข้อแก้ตัวที่ชอบธรรมน้อยกว่ามาก ถ้า Google ไม่ได้โกหก แค่เปิดเผยข้อมูล benchmark ให้บุคคลอิสระตรวจดูได้ ข้อถกเถียงจำนวนมากก็คงหายไป แต่พวกเขายังคงปฏิเสธอยู่: https://cacm.acm.org/news/updates-spark-uproar/ ดูเหมือน Google คิดว่าควรยอมรับข้อสรุปของตนโดยอาศัยอำนาจบารมีเท่านั้น อีกทั้งบทความที่หลุดออกมาของ Satrajit Chatterjee ผู้แจ้งเบาะแสภายในที่ Google ไล่ออกในปี 2022 ยังบอกว่าความได้เปรียบ “30–35%” ของ RePlAce สอดคล้องกับผลลัพธ์ที่หักล้างข้อกล่าวอ้าง “เหนือมนุษย์” ที่ Google เสนอในตอนนั้นเกี่ยวกับแนวทาง AI สำหรับการออกแบบชิป “การโจมตีตัวบุคคล” ต่อ Jeff Dean นั้นเหมาะสมอย่างยิ่ง เพราะแก่นของคำวิจารณ์อยู่ที่บุคลิกของเขาว่าไม่ซื่อสัตย์และใช้อำนาจนิยม เขาตีพิมพ์งานวิจัยที่น่าสงสัยและไล่คนที่คัดค้านออก
[1] การที่ Jeff Dean เยาะเย้ยบทความวิจารณ์เพียงเพราะมันเป็นบทความประชุมนั้นน่าขยะแขยงเป็นพิเศษ เป็นทัศนคติที่แย่จนไม่น่าเชื่อ
ตามทวีตของ Jeff Dean ระบุว่า Cheng และคณะไม่ได้ปฏิบัติตามขั้นตอนที่จำเป็นเพื่อทำซ้ำงานของนักวิจัย Google
โดยเฉพาะอย่างยิ่ง เขากล่าวว่า “ผู้เขียนไม่ได้ทำ pre-training เลย และทั้งที่ในบทความ Nature มีการกล่าวถึง pre-training ถึง 37 ครั้ง จึงทำให้วิธีการแบบอิงการเรียนรู้ถูกตัดความสามารถในการเรียนรู้จากการออกแบบชิปอื่น ๆ ไป” แต่ในที่เก็บ Circuit Training ของ Google[1] ระบุไว้ว่า “ผลลัพธ์จากการฝึกตั้งแต่ต้นนั้นใกล้เคียงหรือดีกว่าผลลัพธ์ในบทความที่ fine-tune โมเดลที่ผ่าน pre-training มา” ผมอาจเข้าใจอะไรผิดก็ได้ แต่ตกลงเป็นอย่างไหนกันแน่? พังเพราะไม่ได้ทำ pre-training หรือว่าเป็นความพยายามทำซ้ำอย่างเป็นธรรมตาม “ขั้นตอน” ที่เขียนไว้ในที่เก็บเดิม? เมื่อดูจากที่กลุ่ม UCSD ต้อง reverse engineer หลายขั้นตอน ก็ดูเหมือนว่าผลลัพธ์ในบทความอย่างเดียวไม่สามารถทำซ้ำได้
[1]: https://github.com/google-research/circuit_training/blob/mai...
นอกจากนี้ ในสถานการณ์ที่มี benchmark จำนวนน้อย การใช้โมเดล pre-training ของ Google ที่ไม่ทราบที่มาอาจให้ผลเสียได้ Google น่าจะฝึกด้วย benchmark ทั้งหมดที่มีอยู่ แล้วทำให้มันคายคำตอบที่เหมาะที่สุดของเครื่องมือเชิงพาณิชย์ออกมา
ถ้าเป็นอย่างนั้นก็ไม่ขัดแย้งกัน เป็นความแตกต่างระหว่างวิธีที่ pre-train ด้วยการออกแบบในอดีตแล้ว fine-tune ด้วยการออกแบบใหม่ กับวิธีที่ฝึกโดยผสมข้อมูลทั้งหมดตลอดช่วงเวลาตั้งแต่ต้น การ fine-tune อาจทำให้เกิด catastrophic forgetting ได้ และทั้งสองแบบอาจให้ประสิทธิภาพดีกว่าการไม่รวมการออกแบบในอดีตเลย
ความสับสนอาจเกิดจากการที่ในตัวอย่างนั้นกล่าวว่าได้ผลลัพธ์ใกล้เคียงกับผลลัพธ์แบบ pre-training ในบทความ แต่ชัดเจนว่านี่ไม่ได้เป็นการปฏิเสธ pre-training โดยรวม หาก Cheng และคณะรู้สึกว่าคลุมเครือจริง ๆ ก็ควรสอบถามผู้เขียนสำหรับติดต่อ ถ้ารู้สึกว่าต้อง “reverse engineer” บางส่วนของที่เก็บ ก็ควรถามเรื่องนั้นด้วย
บทความที่เกี่ยวข้อง มีอันอื่นอีกไหม?
AI Alone Isn't Ready for Chip Design - https://news.ycombinator.com/item?id=42207373 - พฤศจิกายน 2024, 2 ความคิดเห็น
That Chip Has Sailed: Critique of Unfounded Skepticism Around AI for Chip Design - https://news.ycombinator.com/item?id=42172967 - พฤศจิกายน 2024, 9 ความคิดเห็น
Reevaluating Google's Reinforcement Learning for IC Macro Placement (AlphaChip) - https://news.ycombinator.com/item?id=42042046 - พฤศจิกายน 2024, 1 ความคิดเห็น
How AlphaChip transformed computer chip design - https://news.ycombinator.com/item?id=41672110 - กันยายน 2024, 194 ความคิดเห็น
Tension Inside Google over a Fired AI Researcher’s Conduct - https://news.ycombinator.com/item?id=31576301 - พฤษภาคม 2022, 23 ความคิดเห็น
Google is using AI to design chips that will accelerate AI - https://news.ycombinator.com/item?id=22717983 - มีนาคม 2020, 1 ความคิดเห็น
บริบทของคำตอบจาก Jeff Dean อยู่ที่นี่
https://news.ycombinator.com/item?id=41673769
https://news.ycombinator.com/item?id=41673808
เรื่องที่การจ้างคนผิดคนอาจแพงได้แค่ไหนนั้นชวนขำจนเหลือเชื่อ: https://www.wired.com/story/google-brain-ai-researcher-fired...
มีการกล่าวว่าประโยค “เพื่อให้ชัดเจน ไม่มีหลักฐานให้เชื่อว่า RL ดีกว่าระดับ state-of-the-art ในแวดวงวิชาการ หรือดีกว่า macro placer เชิงพาณิชย์ที่แข็งแกร่งที่สุด ส่วนการเปรียบเทียบกับอย่างหลังนั้นแย่มากจนในหลายกรณี เครื่องมือเชิงพาณิชย์ไม่ได้รันด้วยซ้ำเพราะปัญหาการติดตั้ง” เป็นภาพแคปหน้าจอจากการนำเสนอภายในของ Jeff Dean https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf ในฐานะคนนอก เป็นเรื่องยากมากที่จะตัดสินว่า Chatterjee เป็นการจ้างงานที่แย่และแพง ผู้ซึ่งกดผลลัพธ์ดี ๆ ของเพื่อนร่วมงานไว้ หรือเป็นพนักงานที่มีคุณค่าสูงมากที่พยายามหยุดการนำเสนอที่เป็นเท็จ
เขายังทำงานวิจัยภายในร่วมกับ Markov ด้วย แต่ผู้เขียน AlphaChip อธิบายไว้แบบนี้: ในปี 2022 คณะกรรมการอิสระของ Google ได้ตรวจสอบและตัดสินว่า “ข้อกล่าวอ้างและข้อสรุปในร่างไม่ได้รับการสนับสนุนทางวิทยาศาสตร์ด้วยการทดลอง” และเมื่อ “ผลลัพธ์ชุดข้อมูลดั้งเดิมของ [AlphaChip] ถูกทำซ้ำได้อย่างอิสระ ผลลัพธ์ RL ของ [Markov et al.] ก็ถูกตั้งข้อสงสัย” ผู้เขียนบอกว่าพวกเขาให้สคริปต์บรรทัดเดียวแก่คณะกรรมการ ซึ่งสร้างผลลัพธ์ RL ได้ดีกว่าที่ Markov และคณะรายงานไว้มาก และผลลัพธ์นี้ยังดีกว่า baseline แบบ simulated annealing ที่ “แข็งแกร่งกว่า” ของพวกเขาด้วย พวกเขาบอกว่ายังไม่รู้จนถึงตอนนี้ว่า Markov และผู้เขียนร่วมสร้างตัวเลขในเปเปอร์นั้นขึ้นมาอย่างไร
(https://arxiv.org/pdf/2411.10053)
วิธีที่ดีที่สุด และอาจเป็นวิธีเดียวที่จะลดเรื่องนี้ได้ คือแรงจูงใจ การควบคุม และวัฒนธรรมภายใน ถ้าคุณกดดันอย่างหนักให้ต้องมีการปรับปรุงไม่รู้จบทีละกี่เปอร์เซ็นต์ในทุกรอบ แล้วเลื่อนตำแหน่งคนที่นำผลงานมาอย่างสม่ำเสมอโดยไม่ตรวจสอบตั้งแต่แรกว่าผลงานนั้นมีอยู่จริงหรือไม่ สุดท้ายไม่ว่าจะอยู่ในสเกลไหนก็จะเกิดเรื่องแบบเดียวกันได้ ไม่ว่าจะเป็นทีมเล็ก ๆ แผนก บริษัท เฮดจ์ฟันด์ที่ถือบริษัทเหล่านั้นจำนวนมาก fund of funds ของกองทุนเหล่านั้น หรือรัฐบาลกลาง ไม่นานผู้นำก็จะถูกคนไร้สำนึกแทรกซึมเข้าไปอย่างมาก เรื่องอื้อฉาวด้านการตีพิมพ์ในแวดวงวิชาการที่เกิดขึ้นต่อเนื่อง และเหตุการณ์นับไม่ถ้วนในวงการการเงินคือตัวอย่าง Holmes กับ SBF อยู่ในคุกแล้ว แต่คนกลุ่มเดียวกับผู้ที่ให้เงินสนับสนุนพวกเขายังคงอยู่บนจุดสูงสุดของอิทธิพล แถมยังพกอุดมการณ์นั้นไปด้วยและมีทนายที่ดีกว่าเดิม มีคำโบราณว่า “ปลามักเน่าจากหัวก่อน” เมื่อเห็นความน่าสงสัยสารพัดอย่างและเรื่องอื้อฉาวไม่หยุดหย่อนจากผู้นำเชิงสัญลักษณ์ของอุตสาหกรรม STEM แล้วถ้าพูดว่า “ทำดีแล้ว ชนะระบบได้แล้ว” ก็ยากที่จะคาดหวังผลลัพธ์อื่นนอกจากระเบียบเดิมที่ซื่อสัตย์และยุติธรรมถูกโจมตีทุกทิศทาง เราเองก็ลงคะแนนด้วยเท้าให้กับอุดมคติกึ่งศาสนาแบบ “อำนาจคือความชอบธรรม” มาตลอด และผมเองก็เคยเป็นส่วนหนึ่งของมันจนกระทั่งเลิกไปเพราะรู้สึกรังเกียจ มันถูกเรียกหลายชื่อ เช่น Objectivism, Effective Altruism, Capitalism แต่จริง ๆ แล้วก็ไม่ใช่ทุนนิยมแท้ ๆ ด้วยซ้ำ จึงไม่น่าแปลกใจที่ทุกอย่างเปื้อนสกปรกเหนียวเหนอะไปหมด ผมไม่ค่อยรู้ว่าคำตอบในวันนี้คืออะไร คงประมาณว่าทำงานกับบริษัทที่แย่น้อยกว่า เปิดโปงการละเมิดอย่างน้อยก็แบบไม่เปิดเผยตัวตน และฟังคำให้สัมภาษณ์ของผู้นำแล้วตรวจสอบอย่างละเอียด ผมอยากฟังข้อเสนออื่น ๆ ด้วย
เข้าใจได้ว่า Jeff ถูกกดดันให้ต้องตอบเรื่องนี้ เพราะผลงานวิจัยของ “Google Brain” แทบทั้งหมดมีชื่อเขาอยู่ด้วย
แต่แนวทางแบบ “พวกนั้นโง่เลยทำซ้ำไม่ได้ ดังนั้นมันทำซ้ำได้” ไม่ใช่การโต้แย้ง แต่เป็น การกลั่นแกล้ง มากกว่า ฟังดูเหมือนนักวิจารณ์ไปสะกิดจุดอ่อนไหวเข้า และเขาไม่มีวิธีดี ๆ ที่จะโต้แย้งปัญหาด้านการทำซ้ำได้ซึ่งงานวิจัยของเขาเผยให้เห็น
ทวีตแค่บอกว่าความพยายามทำซ้ำไม่ได้ทำตามวิธีการดั้งเดิมจริง ๆ ไม่มีคำว่าผู้เขียนความพยายามทำซ้ำเป็น “คนโง่” หรืออะไรทำนองนั้นเลย นั่นเป็นสิ่งที่แต่งขึ้นมาเองล้วน ๆ ส่วนตรรกะที่ผิดอย่างชัดเจนว่า “เพราะทำซ้ำไม่ได้ จึงทำซ้ำได้” ก็เป็นการปั้นเรื่องขึ้นมาทั้งหมด
Google ไม่ใช่บริษัทที่พยายามอวดเกินจริงอย่างสิ้นหวังกับการพัฒนา AI แบบ “ฉันก็ทำได้เหมือนกัน” ทุกอย่างเพื่อดันราคาหุ้นหรอกหรือ? Jeff ดูเหมือนจะดื่ม Kool-Aid เข้าไปมากจนลืมไปแล้วว่าน้ำคืออะไร
หลักฐานขั้นสุดท้ายของ Google คือการทำ ชิปที่ดีกว่า คู่แข่ง ตอนนี้ยังทำไม่ได้
คำวิจารณ์ว่า “ตอนทำซ้ำวิธีของเรา คุณใช้ทรัพยากรคอมพิวต์ไม่พอ” ทุกวันนี้ฟังแล้วขำอยู่บ้าง แน่นอนสิ ก็พวกคุณคือ Google นี่
มันฟังเหมือนบอกว่าถ้าไม่ได้เป็นเจ้าของคลาวด์ ก็ตรวจสอบวิธีวิทยาของเราไม่ได้ ต่อให้เป็นความจริงว่าคอมพิวต์ที่มากขึ้นและการ pretrain ที่มากขึ้นมีประโยชน์ ก็ไม่น่าแปลกใจ แต่แบบนั้นการตรวจสอบก็ยากขึ้น มีอีกด้านที่น่าสนใจด้วย Google มีทรัพยากรคอมพิวต์มหาศาล แต่ Synopsys มี ข้อมูล สำหรับฝึกจำนวนมหาศาล แน่นอนว่าเงื่อนไขสำคัญมากคือจะฝึกด้วยทรัพย์สินทางปัญญาของลูกค้าได้หรือไม่