การจากไปของ Cyc

 (yuxi-liu-wired.github.io)
1 คะแนน โดย GN⁺ 2025-04-09 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Cyc เป็นโครงการ AGI ที่อิงกับฐานความรู้สามัญสำนึก เริ่มต้นโดย Douglas Lenat ในปี 1984 โดยแม้จะมี assertions 30 ล้านรายการ ใช้งบ 200 ล้านดอลลาร์ และแรงงานรวมระดับ 2,000 คน-ปี ก็ยังไม่ทิ้งหลักฐานว่าบรรลุปัญญาทั่วไป
  • Lenat มองว่า AM และ EURISKO ใช้ฮิวริสติกตั้งต้นจนหมด จึงพยายามให้มนุษย์ป้อนข้อเท็จจริงและกฎสามัญสำนึกนับล้านรายการล่วงหน้าเพื่อให้ knowledge pump เริ่มทำงาน
  • Cyc มีทั้ง CycL, microtheory, เอนจินการให้เหตุผลราว 1,100 ตัว และการพาร์เซภาษาธรรมชาติแบบจำกัด แต่ไม่เคยไปถึงขั้นอ่านข้อความภาษาธรรมชาติและเรียนรู้ได้ด้วยตนเอง
  • การประยุกต์ใช้กับภาครัฐและเชิงพาณิชย์ที่ยืนยันได้ต่อสาธารณะ ได้แก่ Terrorism Knowledge Base, กรณีของ Cleveland Clinic, ความปลอดภัยเครือข่าย และการบูรณาการข้อมูล ซึ่งไม่ได้แตกต่างจากแนวทาง expert system และการสืบค้นข้อมูลแบบเดิมมากนัก
  • Cycorp มีเสถียรภาพทางการเงินระยะยาวและมีความสำเร็จเชิงพาณิชย์บางส่วน แต่ด้วยความปิด การไม่มี benchmark และการยุติ OpenCyc ทำให้อิทธิพลต่อวงการวิจัย AI ภายนอกและงานสืบค้นความรู้มีจำกัด

การประเมินหลักของ Cyc

  • Cyc เป็นโครงการ AGI แบบ symbolic AI ที่ Douglas Lenat ไล่ตามมาเป็นเวลา 40 ปี
    • เป้าหมายคือสร้างระบบที่เข้ารหัสความรู้สามัญสำนึกของมนุษย์ในรูปภาษาเชิงตรรกะขนาดใหญ่ แล้วทำการให้เหตุผลและการเรียนรู้บนฐานนั้น
    • โครงการขยายตัวจนมีขนาดประมาณ assertion 30 ล้านรายการ, 200 ล้านดอลลาร์, และ 2,000 คน-ปี
  • จุดเปลี่ยนที่ Lenat ประกาศซ้ำ ๆ ในท้ายที่สุดก็ไม่เกิดขึ้น
    • ในปี 2016 Lenat กล่าวว่่า Cyc ใกล้จะ “done” แล้ว แต่ก็ยังไม่เห็นหลักฐานของการเรียนรู้ด้วยตนเองหรือ AGI
    • แม้ตั้งสมมุติฐานว่า knowledge pump ถูก primed มาแล้ว 9 ปี ณ ปี 2025 ก็ยังไม่มีสัญญาณของการบรรลุ general intelligence
  • เอกสารเก็บถาวรเพิ่มเติมเกี่ยวกับ Cyc เผยแพร่อยู่ที่ cyc-archive

ตรรกะที่ต่อเนื่องจาก AM และ EURISKO ไปสู่ Cyc

  • จุดเริ่มของ Lenat คือโครงการวิทยานิพนธ์ปริญญาเอกปี 1976 ชื่อ Automated Mathematician(AM)
    • AM เริ่มจาก concept 115 รายการในทฤษฎีเซตและ heuristic rule ราว 250 ข้อ และเป็นที่รู้กันว่าสามารถค้นพบจำนวนธรรมชาติ จำนวนเฉพาะ และ Goldbach conjecture ได้อีกครั้ง
    • แต่ AM ไม่สามารถสร้างฮิวริสติกใหม่ได้ และเมื่อใช้ฮิวริสติกตั้งต้นหมดก็เจอข้อจำกัดแบบ “die of boredom”
  • ระบบถัดมา EURISKO เป็นความพยายามให้ระบบค้นพบฮิวริสติกด้วยตัวเอง
    • มันชนะการแข่งขัน Traveller’s The Trillion Credit Squadron tournament ในปี 1981 และ 1982 ด้วยการออกแบบกองเรือที่ไม่เป็นไปตามขนบ
    • ตามการประเมินของ Lenat, EURISKO เวอร์ชันสุดท้ายรันรวม 1,300 CPU-hours บน Xerox 1100 Lisp machine และชัยชนะใน Traveller เป็น “60/40% Lenat/EURISKO”
  • ในท้ายที่สุด EURISKO ก็หนี การหมดแรงของตัวเอง ไม่พ้น
    • การค้นพบ heuristic rule ด้วยตัวเองยังต้องพึ่ง meta-heuristic rule และ meta-heuristic เหล่านั้นก็เสื่อมพลังลงหลังใช้งานไม่กี่ครั้ง
    • Lenat จึงสรุปว่า หากจะสร้างอุปมาและไอเดียใหม่อย่างต่อเนื่องแบบมนุษย์ ต้องมี ความรู้สามัญสำนึก ปริมาณมหาศาล

การออกแบบของ Cyc และ knowledge pump

  • Cyc เริ่มต้นในปี 1984 ภายใน MCC และต่อมาสืบต่อมาเป็น Cycorp Inc.
    • แผนแรกคือเข้ารหัสบทความสารานุกรม 400 บทความด้วยมือในช่วง 1985–1988 และเข้ารหัส 30,000 บทความในช่วง 1988–1993 ก่อนนำไปใช้กับปัญหา AI และงานเชิงพาณิชย์
    • การประเมินเบื้องต้นคือระยะที่ 1 และ 2 ต้องใช้ 150 คน-ปี
  • จุดโฟกัสของโครงการเปลี่ยนจากการเข้ารหัส “หมึกดำ” ของสารานุกรมตามตัวอักษร ไปสู่การเข้ารหัส white space หรือสิ่งที่สารานุกรมถือเป็นนัยแต่ไม่ได้เขียนออกมา นั่นคือสามัญสำนึก
    • ปัญหาคือการจะเข้าใจประโยคอย่าง “Napoleon died in 1821. Wellington was greatly saddened.” ต้องอาศัยสามัญสำนึกเกี่ยวกับความตาย เวลา สงคราม ฝรั่งเศส และอารมณ์มนุษย์
  • อุปมาเรื่อง knowledge pump ของ Lenat กลายเป็นกลยุทธ์หลักของ Cyc
    • ช่วงแรกมนุษย์ต้องป้อนความรู้ให้โดยตรง
    • ยิ่งมีความรู้มากขึ้น ก็ยิ่งคาดว่าจะพาร์เซประโยคภาษาธรรมชาติเป็นตรรกะได้ดีขึ้น และลดการแทรกแซงของ ontologist ลง
    • หลังผ่านจุดหนึ่งไปแล้ว คาดว่า Cyc จะอ่านงานเขียน พูดคุยกับมนุษย์ และเพิ่มความรู้ของตัวเองต่อไปได้

CycL, microtheory และโครงสร้างการให้เหตุผล

  • องค์ประกอบหลักของ Cyc คือ CycL, ฐานความรู้ และเอนจินการให้เหตุผล
    • CycL มีพื้นฐานจาก SubLisp และมีทั้ง Epistemological Level(EL) ซึ่งเป็นภาษาระดับสูงที่มนุษย์อ่านเขียนได้ กับการแปลไปเป็น Heuristic Level(HL) เพื่อประสิทธิภาพในการให้เหตุผล
    • ประโยค EL หนึ่งประโยคอาจถูกแปลเป็นหลายประโยค HL และถูกจัดการโดยเอนจินการให้เหตุผลที่ต่างกัน
  • นิพจน์ CycL ใช้รูปแบบคล้าย Lisp คือ (#$relation <arg1> … <argn>)
    • ถ้า #$relation เป็น function จะเป็น term และถ้าเป็น predicate จะเป็น assertion หรือ sentence
    • relation พิเศษอย่าง #$implies, #$forAll, #$thereExists ถูกใช้เป็นกฎการให้เหตุผล
  • Cyc จัดแพ็ก assertion เป็น microtheory(Mt) หรือ context
    • “Socrates is alive” อาจเป็นจริงใน context ปี 500 BC แต่ไม่จริงใน context ปี 1995
    • ความเชื่อที่เข้ากันไม่ได้ เช่น #$ChristianMt และ #$IslamMt สามารถวางไว้คนละ context ได้
    • ณ ปี 2010 Cyc มี microtheory มากกว่า 20,000 รายการ เรียงเป็นลำดับชั้น และบางส่วนลึกถึง 50 levels
  • เอนจินการให้เหตุผลเพิ่มขึ้นจนอยู่ที่ราว 1,100 ตัว
    • เพราะ general inference engine ช้าเกินไป จึงมีการเพิ่ม heuristic module ที่เฉพาะกับแพตเทิร์นและ microtheory บางแบบอยู่เรื่อย ๆ
    • ตาม Lenat et al. 2007 มีโครงสร้าง 1 strategist, 4 tacticians, 1,097 workers
    • ในปี 2010 อธิบายว่าการปิดเอนจินการให้เหตุผลที่ทั่วไปที่สุดกลับเร็วกว่า จึงปิดการทำงานมันไปโดยสมบูรณ์

คอขวดที่ความเข้าใจภาษาธรรมชาติทิ้งไว้

  • ปัญหาการแปลงจาก CycL ไปเป็นภาษาธรรมชาติถูกวางไว้ค่อนข้างมากแล้วตั้งแต่ปลายทศวรรษ 1990
    • (#$genls #$Dog #$Mammal) สามารถแปลงเป็น “Dogs are mammals.” ได้
    • ผ่าน concept ของคำและ denotation assertion จึงเชื่อม English word กับ Cyc concept ได้
  • ในทางกลับกัน ปัญหา English → CycL ในการพาร์เซภาษาธรรมชาติให้เป็น CycL ยังคงยากอย่างต่อเนื่อง
    • Cyc NLP ใช้ระบบหลายชั้น เช่น keyword matching, extraction templates, syntax templates และ full syntax tree parsing
    • dictionary มี words and phrases ราว 200,000 รายการ พร้อม assertion อีกจำนวนมากกว่า
  • ตัวอย่าง English → CycL ที่เปิดเผยสู่สาธารณะมีน้อยมาก และใกล้เคียงกับประโยคง่าย ๆ
    • “A girl is on a white lounge chair”
    • “Bill Clinton sleeps.”
    • “An AI researcher is a kind of computer scientist.”
    • “Did you touch a blue object located in the capital of France on September 25th, 2022?”
  • แม้แต่ในงานร่วมชิ้นสุดท้ายของ Lenat กับ Gary Marcus คอขวดสุดท้ายก็ยังเป็น ความเข้าใจภาษาธรรมชาติ(NLU)
    • แต่ละ axiom ต้องให้มนุษย์ตรวจสอบความถูกต้องโดยปริยาย ความทั่วไป และการจัดวางใน microtheory ก่อนเข้าสู่ฐานความรู้
    • Cyc อ่าน interlingua อย่าง CycL ได้ แต่การพาร์เซ English ให้เป็น CycL ยังเป็นเรื่องยากต่อไป

การประยุกต์ใช้สาธารณะและการใช้งานเชิงพาณิชย์

  • Cycorp ดำเนินงานระยะยาวกับลูกค้าทางทหาร หน่วยข่าวกรอง และเชิงพาณิชย์
    • ภายในปี 2002 ค่าใช้จ่ายรวมอยู่ที่ 60 ล้านดอลลาร์ โดย 25 ล้านดอลลาร์มาจากกองทัพ
    • ตามการอ้างอิงปี 2005 หลังสัญญารัฐบาลสำคัญฉบับแรกในปี 1996 รายได้ของ Cycorp ราวครึ่งหนึ่งมาจากหน่วยงานรัฐบาลสหรัฐฯ และที่เหลือจากภาคธุรกิจ
  • กรณีการใช้งานที่เปิดเผยรายละเอียดพอสมควรต่อสาธารณะคือ Terrorism Knowledge Base(TKB) และกรณีของ Cleveland Clinic
    • TKB ถูกสร้างในปี 2004 และยุติในปี 2008
    • ประกอบด้วยผู้ก่อการร้ายมากกว่า 2,000 คน องค์กรก่อการร้ายมากกว่า 700 แห่ง การโจมตีก่อการร้ายมากกว่า 6,500 ครั้ง และ assertion มากกว่า 200,000 รายการ
    • ผู้ใช้ป้อนคำถามเป็นภาษาอังกฤษแบบเป็นทางการ แล้ว Cyc เสนอชิ้นส่วน CycL ให้ผู้ใช้เลือกเพื่อนำมาประกอบเป็นคำถามสมบูรณ์
  • Semantic Research Assistant(SRA) ของ Cleveland Clinic ถูกยืนยันว่ามีอยู่ในช่วง 2007–2010
    • เป็นระบบที่ตอบคำถามเกี่ยวกับ cardiothoracic surgery, cardiac catheterization และ percutaneous coronary intervention
    • ในโครงการต่อยอด SemanticDB ปี 2012 มีฐานข้อมูล semantic triples จำนวน 120 ล้านรายการและมีคำสั่งค้นแบบ SPARQL
    • Lenat กล่าวในการนำเสนอปี 2019 ว่าโครงการ Cleveland ต้องใช้ assertion ใหม่ 120,000 รายการ คิดเป็น 0.5% ของฐานความรู้ทั้งหมด
  • กรณีอื่นที่ยืนยันได้ ได้แก่ ความปลอดภัยเครือข่าย การบูรณาการข้อมูล อรรถาภิธานคำศัพท์การแพทย์และเภสัชกรรม การตรวจจับ insider trading การวิเคราะห์สาเหตุของ yield ในการผลิต การสนับสนุน IT และการจัดการสินค้าคงคลัง ตลอดจนการคาดการณ์ความล้มเหลวของสถานีปั๊มน้ำมัน
    • การใช้งานเหล่านี้ใกล้เคียงกับวิธีมาตรฐานของ expert systems, data integration และ information retrieval

OpenCyc, Semantic Web และโครงการแตกแขนง

  • Cycorp เปิดเผย OpenCyc ซึ่งเป็น subset ขนาดเล็กของ Cyc ในปี 2001
    • OpenCyc ถูกวางแผนให้ตามหลัง Cyc จริงอยู่ 24–30 เดือน
    • เวอร์ชันสุดท้ายออกในปี 2012 และดูเหมือนจะยุติลงราวเดือนมีนาคม 2017 โดยไม่มีการประชาสัมพันธ์แยกต่างหาก
  • ยังมี ResearchCyc แต่จำกัดไว้เพื่อการใช้งานด้านวิจัย และยุติลงราวปี 2019 โดยไม่มีประกาศชี้แจง
  • Cycorp ยังเข้าร่วมกับความริเริ่มด้าน Semantic Web ในช่วงทศวรรษ 2000
    • มีงานเขียนที่พยายามบูรณาการความรู้ของ Cyc เข้ากับ DAML, RDF, OWL, XML เป็นต้น
    • ความพยายามอย่าง Standard Upper Ontology Working Group, The Cyc Foundation, FACTory, OpenCyc for the Semantic Web และ LarKC จบลงโดยไม่มีความสำเร็จที่โดดเด่น
  • ในช่วง 2014–2016 เกิด “massive extinction event” ที่ข้อมูลเปิดเกี่ยวกับ Cyc ส่วนใหญ่หายไปจากอินเทอร์เน็ต
    • OpenCyc, tutorials, references, vocabulary lists, The Ontological Engineer’s Handbook version 0.7 และสิ่งอื่น ๆ หายไป
    • เหตุการณ์นี้ตรงกับช่วงเปลี่ยนผ่านสู่ commercial applications ในปี 2016

ความปิดและการประเมินจากภายนอก

  • โครงการ Cyc มีความปิดมากตามมาตรฐานทางวิชาการ
    • งานตีพิมพ์เกี่ยวกับ Cyc มักพูดถึงวิธีนำความรู้เข้าไปใน Cyc เป็นหลัก และแทบไม่กล่าวถึงงานประยุกต์ที่ออกมาจาก Cyc
    • รายละเอียดการทำงานของ inference engine และการใช้งานเชิงพาณิชย์แทบไม่ถูกเปิดเผย
  • ซอร์สโค้ดของ AM และ EURISKO ก็ไม่เคยถูกเปิดเผยเช่นกัน
    • Lenat มักอ้างว่าโค้ดหายไปนานแล้ว แต่ไม่นานมานี้กลับพบในโฟลเดอร์ DBL ของข้อมูลสำรองจาก Stanford AI Laboratory
    • ยังเป็นคำถามว่า Lenat พยายามปกป้องโค้ดไว้หรือไม่
  • การใช้ Cyc ในงานวิจัยภายนอกมีจำกัดมาก
    • Cyc แทบไม่ถูกใช้ทั้งในงานวิจัย AI และงาน knowledge retrieval และไม่เคยแสดงประสิทธิภาพบน benchmark ที่เปิดเผย
    • Davis and Marcus 2015 มองว่าคนนอกตัดสินระดับความสำเร็จของ Cyc ได้ยากมาก
    • Davis 2016 ประเมินว่าชุมชน AI โดยรวมมอง Cyc ว่าเป็น “ความล้มเหลวที่ซับซ้อนอย่างยิ่ง”

ปรัชญา AI ของ Lenat และคำวิจารณ์ที่เกิดซ้ำ

  • Lenat ยึดถือปรัชญา AI แบบเดียวตลอด 40 ปี
    • แกนกลางคือ Knowledge Principle ที่เชื่อว่าความฉลาดระดับสูงเกิดจากความรู้ที่ระบบสามารถนำไปใช้ได้
    • ความรู้นั้นรวมถึงแนวคิด ข้อเท็จจริง การแทนความ วิธีการ โมเดล อุปมา และฮิวริสติก
  • เขาปฏิเสธเส้นทางทางเลือกหลายแบบอย่างชัดเจน
    • เขามองว่า logical AI แบบ Simon และ Newell ใช้งานเกินกว่าปัญหาแบบของเล่นไม่ได้
    • เขาเห็นว่า physical embodiment หรือ robotics ไม่ใช่สิ่งจำเป็นต่อ AGI และ “mystical worship of physical embodiment” กลับทำให้ AGI ล่าช้า
    • เขาตัดสินว่า genetic algorithms และ evolutionary algorithms ติด local minima และทำงานช้า
    • เขาวิจารณ์ statistical machine learning, neural networks และ self-organization methods ว่าเป็นความพยายามหา “free lunch” โดยไม่มีฐานความรู้ตั้งต้นขนาดใหญ่
  • แม้เข้าสู่ยุค deep learning และ LLM แล้ว Lenat ก็ยังย้ำตรรกะแบบเดิม
    • เขามองว่า neural networks ทำได้เพียง “remembering and espousing” แต่ไม่ใช่ “understanding and inferring”
    • เขามองว่า Cyc อาจทำหน้าที่เป็น “left brain” และ neural networks เป็น “right brain” ในการผสานกัน
    • บทความสุดท้ายของ Lenat and Marcus 2023 วิจารณ์การไล่ตาม free lunch รวมถึง LLM และเน้นย้ำความจำเป็นของ symbolic representation and reasoning

ภายใน Cycorp และข้อสรุปเชิงปฏิบัติ

  • Cycorp มีเสถียรภาพทางการเงินระยะยาวที่หาได้ยากสำหรับบริษัทเทคโนโลยีขนาดเล็ก
    • มีการอธิบายซ้ำ ๆ ว่าบริษัททำกำไรตั้งแต่ก่อตั้ง ไม่มีหนี้ และเป็นของพนักงาน
    • จำนวนพนักงานถูกระบุว่าอยู่ราว 50–200 คน
  • ความเห็นของอดีต Cyclist บน Hacker News มีทั้งด้านบวกและลบ
    • ด้านบวก มีการพูดถึงวัฒนธรรมที่ชาญฉลาดและเชิงปรัชญา การแก้ปัญหาทางเทคนิคของ large scale inference ความสามารถในการทำกำไร และแอปพลิเคชันเชิงพาณิชย์ที่ประสบความสำเร็จบางส่วน
    • ด้านลบ มีการชี้ไปที่หนี้เทคนิคสะสม 30 ปี การทำซ้ำซ้อน ความปิด ความคิดแบบ true believer และวิธีแก้เชิงเทคนิคกับแอปพลิเคชันเชิงพาณิชย์ที่ไม่เปิดเผยต่อภายนอก
  • อดีตพนักงานบางส่วนมองว่าไม่ชัดเจนว่า Cyc ทำ common sense reasoning จริงหรือไม่ หรือเพียงเป็นฐานที่ดีเป็นพิเศษสำหรับการพัฒนา expert systems
    • พวกเขายังมองว่าไม่ชัดว่าความสำเร็จของโครงการเชิงพาณิชย์จำเป็นต้องใช้ common sense reasoning จริงหรือไม่
    • ยังมีความเห็นว่าหลายโครงการชี้ได้ยากมากว่า “AI” เกิดขึ้นตรงไหนกันแน่
  • ในท้ายที่สุด Cyc ดูเหมือนจะเหลือภาพลักษณ์ที่ใกล้เคียงกับ บริษัท large expert system แห่งสุดท้ายที่ยังอยู่รอด มากกว่าจะเป็นโครงการ AGI
    • ยอมรับได้ว่า Cycorp อาจสร้างความแตกต่างได้ในงาน niche expert systems ที่ต้องการ knowledge engineers ที่เก่ง, SubLisp และ higher-order statements
    • แต่ก็ไม่มีหลักฐานที่แสดงว่าความแตกต่างนั้นเป็นเส้นทางไปสู่ AGI

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-04-09
ความคิดเห็นบน Hacker News

  • ผมนึกขำ ๆ ว่านี่เหมือนประโยคที่ AI มีสติรู้ตัวเขียนว่า “ที่นี่ไม่มีอะไรให้ดูแล้ว เลิกดูแล้วผ่านไปเถอะ”
    ผมไม่ได้รู้สึกเหมือน vannevar ว่า Cyc กำลังไปในทิศทางที่มีประโยชน์ แม้จะมีไอเดียอยู่ แต่ดูยังไม่เหนียวแน่นพอจะเป็นฐานของสมมติฐานที่น่าเชื่อได้ว่าจะสร้างระบบมาทำให้ไอเดียแบบนั้นเกิดขึ้นได้อย่างไร
    ผมค่อนข้างประทับใจกับเดโม โลกบล็อก ของ McCarthy และต่อมาเขากับนักศึกษาก็ทำให้กฎบางส่วนที่สร้าง บริบท (context) สำหรับให้ AI ทำงานกลายเป็นรูปแบบเชิงทางการ ซึ่งผมยังมองว่าส่วนนี้สำคัญต่อการแก้ความสับสนที่ LLM สร้างขึ้น
    ตัวอย่างเช่น ความล้มเหลวช่วงแรก ๆ ที่ LLM บอกให้ใส่หินลงไปเพื่อทำให้สลัดกรอบขึ้น เป็นความล้มเหลวด้านบริบทแบบคลาสสิก และเป็นผลจากข้อมูลในบริบท “มุกตลก” กับข้อมูลในบริบท “สูตรอาหาร” ที่พันกัน โมเดลเดิมไม่มีบริบทระหว่างการฝึก จึงไม่มีองค์ประกอบในโมเดลที่ปรับผลลัพธ์ตามบริบทได้ และสุดท้ายหินก็ไปอยู่ในสลัด
    https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...

    • เกณฑ์ที่ว่า “ยังไม่มีหลักฐานของสติปัญญาทั่วไป” ดูเป็นกำแพงที่ค่อนข้างสูง
      ทุกคนรู้ว่า AI เชิงสัญลักษณ์ ไม่ได้ขยายสเกลได้เท่า LLM ที่ฝึกด้วยข้อมูลมหาศาล แต่ขณะเดียวกันก็จริงที่มันพยายามจัดการกับปัญหาหลายอย่างที่ LLM ยังทำได้ไม่ดี

  • เป็นบทความที่ยอดเยี่ยมจริง ๆ และอยู่ในระดับดีที่สุดเท่าที่ผมเห็นบน HN ปีนี้
    ตอนเด็ก ๆ ผมรู้จัก Cyc ครั้งแรกจากสารคดี AI ซึ่งยกตัวอย่างผู้ชายที่โกนหนวดด้วยเครื่องโกนหนวดไฟฟ้า Cyc สรุปว่าผู้ชายที่กำลังโกนหนวดไม่ใช่มนุษย์ เพราะเครื่องโกนหนวดเป็นอุปกรณ์ไฟฟ้า และอุปกรณ์ไฟฟ้าไม่ใช่มนุษย์
    สำหรับเด็กอย่างผมตอนนั้น มันกระตุ้นจินตนาการอย่างมากจนทำให้อยากเรียน AI และภายหลังพอรู้ว่า Cyc ทำงานด้วยความสัมพันธ์แบบ Prolog ความรู้สึกเหมือนเวทมนตร์ก็ลดลงไปบ้าง สุดท้ายผมเรียนวิทยาการคอมพิวเตอร์แทน AI แต่ก็ยังคิดว่า Cyc คือสิ่งที่จุดประกายความสนใจแรกเริ่มของผม
    Lenat ดูเหมือนคนประหลาด แต่การจะผ่าน ฤดูหนาวของ AI หลายรอบมาได้ ก็ต้องมีผู้ศรัทธาตัวจริงที่หมกมุ่นแบบนั้น ไม่แน่ว่าในอนาคตกราฟความรู้อย่าง Cyc อาจกลับมาสำคัญอีกครั้ง ในกระบวนการพยายามกำจัดอาการหลอนออกจากการเรียนรู้เชิงสถิติ

    • ผมจำได้ว่าตัวอย่างเดียวกันนี้เคยจุดความสนใจใน AI ให้กลับมาอีกครั้ง
      ตามสัญชาตญาณแล้ว ผมคิดว่าแนวทางนี้มีบางอย่างที่จำเป็นต่อการทำให้ AI เชิงสร้างสรรค์ ทำงานได้อย่างเสถียร สมองมีความสามารถในการเชื่อมโยง แต่ถ้าไม่มีตัวกรองที่คัดสัญญาณกับเรื่องไร้สาระออก และทำให้เข้าใจเนื้อหาได้ มันก็ไม่ได้มีประโยชน์มากนัก
      ผมสงสัยว่า Cyc เคยไปถึงจุดที่สร้างเนื้อหาด้วยตัวเองอย่างมีความหมายได้หรือไม่ ถ้าเป็นระบบแบบนั้น สุดท้ายมันน่าจะอนุมานรายละเอียดจำนวนมากได้เอง และต้องป้อนให้ทีละคำลดลงเรื่อย ๆ
    • ผมรู้สึกว่าประโยคนี้ควรมีจุลภาคทั้งก่อนและหลัง “while shaving” เลยทำให้จับความหมายประโยคได้ยาก
    • ไม่ใช่ “ดูเหมือนคนประหลาด” แต่ควรเป็น “เคยดูเหมือน”
      น่าเสียดายที่เขาเสียชีวิตไปเมื่อหลายปีก่อนแล้ว และผมเสียใจที่เพิ่งมารู้ตอนนี้

  • เป็นบทความที่น่าสนใจมากและคุ้มค่าแก่การอ่าน ดีกว่าบรรยากาศในคอมเมนต์ที่นี่มาก
    แต่ผมเสียดายนิดหน่อยที่ผู้เขียนให้น้ำหนักกับสมมติฐานว่าโครงการนี้ล้มเหลวมากเกินไป การใช้เวลา 40 ปีเพื่อหาคำตอบไม่ได้แปลว่าแนวทางนั้นล้มเหลวไปเสียเฉย ๆ
    โครงข่ายประสาทเทียม ก็ใช้เวลามากกว่า 40 ปีกว่าจะมีประโยชน์จริง และมีค่าใช้จ่ายไม่น้อย แต่เราไม่ได้เรียกมันว่าเป็นโครงการที่ล้มเหลวเพียงเพราะอย่างนั้น LLM ในปัจจุบันเองก็ยังพูดยากว่าฉลาดขนาดนั้น
    หากวันหนึ่ง ฐานความรู้ของ Cycorp ถูกเปิดสู่สาธารณะและนำไปใช้ฝึก LLM ได้ คุณค่าที่ใหญ่กว่าของข้อมูลนั้นก็อาจปรากฏออกมา

    • มีความเป็นไปได้มากกว่าว่า แทนที่ฐานความรู้ Cycorp จะถูกเปิดเผย ทางเลือกแบบเปิดจะถูกพัฒนาขึ้นจนทำให้มันค่อย ๆ สำคัญน้อยลง
      ฝั่ง Wikipedia กำลังสร้างสิ่งที่คล้ายกับ ภาษากลาง สำหรับการพัฒนาแบบเปิดที่มนุษย์แก้ไขได้ และพยายามใช้สิ่งนี้เติมประโยคสารานุกรมพื้นฐานให้กับ Wikipedia ในภาษาที่มีตัวแทนน้อย รายละเอียดจำนวนมากยังไม่แน่นอน แต่ดูได้ที่ https://en.wikipedia.org/wiki/Abstract_Wikipedia และ https://meta.wikimedia.org/wiki/Abstract_Wikipedia
      สิ่งนี้มีโอกาสไปถึงระดับที่คล้ายกับระบบที่บทความสมมติไว้ คือถ้าใส่ “สามัญสำนึก” ที่เหมาะสมเข้าไป ก็สร้างข้อความภาษาอังกฤษและภาษาญี่ปุ่นได้ ยังไม่ชัดเจนว่าการให้เหตุผลเชิงตรรกะกับประโยคเหล่านั้นจะมีประโยชน์มากแค่ไหน แต่ถ้ามันมีคุณค่าจริง ความเป็นไปได้นั้นก็มีอยู่แน่นอน
    • วิทยานิพนธ์ปริญญาเอกของลูกสาวผมโดยรวมเป็น ผลลัพธ์เชิงลบ ต่อให้โครงการล้มเหลว ถ้ามันไม่ได้ปิดลับขนาดนั้น เราก็น่าจะเรียนรู้อะไรได้ แม้ไม่ใช่โอเพนซอร์ส ก็ยังทำให้เปิดเผยต่อสาธารณะมากกว่านี้ได้มาก
    • แทนที่จะรอให้ Cycorp เปิดเผย ผมว่ารอให้ OpenAI เปิดเผยน่าจะเร็วกว่า :)
      ถ้าจะเทียบกับ “โครงข่ายประสาทเทียม” จริง ๆ ควรเทียบกับ AI เชิงสัญลักษณ์ ในความหมายกว้าง AI เชิงสัญลักษณ์ทำงานได้ค่อนข้างดีในบางขอบเขต แต่ไม่ได้เป็นแบบนั้นเลยในขอบเขตอย่างการให้เหตุผลแบบสามัญสำนึกหรือสิ่งที่ใกล้ AGI
      ถ้ายังคงใช้ “Cyc” เป็นตัวเปรียบเทียบ ผมมองว่าการเปรียบเทียบนั้นเป็นไปไม่ได้เลย ถ้าไม่พูดเกินจริง ก่อนปี 2020 ไม่มีโครงการ AI ใดแพงเท่า Cyc ค่าใช้จ่ายเริ่มเกินหนึ่งล้านดอลลาร์ก็ราว ๆ GPT-2 ส่วน AlphaGo กับ Deep Blue แม้ไม่มีตัวเลขที่แน่ชัด แต่อาจใช้เงินหลายล้านดอลลาร์ ทว่าอย่างน้อยก็ทำงานได้อย่างชัดเจน
      คำว่าใช้เวลา 40 ปีก็ไม่ถูกต้องนัก ตัวอย่างเช่น LeNet-5 ทำงานได้แล้วในปี 1998 และถูกใช้จริงเพื่ออ่านข้อความบนเช็คที่ตู้ ATM ค่าใช้จ่ายหลักคือความอึดด้านวิศวกรรมตลอด 10 ปีของกลุ่มวิจัย LeCun ที่ Bell Labs และเวอร์ชันสมบูรณ์ใช้เวลา CPU 2–3 วันบนเซิร์ฟเวอร์ Silicon Graphics Origin 2000 ที่ใช้โปรเซสเซอร์ R10000 200MHz ตัวเดียว เพื่อฝึกบน MNIST “ประมาณ 20 epoch”
      ปี 1998 อาจนับทางเทคนิคได้ว่าห่างจากจุดเริ่มต้นของเพอร์เซปตรอนในทศวรรษ 1950 ราว 40 ปี แต่ถ้าจะใช้เกณฑ์นั้นกับโครงข่ายประสาทเทียม ก็ต้องนับ Cyc จากจุดเริ่มต้นของ AI เชิงตรรกะในทศวรรษ 1950 เช่นกัน และก็ยังน่าสงสัยว่าในปี 1998 Cyc มีประโยชน์อะไรในภาคอุตสาหกรรมบ้าง

  • ตามเว็บไซต์ Cyc กำลังไปได้สวยมาก โดยบอกว่า “The Next Generation of Enterprise AI”
    ทั้งที่ Lenat เองเสียชีวิตไปแล้วในปี 2023 แต่ใน leadership team กลับมีเขาเป็นสมาชิกอยู่คนเดียว
    https://cyc.com/

    • เหมือนคำจารึกบนหลุมศพที่ชวนเศร้า
      ต่อให้พิสูจน์ได้แค่ว่ามันเป็นไปไม่ได้ ผมก็รู้สึกขอบคุณจริง ๆ ที่เขาได้ลองทำ
    • บางที Cyc อาจประสบความสำเร็จแล้ว และ Lenat ก็ยังมีชีวิตอยู่ต่อไปในจิตสำนึกนั้นก็ได้

  • คุณสามารถลองรันเวอร์ชัน OpenCyc ที่เคยเผยแพร่ทางออนไลน์ได้: https://github.com/asanchez75/opencyc
    นี่เป็นชุดข้อมูลจากช่วงที่ระบบเวอร์ชันหนึ่งเคยถูกอัปขึ้น SourceForge และบน GitHub มีทั้งชุดข้อมูล ฐานความรู้ และเอนจินอนุมาน อย่างไรก็ตามควรทราบไว้ว่ามันเขียนด้วย Java เวอร์ชันเก่า

  • นานมาแล้ว ผมเคยพยายามอ่านเอกสารเกี่ยวกับ AM และ EURISKO เท่าที่หาได้ให้มากที่สุด
    น่าเสียดายที่ Lenat เก็บงานของตัวเองไว้เป็นส่วนตัวมาก แทบจะเป็นความลับ และนอกจากบทความวิชาการกับบทความระดับภาพกว้างแล้ว ก็แทบไม่มีอะไรให้อ่านเลย ด้วยเหตุนี้ คนอื่นจึงไม่สามารถสร้างอะไรต่อยอดจากสิ่งที่ Lenat ทำไว้ได้ และผมมองว่านั่นเป็นความสูญเสียครั้งใหญ่

    • ทุกวันนี้สามารถลองรัน EURISKO ได้เองแล้ว

  • บทความนี้เป็นรีวิวที่ค่อนข้างดี ไม่ใช่แค่เรื่อง Cyc แต่รวมถึง AI เชิงสัญลักษณ์โดยรวม
    เมื่อก่อนผมเคยเล่นกับ OpenCyc เยอะมาก แต่ตลอด 10 ปีที่ผ่านมาไม่ได้แตะเลย
    ถ้า AI เชิงสัญลักษณ์จะมีอนาคตที่สร้างผลลัพธ์ได้ ผมคิดว่าน่าจะเป็นแนวทางที่ใช้ LLM เพื่อสร้าง กราฟความรู้ และความสัมพันธ์เชิงสัญลักษณ์จากข้อมูลไม่มีโครงสร้าง เป็นต้น

    • ในฐานะ “รีวิว AI เชิงสัญลักษณ์” มันให้ข้อมูลน้อยและค่อนข้างผิวเผิน และให้ความรู้สึกเหมือนย้ำประเด็นเก่า ๆ ว่า AI เชิงสัญลักษณ์ “ล้มเหลว”
      ข้ออ้างนั้นไม่ตรงกับข้อเท็จจริง สาขาหลัก ๆ ของ AI เชิงสัญลักษณ์อย่าง การแก้ SAT, การพิสูจน์ทฤษฎีบทอัตโนมัติ, การวางแผนและการจัดตารางเวลา ยังแข็งแรงและมีผลงานจริงอยู่มาก กลับกัน การแก้ SAT, การวางแผน, การตรวจสอบโปรแกรม และการพิสูจน์ทฤษฎีบทอัตโนมัติ ตอนนี้ทำงานได้ดีจนแทบไม่ถูกนับว่าเป็น “AI” อีกต่อไปแล้ว
    • อาจเป็นรูปแบบที่ LLM ใช้กราฟเหล่านั้นมาตรวจสอบคำตอบของตัวเอง เมื่อถึงจุดหนึ่ง มันน่าจะถูกฝังเข้าไปในสถาปัตยกรรม กลายเป็นอะไรทำนอง เลเยอร์ graph attention

  • ผมคิดว่าอย่างน้อย Lenat ก็มาถูกทางในแง่ที่ว่า ขนาดมหาศาลของข้อมูล คือกุญแจที่จะได้มาซึ่งปัญญาที่เป็นประโยชน์ในท้ายที่สุด
    เมื่อก่อนผมเคยวิจารณ์ว่าโปรเจกต์ Cyc กำลังสร้างกองมูลขนาดใหญ่ขึ้นเรื่อย ๆ แล้วหวังว่าจะมีม้าโพนี่โผล่ออกมาจากในนั้น แต่กับ LLM ก็เหมือนว่าสิ่งนั้นเกิดขึ้นจริงอยู่บ้าง

    • สักวันหนึ่ง ลูกตุ้มอาจแกว่งกลับไปอีกฝั่ง และ แนวทางเชิงสัญลักษณ์ อาจได้จุดทะลุทะลวงบางอย่างจนกลับมาเป็นกระแสอีกครั้ง
      ผมคิดว่ามีแนวโน้มสูงว่าจะเกี่ยวข้องกับการเร่งระบบแบบนี้ด้วยฮาร์ดแวร์เพื่อประมวลผลข้อเท็จจริงจำนวนมหาศาล คล้ายกับที่ GPU ทำให้เครือข่ายประสาทเป็นไปได้
    • แต่กองข้อมูลฝึกของ LLM นั้นใหญ่กว่ามาก
      ข้อมูลนั้นคือถ้อยคำของมนุษย์จริง ๆ ในบริบทจริง ๆ และเป็นม้าโพนี่ ไม่ใช่มูลม้าโพนี่
      LLM ไม่มีปัญญาในตัวเอง มันเพียงทำ pattern matching กับถ้อยคำของมนุษย์จำนวนมหาศาลเพื่อตอบคำถาม แล้วส่งต่อปัญญาของมนุษย์เหล่านั้นเหมือนเป็นท่อผ่าน แม้จะพิสูจน์แล้วว่ามีประโยชน์เพราะกลไกทางสถิติทำงานได้ดีอย่างยิ่ง แต่ข้อเท็จจริงที่ว่า LLM ไม่มี สถานะเชิงปริชาน ก็จำกัดขอบเขตที่เทคโนโลยีนี้จะไปถึงได้อย่างมาก
      ในทางกลับกัน กับ Cyc เรายังไม่ชัดเจนด้วยซ้ำว่าจะได้อะไรออกมา อาจมีประโยชน์ถ้าผสานกับ LLM แต่ก็ยังถูกปิดล็อกไว้อย่างแน่นหนา
      ข้อสรุปใหญ่ ๆ ที่ผู้เขียนดึงเกี่ยวกับ AI เชิงสัญลักษณ์จากระบบและแนวทางเดียวนี้จึงไม่สมเหตุสมผล ผู้เขียนเองก็เขียนว่า “แม้แต่ Ernest Davis และ Gary Marcus ซึ่งเอียงข้างแนวทาง AI เชิงสัญลักษณ์อย่างมาก ก็ยังหาแทบไม่เจอหลักฐานว่า Cyc ประสบความสำเร็จ ไม่ใช่เพราะ Cyc พิสูจน์ได้ว่าล้มเหลว แต่เพราะมีหลักฐานน้อยเกินไปในทั้งสองทาง ไม่ว่าจะสำเร็จหรือล้มเหลว”
    • ตลกดีที่ชื่อชุดข้อมูลของ LLM หลายตัวคือ “The Pile” ตรงตัวเลย
    • ถึงอย่างนั้น อย่างน้อยผมก็สงสัยว่า Llama น่าจะถูกฝึกด้วย libgen ซึ่งเป็นคลังเก็บหนังสือและสิ่งพิมพ์ส่วนใหญ่ของมนุษยชาติ แม้สิ่งที่ยังไม่ถูกดิจิไทซ์จะตกหล่นไปก็ตาม
      ผมเดาว่าคอมเมนต์ Reddit, ข้อความ Twitter, libgen และ PDF จาก arXiv น่าจะถูกรวมเข้าไปเป็นกองใหญ่
      ดังนั้นคงมีมูลอยู่ด้วย แต่ก็มีความรู้ที่ถูกเข้ารหัสอย่างประณีต หรือก็คืองานเขียนอยู่ด้วย และการที่ LLM ตอบถูกได้บ่อยขนาดนี้ก็นับว่าน่าอัศจรรย์จริง ๆ
    • https://ai-2027.com/ ตั้งสมมติฐานว่า LLM ที่ดีพอจะใช้กฎและข้อเท็จจริงเพื่อเขียนตัวเองขึ้นใหม่
      ฟังเหมือนนิยายวิทยาศาสตร์ แต่การคุยกับการคูณเมทริกซ์ก็เป็นเรื่องเหมือนนิยายวิทยาศาสตร์เหมือนกัน

  • ความล้มเหลวคล้าย ๆ กันของ GOFAI คือความพยายามขนาดใหญ่ยาวนานหลายทศวรรษของบริษัทรีเซีย ABBYY ที่พยายามสร้างซอฟต์แวร์แปลภาษาขั้นสูงด้วยการพาร์สไวยากรณ์รูปแบบที่ซับซ้อนเพียงอย่างเดียว ABBYY เคยเป็นผู้นำตลาดซอฟต์แวร์ OCR มาอย่างยาวนาน
    เรื่องราวเบื้องหลังค่อนข้างน่าสนใจ และบทความนี้เขียนโดยคนที่เคยทำงานที่ ABBYY: https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proi...
    บทความเป็นภาษารัสเซีย แต่ที่ย้อนแย้งคือถ้าใช้ฟีเจอร์ Google Translate ของ Chrome เป็นต้น ก็อ่านเป็นภาษาอังกฤษดี ๆ ได้ และแน่นอนว่าฟีเจอร์นั้นอาศัย แมชชีนเลิร์นนิง ล้วน ๆ
    เรื่องนี้โดยแก่นแล้วคล้ายกับ Cyc: AI เชิงสัญลักษณ์, AI เชิงตรรกะ, GOFAI สามารถให้ผลลัพธ์ที่น่าประทับใจได้ในช่วงแรก และ ABBYY ก็เคยดีกว่า Google Translate ยุคแรกมาก แต่แนวทางเชิงสัญลักษณ์ขยายสเกลได้ไม่ดี สุดท้าย บิ๊กดาต้า + แมชชีนเลิร์นนิง เป็นฝ่ายชนะ
    บทความข้างต้นพูดถึง “The Unreasonable Effectiveness of Data” ที่ Google เสนอประเด็นนี้ในปี 2009: https://static.googleusercontent.com/media/research.google.c...
    จุดสำคัญคือปี 2009 นั้นมาก่อนโมเดลภาษาขนาดใหญ่, Transformer, หรือแม้แต่ AlexNet อยู่มาก

  • เมื่อประมาณ 1 ปีก่อน ก็เคยมีเธรดใหญ่เกี่ยวกับ Cyc: https://news.ycombinator.com/item?id=40069298