บทสนทนา ChatGPT เกี่ยวกับตัวอย่างหักล้างข้อคาดการณ์ Jacobian ของ Terrence Tao

 (chatgpt.com)
1 คะแนน โดย GN⁺ 5 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 5 시간 전
ความคิดเห็นจาก Hacker News

  • แค่วันนี้ก็เป็น บทสนทนา ChatGPT ที่แชร์กัน ซึ่งน่าสนใจมากเป็นครั้งที่สองแล้ว
    ครั้งแรกคือกรณีที่คอยบอก ChatGPT ว่า “ทำต่อ” จนพบตัวอย่างโต้แย้งของข้อคาดการณ์อีกข้อหนึ่ง: https://x.com/DmitryRybin1/status/2079904005652893709

    • สำหรับปัญหาที่เอเจนต์น่าจะถอดใจ คำว่า “ทำต่อ” ใช้ได้ผลจริง ๆ โดยทั่วไป LLM ไม่ได้รู้โดยเนื้อแท้ว่าสิ่งใดเป็นไปไม่ได้
      เวลาป้อนพรอมป์ยาก ๆ ผมมักเขียนเป็นเงื่อนไขจบปกติไปด้วยว่า “ทำกระบวนการนี้ซ้ำจนกว่าจะลู่เข้าและไม่มีไอเดียเพิ่มสำหรับการปรับให้เหมาะสมแล้ว จะทำซ้ำต่อไปเรื่อย ๆ ก็ได้”
    • โดยเฉพาะ GPT ดูเหมือนมีแนวโน้มจะหยุดกลางงานมากกว่าโมเดลอื่น และเวอร์ชันที่ใช้ล่าสุดน่าจะเป็น 4.X
      มันตอบซ้ำ ๆ ประมาณว่า “ทำมาถึงตรงนี้แล้ว และขั้นถัดไปก็ชัดเจน แต่ถ้าจะให้ทำต่อ ช่วยส่งข้อความที่ไม่มีความหมายมาหน่อย” ซึ่งค่อนข้างยุ่งยาก
    • การพิมพ์แค่ “ทำต่อ” โดยไม่มีบริบท เท่ากับเชื่อใจ LLM อย่างมากว่าจะหลีกเลี่ยงข้อผิดพลาดเชิงตรรกะเล็ก ๆ น้อย ๆ และเลือกแนวทางที่ถูกต้องได้
      แม้แต่โมเดลล่าสุดก็ยังทำงาน DevOps ง่าย ๆ แล้วสรุปแบบฟันธงว่าแพ็กเกจที่ deploy ไปแล้ว “ยังไม่ได้ deploy” พอผู้ใช้แย้งก็กลับคำทันที ถ้าเรื่องแบบนี้เกิดขึ้นบ่อย ก็ชวนสงสัยว่าในการพิสูจน์คณิตศาสตร์ซับซ้อน การกด “ทำต่อ” ซ้ำ ๆ โดยไม่ตรวจสอบผล จะได้ ข้อสรุปที่ถูกต้อง จริงหรือไม่
    • ในอดีต วิธีที่นักคณิตศาสตร์จำนวนมากใช้จนสำเร็จก็คือการ ทำต่อไป นั่นเอง
    • ฉากที่พอบอกว่า “ผลลัพธ์บางส่วนก็พอแล้ว งั้นจบด้วยตัวอย่างโต้แย้งที่สมบูรณ์และไม่มีเงื่อนไขกันเถอะ” แล้วมันทำงาน 88 นาที 24 วินาที ก่อนจะเสนอ counterexample แบบ finite ที่สมบูรณ์ออกมา น่าประทับใจมาก

  • บันทึกบทสนทนากับ AI ของผู้เชี่ยวชาญที่ยิงเข้าประเด็นอย่างแม่นยำนั้นน่าสนใจไม่รู้จบ และแสดงให้เห็นว่าสามารถดึงอะไรออกมาจากโมเดลได้มากแค่ไหน
    Terence Tao ก็เหมือนกับเวลาผมใช้ LLM ในสาขาที่ผมเชี่ยวชาญ เขากำหนดทิศทางอย่างหนักด้วยคำถามสั้น ๆ คม ๆ ที่ใช้ทั้งศัพท์เทคนิคและเครื่องมือเชิงทฤษฎีเต็มที่ ดูเหมือน LLM จะปรับน้ำเสียงและระดับคำตอบให้เข้ากับระดับของผู้ใช้

    • สุดท้ายแล้ว “วิธีเรียนรู้ AI” คือการ เชี่ยวชาญโดเมนปัญหา ก่อน
      เพราะพัฒนาซอฟต์แวร์มาหลายสิบปี ผมจึงใช้ AI กับการเขียนโค้ดได้ แต่กับฟิสิกส์ทฤษฎีที่ประเมินคำตอบเองไม่ได้ ก็ใช้ได้ยาก
    • แม้จะไม่เข้าใจเนื้อหาคณิตศาสตร์ แต่ข้อความของ Tao คล้ายกับบทสนทนาที่ผมมีกับ LLM อย่างน่าประหลาด
      แทนที่จะพยายามได้ผลลัพธ์ในครั้งเดียว การ สำรวจทีละขั้น ช่วยให้ปรับทิศทางได้ต่อเนื่อง จึงมีประสิทธิภาพและน่าพอใจกว่า วิธีขอทีเดียวจบนั้นถ้าสำเร็จก็ดูเหมือนเวทมนตร์ แต่ถ้าล้มเหลวก็ต้องเริ่มสร้างพรอมป์ใหม่
    • ไม่กี่วันก่อนเจอเหตุการณ์คล้ายกันกับ Claude ตอนแรกให้ requirement แบบคร่าว ๆ ก็ทำได้ดี แต่พอถึงจุดสำคัญกลับพลาด ผมจึงตอบอย่างเข้มงวดขึ้น หลังจากแก้ปัญหาแล้ว พฤติกรรมของมันในโปรเจกต์ก็เปลี่ยนไป คือคอยตรวจสอบล่วงหน้าหลายครั้งและถามคำแนะนำจากผมบ่อยขึ้น
      น่ารำคาญอยู่บ้าง แต่ถ้าได้ผลก็คุ้มจะทน

  • เหตุผลที่บทสนทนา ChatGPT ของ Terence Tao น่าสนใจมีสองอย่าง ตัวอย่างโต้แย้งไม่ได้เป็นแค่การ brute force ธรรมดา แต่เป็นพหุนามที่มีโครงสร้างเฉพาะมากเพื่อให้ได้ผลลัพธ์ที่ต้องการ และคำถามของ Tao ก็แม่นยำถึงขั้นที่ถ้าไม่มีการฝึกคณิตศาสตร์ขั้นสูงคงยากจะดึงข้อมูลแบบเดียวกันออกมาได้
    ดูเหมือน Tao จะเข้าใจปัญหาและโครงสร้างบางส่วนของตัวอย่างโต้แย้งแล้ว จากนั้นใช้ AI ผลักดันการสำรวจส่วนที่เหลือ

    • หนึ่งในมนุษย์ที่เก่งที่สุดในโลกเป็นคนถาม แต่ LLM กลับตอบทำนองว่า “พอคิดดูแล้วมันง่ายมากจริง ๆ” ทำให้ดูเหมือนฉากศาสตราจารย์สอนนักเรียนที่มีพรสวรรค์ และทำให้รู้สึกถ่อมตนขึ้น
    • มีมุกว่าถ้าดึงผลลัพธ์ดี ๆ จากโมเดลไม่ได้ก็เป็น “ปัญหาฝีมือ” แต่ในนั้นก็มีความจริงอยู่ ความสามารถในการใช้ AI ไม่ได้มีแค่ทักษะสร้างพรอมป์วนซ้ำที่เอเจนต์เข้าใจเท่านั้น แต่ยังต้องมีความรู้เชิงลึกในสาขาเพื่อรู้ว่าควรสำรวจอะไรด้วย
      ถ้าขาดอย่างใดอย่างหนึ่ง ก็อาจนำไปสู่ความหงุดหงิดหรือผลลัพธ์ที่แย่กว่าเดิม
    • ในอีกไม่กี่ปีข้างหน้า ความสามารถในการถกเรื่องสาขาเชี่ยวชาญของตนกับ LLM ได้ดี น่าจะเป็นทักษะมนุษย์ที่มีประโยชน์ แต่ท้ายที่สุดแม้แต่สิ่งนั้นก็คงค่อย ๆ ถูกทำให้เจือจางลง

  • น่าทึ่งที่ Tao เสนอให้ทำให้เรียบง่ายลงเรื่อย ๆ และถูกนำพาเข้าสู่กระบวนการค้นพบ เขาสนใจการใช้ AI เพื่อเข้าใจบางสิ่งและแมปมันเข้ากับ กรอบความคิด ของตัวเองอย่างมีประสิทธิภาพ รวมถึงมองหาผลลัพธ์ย่อยที่ง่ายกว่า ซึ่งช่วยทำให้เป็นทั่วไปหรืออธิบายปรากฏการณ์ได้
    สิ่งที่ผมคิดถึงที่สุดตอนอยู่ที่ JPL และในแวดวงวิชาการ ก็คือการถกแบบ “ถ้าเป็นแบบนี้ล่ะ?” เช่นนี้

    • ภาวะพึ่งพาเกื้อกูลกัน ระหว่างมนุษย์กับ AI ดูเหมือนเป็นคุณค่าใหม่ที่ AI นำมา ในระหว่างสร้างผลลัพธ์อย่าง diff ของโค้ด ผมสามารถประเมินได้ตลอดว่ากรอบความคิดของตนต่อขั้นตอนปัจจุบันแข็งแรงแค่ไหน
      โดยเฉพาะอย่างยิ่ง ตอนนี้ผมเลือกได้ว่าจะทำความเข้าใจปัญหาที่กำลังจัดการให้ละเอียดด้วยตัวเองแค่ไหน ซึ่งก่อนยุค AI แทบไม่มีตัวเลือกนี้
    • ดูคล้ายกับวิธีที่อาจารย์คณิตศาสตร์ใช้ประโยชน์จากนักศึกษาปริญญาโท/เอกมาหลายร้อยปี

  • คณิตศาสตร์มีศัพท์เทคนิคและสัญกรณ์ที่หนาแน่นและยากอย่างไม่น่าเชื่อ สาขาวิทยาศาสตร์และวิศวกรรมอื่น ๆ ถ้ามี Google หรือ Wikipedia ช่วยก็มักพอตามทันได้ แต่คณิตศาสตร์ขั้นสูงไกลออกจากระดับที่เข้าใจได้ในชีวิตประจำวันเร็วเกินไป
    แม้แต่คนคุ้นเคยกับสายเทคนิคก็คงรู้สึกหลงทางโดยสิ้นเชิงเมื่อเจอคณิตศาสตร์ยาก ๆ

    • เรื่องนี้ใช้ได้กับแทบทุกสาขา รวมถึงวิทยาการคอมพิวเตอร์ด้วย หลายคนทำงานอยู่ในระดับผิวเผินโดยไม่ตระหนักถึงความรู้พื้นหลังที่ตัวเองสะสมมา
      วิศวกรซอฟต์แวร์ทั่วไปก็ต้องรู้คำศัพท์จำนวนมาก เช่น cache, stack, heap, process, thread, socket, TCP, HTTP, TLS, deadlock, race condition, atomicity, event loop, coroutine, transaction, replication, sharding, serialization, DNS เป็นต้น แค่คำว่า cache คำเดียวก็อาจหมายถึง CPU cache, page cache, browser cache, CDN cache หรือ Redis cache ได้ และคำสามัญอย่าง session, handle, pool, buffer, stream, channel ก็มีความหมายต่างกันไปตามบริบท
    • ในคลาสกลศาสตร์ควอนตัม เมื่อบนกระดานเขียนว่า H Psi = E Psi ทุกคนหัวเราะว่า “ก็ตัด Psi ออกได้” แต่จริง ๆ แล้วข้างหนึ่งเป็นการคูณ ส่วนอีกข้างเป็น operator ที่คูณแบบเมทริกซ์ จึงต้องเรียนสัญกรณ์ใหม่
      ผมเองก็เคยสับสนเพราะไม่รู้ว่าการเขียนตัวแปรเป็น ตัวหนา หมายถึงเมทริกซ์
    • วุฒิภาวะทางคณิตศาสตร์ ที่พูดกันในคณิตศาสตร์ คล้ายกับกระบวนการที่เราได้ความเข้าใจใหม่หลายครั้งและมุมมองเปลี่ยนไปขณะเรียนเขียนโปรแกรม ดนตรี หรือทำอาหาร คณิตศาสตร์มีการให้เหตุผลเชิงนามธรรมเป็นข้อจำกัดหลัก จึงมีขั้นแบบนี้มากกว่ากิจกรรมอื่น
    • การทำ abstraction เป็นสิ่งจำเป็น หน่วยความจำใช้งานของมนุษย์เล็กมาก หากจะให้เหตุผลกับปัญหาหลายอย่าง ต้องสร้างโครงสร้างลำดับชั้นหลายชั้น และสิ่งนี้ใกล้เคียงกับแก่นของคณิตศาสตร์
    • คณิตศาสตร์พยายาม ลดความกำกวมให้น้อยที่สุด มากกว่าสาขาอื่น สาขาที่ไม่ใช่คณิตศาสตร์มักนำคำธรรมดามาใช้ซ้ำโดยให้ความหมายเฉพาะทาง โดยเฉพาะในสังคมศาสตร์และมนุษยศาสตร์ บางครั้งคนทั่วไปไม่รู้ตัวว่าตนไม่เข้าใจ เพราะไม่มีสัญลักษณ์แปลกตาให้เห็น

  • แม้จะประเมินตัวคณิตศาสตร์เองไม่ได้ แต่มีหลายจุดที่สะดุดตาในพฤติกรรมของโมเดล บางคำถามก็ใช้การให้เหตุผล บางคำถามก็ตอบทันที และบางครั้งก็โต้แย้งโดยเสนอเงื่อนไขหรือการแก้ไข
    อีกทั้งยังคงรักษาหัวข้อไว้ได้ตลอด แม้จะสลับไปมาระหว่าง ถามตอบ·อ่าน PDF·เขียนโค้ด·ให้เหตุผล เป็นเวลานาน และดูเหมือน Tao เองก็ยังมองว่ามันให้ผลลัพธ์ที่มีประโยชน์ต่อเนื่อง การพัฒนาของโมเดลน่าจะใกล้เคียงกับภาพแบบนี้ มากกว่าการที่ตัวเลข benchmark บางตัวเพิ่มขึ้น

    • สำนวน “อย่างไรก็ตาม มีข้อควรระวัง” เป็นคำตอบแบบสำเร็จรูปของ Codex และ Claude รุ่นปัจจุบัน
      ในความเป็นจริง หลายครั้งเป็นเรื่องที่ชัดเจนเกินกว่าจะเรียกว่าข้อควรระวังได้ แต่ทำให้ผู้ใช้คาดว่าต้องมีเงื่อนไขสำคัญบางอย่าง เหมือนกับการเริ่มทุกครั้งว่าตนจะตอบ “อย่างซื่อสัตย์” ซึ่งทำให้เสียสมาธิ จึงมักกดไว้ผ่าน AGENTS.md

  • จุดที่น่าทึ่งที่สุดในบทสนทนานี้คือ AI agent ดูเหมือนเป็น คู่สนทนาในระดับเท่าเทียม กับ Tao ซึ่งเป็นหนึ่งในนักคณิตศาสตร์ชั้นนำของโลกยุคปัจจุบัน
    Tao เป็นคนกำหนดทิศทาง แต่ในขณะเดียวกันก็เรียนรู้และพึ่งพาคำอธิบาย·การวิเคราะห์·การให้เหตุผลของ AI ทำให้รู้สึกเหมือนฉากที่กำลังอภิปรายผลลัพธ์กับนักศึกษาปริญญาเอกหรืออาจารย์คนอื่น อีกหนึ่งปีหรือหลังการเปิดตัวโมเดลอีกสองครั้ง AI อาจแข็งแกร่งกว่า Tao อย่างชัดเจนก็ได้

    • กลับกัน บทสนทนานี้ดูเหมือนเป็นตัวอย่างโต้แย้งต่อภาพอนาคตนั้นด้วยซ้ำ ต่อให้คุยกับ AI ตัวอื่น ก็ไม่น่าจะได้ผลลัพธ์ที่มีประสิทธิผลเท่าบทสนทนากับ Tao
      ไม่รู้ว่าหนึ่งปีข้างหน้าจะเปลี่ยนไปไหม แต่เป้าหมายดูเหมือนถูกเลื่อนออกไปเรื่อย ๆ จึงค่อนข้างกังขา
    • ถ้ามอง LLM เป็น กระจกสะท้อน จะมีประโยชน์มาก ถ้าพูดเหมือนนักคณิตศาสตร์ผู้เชี่ยวชาญ โมเดลก็จะตอบกลับแบบนั้น แต่ prompt แรกของ Tao แม้ดูเรียบง่าย นักศึกษาปีหนึ่งก็คงเขียนในระดับเดียวกันได้ยาก
      เป็นปรากฏการณ์ตรงข้ามกับ prompt แบบ “คุณคือนักคณิตศาสตร์ผู้เชี่ยวชาญ” ในยุค GPT-3.5 เพราะเราไม่พูดแบบนั้นกับผู้เชี่ยวชาญจริง ๆ ดังนั้นวลีดังกล่าวกลับเผยให้โมเดลเห็นว่าผู้ใช้ไม่ใช่ผู้เชี่ยวชาญ
    • หากพิจารณาว่า AI ตัวเดียวกันช่วยได้ตั้งแต่สูตรอาหาร การวินิจฉัยเสียงผิดปกติของรถ การบ้านชีววิทยา ไปจนถึงการแปล ก็อาจมองได้ว่าแข็งแกร่งกว่า Tao แล้ว
      แม้จำกัดเฉพาะคณิตศาสตร์ ผมก็มองว่าแข็งแกร่งกว่าแล้วในแง่ที่ว่ามีความลึกระดับนี้ในแทบทุกสาขาย่อย

  • คำขอว่า “เปิด Pro แล้ว ช่วยค้นหาคำอธิบายเชิงเรขาคณิตของ X_3 ~ A3 ต่อได้ไหม โดยเลี่ยงพิกัดหรือโครงสร้างที่ฝืน ๆ?” นี่คือภาพของ ลูกค้าที่พึงพอใจกับฟีเจอร์แบบจ่ายเงิน โดยแท้

    • สำหรับหัวข้อขั้นสูง ดูเหมือนแค่โยนคำถามสั้นมาก ๆ ก็สามารถชักนำให้ได้คำตอบที่ไม่มีส่วนเกินได้ และพอรวมกับการเปิด Pro แล้ว ก็อาจยิ่งดีขึ้น
    • น่าทึ่งที่แม้แต่ Terence Tao ก็ต้องจ่ายเงินถ้าจะคุยกับ ChatGPT จริง ๆ แล้ว OpenAI น่าจะเป็นฝ่ายจ่ายเงินให้ Tao มากกว่า

  • บทสนทนาที่เคยมีกับ ChatGPT เมื่อ 4 ปีก่อนเป็นแบบนี้: https://i.imgur.com/WPaWgzZ.png
    เป็นยุคที่ทำให้อยากรู้ว่าอีก 4 ปีข้างหน้าจะไปได้ไกลแค่ไหน

    • อนาคตอาจน่าทึ่งก็ได้ แต่สิ่งนี้ก็น่าใช้อ้างอิงเช่นกัน: https://x.com/pronounced_kyle/status/1768852493092680036
    • ในสหราชอาณาจักรมองไม่เห็นรูป อยากรู้ว่าข้างในเป็นเนื้อหาอะไร
    • แสดงให้เห็นว่าคำฟันธงทำนอง “LLM ให้เหตุผลไม่ได้ เอาแต่ทวนประโยคพื้นฐาน ต่อให้ผ่านไป 100 ปีก็ฉลาดขึ้นไม่ได้” ล้าสมัยได้รวดเร็วแค่ไหน

  • แม้แต่เซสชัน ChatGPT ของอภิมหาอัจฉริยะ ก็ยังมีข้อเท็จจริงที่มนุษย์เขียน หนึ่งประโยค แล้ว LLM ตอบกลับมาสามหน้า ซึ่งชวนให้รู้สึกอุ่นใจอย่างประหลาด