ปรับเส้นช้างให้พอดีด้วยพารามิเตอร์ที่ไม่เป็นศูนย์ 4 ตัว

 (arxiv.org)
1 คะแนน โดย GN⁺ 2024-07-15 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • เกร็ดเล่าจากปี 1953 ที่ Enrico Fermi วิจารณ์โมเดลของ Freeman Dyson โดยอ้างคำพูดของ Johnny von Neumann คือจุดเริ่มต้นของปัญหา “ปรับโมเดลให้เข้ากับช้างได้ด้วยพารามิเตอร์ 4 ตัว”
  • คำอ้างนี้ถูกใช้เป็นคำวิจารณ์ว่า ต่อให้โมเดลดูเข้ากับข้อมูลได้ดีขึ้นเมื่อมีพารามิเตอร์มากขึ้น ก็ไม่ได้รับประกันถึง ความหมายทางกายภาพ เสมอไป
  • ความพยายามก่อนหน้านี้ยังไม่ตอบเงื่อนไขได้ครบถ้วน: Wei ใช้พารามิเตอร์มากกว่า 20 ตัว และ Mayer et al. ดูเหมือนใช้จำนวนเชิงซ้อน 4 ตัว แต่ในความเป็นจริงเทียบเท่ากับ พารามิเตอร์ 8 ตัว
  • วิธีแบบพารามิเตอร์เดียวของ Paintadosi สามารถวาดรูปร่างแบบใดก็ได้ แต่เป็นการเข้ารหัสรูปร่างไว้ในเลขจริงที่ต้องใช้ความละเอียดสูงมาก จึงไม่ตรงกับเจตนาของปัญหานี้
  • งานนี้ชี้ให้เห็นข้อจำกัดว่าตัวปัญหาเองยังนิยามไว้ไม่ชัดเจนพอ และพยายามหาวิธีปรับเส้นโค้งช้างด้วย พารามิเตอร์ที่ไม่เป็นศูนย์ 4 ตัว ภายใต้เงื่อนไขที่กำหนด

ปัญหาที่เริ่มต้นจากคำวิจารณ์ของ Fermi

  • ในปี 1953 Enrico Fermi วิจารณ์โมเดลของ Dyson โดยอ้างคำพูดของ Johnny von Neumann
    • “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
  • คำพูดนี้ถูกใช้ในความหมายว่า ถึงโมเดลจะซับซ้อนและดูเข้ากับข้อมูลได้ดี แต่ถ้าเป็นเพียงผลจากการเพิ่ม จำนวนพารามิเตอร์ ก็ยากจะรับประกันได้ว่ามีความหมายทางกายภาพจริง
  • คำถามสำคัญคือ ในทางปฏิบัติแล้วจะสามารถปรับให้ได้รูปช้างด้วย พารามิเตอร์ 4 ตัว จริงหรือไม่

จุดที่คำตอบเดิมยังไม่ตรงตามข้อกำหนด

  • Wei พยายามปรับให้ได้รูปช้างด้วย อนุกรมฟูเรียร์ (Fourier series) แต่ต้องใช้พารามิเตอร์มากกว่า 20 ตัวจึงได้ผลที่ดีพอสมควร
    • และยังถูกประเมินว่าผลลัพธ์อาจไม่ถึงขั้นทำให้ “ครูศิลปะชั้นประถมปีที่ 3” พอใจ
  • Mayer et al. ปรับให้ได้รูปช้างด้วย จำนวนเชิงซ้อน 4 ตัว
    • แต่จำนวนเชิงซ้อนมีส่วนจริงและส่วนจินตภาพ ดังนั้นในความเป็นจริงจึงเท่ากับใช้พารามิเตอร์ 8 ตัว
    • หากนับพารามิเตอร์ที่เป็นศูนย์ด้วย จะกลายเป็น 20 ตัว
    • ภาพที่ได้ถูกประเมินว่าสวยงามในสไตล์คล้าย Picasso
  • Paintadosi อ้างว่าใช้เพียงพารามิเตอร์เดียวก็พอ โดยสร้างฟังก์ชันที่วาดรูปร่างแบบใดก็ได้ด้วยพารามิเตอร์เดียว
    • อย่างไรก็ตาม วิธีนี้ใกล้เคียงกับการ เข้ารหัส รูปร่างลงในเลขจริงตัวเดียวที่ต้องมีความละเอียดระดับหลายร้อยหรือหลายพันหลัก จึงยากจะนับว่าเป็นคำตอบที่ใช้ได้สำหรับปัญหานี้
    • ประเด็นหลักของงานนั้นคือ การ นับจำนวนพารามิเตอร์ อาจล้มเหลวในฐานะตัวชี้วัดความซับซ้อนของโมเดล
  • งานวิจัยนี้จึงเริ่มจากการจัดระเบียบเงื่อนไขของปัญหา แล้วนำเสนอวิธีที่ต่างจากความพยายามก่อนหน้า โดยใช้ พารามิเตอร์ที่ไม่เป็นศูนย์ 4 ตัว เพื่อปรับให้ได้รูปช้าง

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-07-15
ความคิดเห็นจาก Hacker News

  • ชอบ มุมประชดประชัน ของบทความนี้ ถ้าเสริมด้วยว่าทำไม Fermi กับ von Neumann ถึงพูดแบบนั้นก็น่าจะดี
    ในฟิสิกส์ เวลาสร้างโมเดลของความเป็นจริง ไม่ควรเพิ่มพารามิเตอร์ทีละตัวเพื่อปรับให้ข้อมูลตรงกันเพียงเพราะไม่ตรงกับการทดลอง ตามอุดมคติควรมีพารามิเตอร์ 0 ตัวหรืออย่างน้อยที่สุด และในระดับที่ลึกกว่านั้น พารามิเตอร์ควรเกิดขึ้นอย่างเป็นธรรมชาติจากสมมติฐานที่เรียบง่าย หากมีพารามิเตอร์ 4 ตัว ก็ยากจะรู้ว่าโมเดลจับแง่มุมของความเป็นจริงได้จริงหรือแค่ปรับให้เข้ากับข้อมูลทดลอง

    • เรื่องนี้มีอยู่แล้วในย่อหน้าแรกของ论文 และตัว论文เองโดยรวมก็เป็น งานเขียนเชิงอารมณ์ขัน
      แต่ดูเหมือนว่าภูมิปัญญาในคติพจน์นั้นถูกลืมไปไม่น้อยในหลายสาขา ในหลายวงการ ข้อมูลถูก “โมเดล” ด้วยโมเดลรีเกรสชันขนาดใหญ่ที่มีพารามิเตอร์หลายสิบตัว หรือโครงข่ายประสาทที่มีพารามิเตอร์หลายพันล้านตัว

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • โมเดลที่มีพารามิเตอร์ 0 ตัว ดูจะใกล้กับคณิตศาสตร์มากกว่า เพราะสามารถอนุมานได้จากหลักการพื้นฐาน เช่น หากสมมติปริภูมิแบบยูคลิด ก็จะได้สูตรอย่างพื้นที่ผิวของทรงกลม
      มองว่าฟิสิกส์เริ่มขึ้นเมื่อมีค่าคงที่ธรรมชาติอย่างน้อยหนึ่งตัวที่ต้องวัด เช่น ความโค้งของปริภูมิจริง หรือความเร่งโน้มถ่วง
    • Hodgkin และ Huxley ทำงานบุกเบิกในการจำลองกิจกรรมประสาท โดยศึกษา แอกซอนยักษ์ ของหมึก
      พวกเขาดึงพารามิเตอร์หลายตัวจากการฟิตเส้นโค้งของศักย์ไฟฟ้าที่บันทึกได้และกระแสที่ฉีดเข้าไป และต่อมานานมากจึงพบว่าสิ่งเหล่านั้นสอดคล้องกับช่องโซเดียม ในทำนองเดียวกัน กระบวนการอื่นก็สอดคล้องกับช่องโพแทสเซียม ผมคิดว่าถ้ามีพารามิเตอร์หลายตัว แม้กระทั่ง 4 ตัว แต่ไม่สามารถอธิบายโมเดลด้วย 3 ตัวได้ ก็ไม่ใช่เรื่องที่ต้องกังวลเกินไป
    • ตัวอย่างที่นำไปใช้งานจริงครั้งแรกคือ Least square fitting of an elephant ของ James Wei (1975, Chemtech)

  • บทความนี้ตลกและเขียนดี แต่ผมคิดว่ามันมีอะไรมากกว่านั้น
    มักมีทั้งมุกและข้อสังเกตว่า ML/AI เป็นแค่ การฟิตเส้นโค้ง เท่านั้น ผมมองว่ายังไม่มีคำตอบว่า “แค่การฟิตเส้นโค้ง” จะก่อให้เกิดสิ่งที่มีความฉลาดได้หรือไม่ และส่วนใหญ่ก็เพราะความหมายของคำว่า “ฉลาด” แตกต่างกันไปในแต่ละคน
    ในที่นี้แสดงการฟิตเส้นโค้งที่สะอาดและเข้าใจง่ายมาก แต่โดยแก่นแล้วก็เป็นกระบวนการเดียวกัน คือกำหนดเป้าหมาย ปรับให้เหมาะที่สุดบน loss function และหวังว่าจะ generalize ได้ แน่นอนว่าช้างตัวนี้ generalize ไม่ได้ แต่ก็น่ารักดี
    ดังนั้นจึงพาเรากลับไปยังคำถามที่ von Neumann โยนไว้ว่า ทำไมถึงต้องใช้พารามิเตอร์มากขนาดนั้น น่าขันที่ช่วงหลังเราทำอะไรได้มากมายด้วยพารามิเตอร์จำนวนมหาศาล และคำตอบก็กลายเป็นว่า “ถ้ามีพารามิเตอร์มาก ก็ทำเรื่องเจ๋ง ๆ ได้”

    • การฟิตเส้นโค้ง กับโลกจริงอย่างต่อเนื่องสามารถสร้างสติปัญญาได้ สิ่งที่ขาดไปไม่ใช่อะไรบางอย่างภายในโมเดล แต่เป็นกลไกในการสำรวจ ค้นหา และขยายประสบการณ์
      LLM ในปัจจุบันเพียงอาศัยประสบการณ์ของมนุษย์ ยังไม่ได้มีส่วนร่วมมากนักในการสร้างประสบการณ์ของตัวเอง ดังนั้นจึงถูกเรียกว่าเป็น imitation learning หรือนกแก้วนั่นเอง แต่ถ้าโมเดลมีลักษณะเหมือน agent มากขึ้น ก็สามารถสร้างประสบการณ์ที่เป็นประโยชน์ได้เอง และ AlphaZero ก็แสดงให้เห็นแล้ว
    • ใน AI ยิ่งมี พารามิเตอร์มาก ยิ่งดี แต่ในฟิสิกส์กลับตรงกันข้าม
    • รายละเอียดคือหัวใจสำคัญ ใน reinforcement learning เป้าหมายจะเคลื่อนที่ และใน deep learning มักใช้เทคนิคอย่าง early stopping เพื่อป้องกันการ optimize มากเกินไป

  • Freeman Dyson เล่าถึงเกร็ดที่เป็นแรงบันดาลใจให้论文นี้ในการสัมภาษณ์ Web of Life มีลิงก์ที่ข้ามไปยังส่วนการฟิตช้างโดยตรงด้วย
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • พารามิเตอร์ตัวเดียวก็พอ: https://aip.scitation.org/doi/10.1063/1.5031956

    • คล้ายกับเรื่องที่ว่าถ้าเก็บข้อมูลไว้ใน ชื่อไฟล์ แทนที่จะอยู่ในไฟล์ ก็จะได้การบีบอัดแบบไม่จำกัด
    • ใน论文กล่าวไว้แบบนี้

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • จำนวนพารามิเตอร์ เป็นมาตรวัดที่ผิด ควรดูในทางอย่างปริมาณข้อมูลที่บรรจุอยู่ในค่าพารามิเตอร์ เอนโทรปี หรือความซับซ้อนแบบ Kolmogorov
    • คล้ายกับการบอกว่าฮาร์ดดิสก์ทั้งลูกคือ ตัวเลขหนึ่งตัว

  • น่าเสียดายที่ใน论文ไม่ได้ระบุพจน์คงที่ หรือค่าเฉลี่ย r_0 ไว้ ดูคร่าว ๆ น่าจะอยู่แถว 180 แต่ถ้าจะสร้างภาพขึ้นมา ต้องปรับค่านี้ให้พอดี และดูเหมือนไม่มีทางที่จะไม่มองว่านี่เป็นพารามิเตอร์จำเป็นตัวที่ห้า
    ดังนั้นคงยากจะบอกว่าบรรลุเป้าหมายจริง ๆ แน่นอนว่ามันสนุกมากจริง ๆ

    • ในเนื้อหาบอกว่าค่านั้นคือ ค่าเฉลี่ย ของจุดข้อมูลที่ต้องการฟิต จะนับสิ่งนี้เป็นพารามิเตอร์หรือไม่น่าจะขึ้นกับว่ามองการทำ standardization เป็นส่วนหนึ่งของโมเดลหรือไม่

  • เป็นตอนที่ยอดเยี่ยมจากบทสัมภาษณ์ Web of Stories ของ Dyson และมันโดนใจผมเหมือนกับที่โดนใจผู้เขียน
    เป็นเรื่องตอนที่ Dyson นำผลลัพธ์เบื้องต้นเกี่ยวกับ ทฤษฎีสเกลาร์เทียม ของไพออนไปให้ Fermi ดู Fermi ปัดตกทั้งหมดอย่างรวดเร็วมาก ซึ่งทำให้ Dyson ช็อก แต่ก็ช่วยไม่ให้เขาเสียเวลาไปมากกว่านี้
    Fermi: เวลาคุณคำนวณเชิงทฤษฎี คุณต้องมีแบบจำลองทางฟิสิกส์ที่ชัดเจน หรือไม่ก็มีรากฐานทางคณิตศาสตร์ที่เคร่งครัด คุณไม่มีทั้งสองอย่าง คุณใช้พารามิเตอร์อิสระกี่ตัวในการฟิต?
    Dyson: 4 ตัวครับ
    Fermi: Johnny von Neumann มักจะพูดแบบนี้เสมอว่า “พารามิเตอร์ 4 ตัวก็ฟิตช้างได้แล้ว และถ้า 5 ตัวก็ทำให้งวงมันแกว่งได้”

  • อยากให้มี อารมณ์ขัน ใน arXiv มากกว่านี้
    ถ้าผมค้นพบอะไรบางอย่างในเวลาส่วนตัวโดยไม่ใช้ทรัพยากรของบริษัท ผมจะประกาศมันด้วยวิธีที่ตลกที่สุดเท่าที่เป็นไปได้

    • ใน arXiv มีอารมณ์ขันค่อนข้างเยอะอยู่แล้ว และนั่นเป็นหนึ่งในเหตุผลที่ทำให้ arXiv ยอดเยี่ยม
      รายการบางส่วน:
      https://academia.stackexchange.com/questions/86346/is-it-ok-...
      https://www.ellipsix.net/arxiv-joke-papers.html
    • Pretraining on the Test Set Is All You Need
      https://arxiv.org/abs/2309.08632
    • มีอยู่แล้ว เรียกว่าหมวด General Math อะไรจะตลกไปกว่าบทพิสูจน์ สมมติฐานรีมันน์ ความยาว 2 หน้าอีกล่ะ?

  • จะไม่พูดถึง Dr. Octave Levenspiel ก็ไม่ได้ ตอนผมเรียนปริญญาตรี เขาเป็นศาสตราจารย์กิตติคุณ และทำงานไว้มากมาย รวมถึงด้าน ฟลูอิไดซ์เบด อุตสาหกรรม
    การถกเรื่องเส้นโค้งรูปช้างในตอนนั้นอยู่ในบริบทของการวิจารณ์การฟิตแบบหลายพารามิเตอร์ที่ซับซ้อนในปฏิกิริยาเร่งปฏิกิริยาแบบไม่เป็นเนื้อเดียว https://levenspiel.com/elephants/
    เขายังเคยพยายามตีพิมพ์บทความด้านอากาศพลศาสตร์เกี่ยวกับการบินของไดโนเสาร์อยู่ช่วงหนึ่งด้วย http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    ความใฝ่รู้แบบนี้ทำให้นึกถึงการหมุนจานของ Feynman อยู่หน่อย ๆ

  • ทำไมไม่มีการพูดถึง On Growth and Form ของ D’Arcy Thompson? แบบจำลองเชิงพารามิเตอร์ของเขาสำหรับสิ่งมีชีวิตนั้นเจ๋งทีเดียว แม้จะเรียบง่ายมากก็ตาม
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • เท่าที่ผมเข้าใจ อนุกรมฟูเรียร์ ที่มีพารามิเตอร์เป็นจำนวนจริง r(theta) = sum(r_k cos(k theta)) วาดได้แค่รูป “วงกลมกระเพื่อม” ที่มีจุดเพียงจุดเดียวบนแต่ละรังสีที่ลากออกจากจุดกำเนิด
    พารามิเตอร์เชิงซ้อน z(theta) = sum(e^(z_ theta)) สามารถวาดรูปทรงที่คดเคี้ยวกว่านั้นได้ นั่นคือเอพิไซเคิล ปากกาสามารถย้อนกลับได้ระหว่างที่แขนวาดหมุนอยู่ และพารามิเตอร์แต่ละตัวสามารถขยับจุดไปยังตำแหน่งใดตำแหน่งหนึ่งบนวงกลมเล็ก ๆ รอบจุดที่คำนวณจากพารามิเตอร์ก่อนหน้า
    วิดีโอ 3B1B ที่ต้องดู: https://m.youtube.com/watch?v=r6sGWTCMz2k
    พารามิเตอร์เชิงซ้อนหนึ่งตัวเท่ากับพารามิเตอร์จริง 2 ตัว ดังนั้นควรเปรียบเทียบเส้นโค้งโคไซน์ที่ดีที่สุด 4 เส้นกับเส้นโค้งเอ็กซ์โปเนนเชียลเชิงซ้อนที่ดีที่สุด 2 เส้น