ทฤษฎีการเรียนรู้จากหลักการพื้นฐาน [PDF]

 (di.ens.fr)
1 คะแนน โดย GN⁺ 2024-03-04 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-03-04
ความคิดเห็นใน Hacker News

  • เวลาอ้างถึง ทฤษฎีบท No Free Lunch ควรแนบข้อแม้ไว้ด้วยว่าในทางปฏิบัติมันไม่ได้เป็นอุปสรรคมากนัก
    แค่สมมติว่าข้อมูลมาจากโลกจริงก็เพียงพอแล้วที่จะทำให้ทฤษฎีบทนี้ไม่เป็นตัวขัดขวาง
    หนังสือเล่มนี้ไม่ได้กล่าวถึงจุดนั้นเลย อยากให้説明ว่าคำว่า “การแจกแจงทั้งหมด” ในที่นี้ใกล้เคียงกับการทำให้ลำดับบิตที่เป็นไปได้ทั้งหมดซึ่งสร้างจากการโยนเหรียญ ขยายทั่วไปไปเป็นปริภูมิมิติสูงของฟังก์ชันไม่ต่อเนื่อง ส่วนฟังก์ชันต่อเนื่องเป็นเพียงสับเซตเล็กมากของทั้งหมดนั้น
    สุดท้ายแล้วความหมายใกล้เคียงกับว่า ถ้าข้อมูลมาจากการแจกแจงสุ่มแบบสม่ำเสมอของ “ความเป็นไปได้ทั้งหมด” เราก็ไม่สามารถเรียนรู้เพื่อทำนายสิ่งอย่างผลการโยนเหรียญครั้งถัดไปได้

    • ใช่ ทฤษฎีบท No Free Lunch แบบนี้ หรือผลลัพธ์ที่ตั้งสมมติฐานกว้างเกินไป มักดูมองโลกในแง่ร้ายเกินไป
      เช่น หลายคนมักคิดแบบซื่อ ๆ ว่าเพราะปัญหาการหยุดทำงานหรือทฤษฎีบทของ Rice ทำให้ การวิเคราะห์โปรแกรมแบบสถิต เป็นไปไม่ได้
    • คล้ายกับ ปัญหาอุปนัย ของ Hume หากไม่มีสมมติฐาน เราไม่สามารถเชื่อมโยงการสังเกตในอดีตกับการทำนายในอนาคตได้
      การที่ดวงอาทิตย์ขึ้นในตอนเช้ามาแล้วพันครั้งไม่ได้ทำให้ความเป็นไปได้ที่พรุ่งนี้มันจะขึ้นสูงขึ้นหรือต่ำลงโดยอัตโนมัติ ต้องมีสมมติฐานบางอย่าง เช่น เหตุการณ์ต่าง ๆ โดยทั่วไปจะดำเนินต่อไปคล้ายเดิมเมื่อเวลาผ่านไป
      สมมติฐานแบบนั้นดึงออกมาจากข้อมูลไม่ได้ แม้ในอดีตจะดำเนินไปคล้ายเดิม ก็ไม่ได้บอกอะไรเกี่ยวกับอนาคต
      ถึงอย่างนั้นวิทยาศาสตร์ก็ยังทำงานได้ดีแม้มีปัญหานี้ และแมชชีนเลิร์นนิงก็ยังทำงานได้ดีต่อไป เพราะเมื่อผู้คนออกแบบอัลกอริทึมก็ใช้ประสบการณ์และความรู้ล่วงหน้า
      สมมติฐานเหล่านี้เรียกว่า อคติอุปนัย และทำให้การเรียนรู้เอนเอียงไปหาลวดลายบางอย่าง เช่น “สิ่งที่อยู่ใกล้กันมักคล้ายกัน”
    • ไม่ค่อยเข้าใจว่าข้อแม้นั้นนำไปใช้ยังไง ผมเข้าใจว่าทฤษฎีบท No Free Lunch ไม่ได้หมายความว่าบางปัญหาเรียนรู้ไม่ได้ แต่หมายความว่าไม่มีอัลกอริทึมเดียวที่ทำงานได้ดีกับ ทุกกลุ่มปัญหา
      ตัวอย่างในบทพิสูจน์อาจเป็นของประดิษฐ์ แต่ในทางปฏิบัติเราก็เลือกอัลกอริทึมต่างกันตามสมมติฐานเพิ่มเติมไม่ใช่หรือ?

  • ทฤษฎีการเรียนรู้คือความพยายามทำให้วิทยาศาสตร์ธรรมชาติเป็นรูปแบบเชิงคณิตศาสตร์ไปจนถึงการตัดสินใจ สมมติฐานแฝงของวิทยาศาสตร์ธรรมชาติคือ โมเดลโลกเชิงอัลกอริทึม ที่ละเอียดพอสามารถทำนายการสังเกตในอนาคตจากการสังเกตในอดีตได้
    นี่เป็นสมมติฐานเดียวกับที่ Solomonoff ใช้เมื่อพิสูจน์การอนุมานแบบอุปนัย ดังนั้นควรเริ่มจาก การเข้ารหัสแบบทัวริงสมบูรณ์ ไม่ใช่การเข้ารหัสที่ Rissanen เรียกว่า “สากล”
    การเบี่ยงออกจากจุดเริ่มต้นนั้นเมื่อสร้างทฤษฎีย่อยเป็นเรื่องที่ยอมรับได้ แต่ถ้าไม่เริ่มจากตรงนั้น ก็จะนำไปสู่ผลลัพธ์ขยะ เช่น ความสับสนตลอด 50 ปีที่ผ่านมาว่า “หลักการความยาวคำอธิบายต่ำสุด” หมายถึงอะไรกันแน่
    อย่างไรก็ตาม หากพยายามสร้างโมเดลเชิงเหตุผลก็ไม่โอเค หากจะโมเดลระบบพลวัต เราไม่สามารถหลุดออกจากโค้ดที่ทัวริงสมบูรณ์ได้
    เราอาจมองระบบพลวัตเป็นเครื่องสถานะจำกัดที่มีสถานะจำนวนมากมากได้ แต่หากต้องการสร้างโค้ดที่บีบอัดได้อย่างเหมาะที่สุด จำเป็นต้องมีอรรถศาสตร์แบบทัวริงสมบูรณ์ที่ทำงานบนกราฟวนมีทิศทางของเกตสากล เช่น ฟลิปฟลอป หรือ NOR, NAND จำนวนมากแต่จำกัด

  • ตอนนี้รู้หรือยังว่าสาเหตุของ double descent คืออะไร?

    • ไม่รู้ว่าเป็นผลทั่วไปหรือไม่ แต่ทีม Circuits ของ Anthropic เสนอสมมติฐานที่ค่อนข้างน่าเชื่อ ช่วง descent แรกคือขั้นที่โมเดลท่องจำจุดข้อมูล ส่วนช่วง descent ที่สองคือขั้นที่ย้ายไปสู่การเรียนรู้ ฟีเจอร์ ในเชิงเรขาคณิต
      ในที่นี้ฟีเจอร์มองได้เป็นปริภูมิเวกเตอร์นามธรรมที่มีมิติสูงมาก
      ทีมนี้กำลังศึกษาลึกเกี่ยวกับแนวคิด superposition ที่นิวรอนหนึ่งตัวเข้ารหัสได้หลายแนวคิด
      พวกเขาทดลองกับโมเดลและชุดข้อมูลของเล่นที่แสดงฟีเจอร์แฝงอย่างชัดเจน แล้วบีบอัดลงเป็นชุดมิติข้อมูลขนาดเล็กเพื่อบังคับให้เกิด superposition และแสดงให้เห็นว่า superposition นั้นมีหน้าตาอย่างไรตามขนาดข้อมูลฝึก
      เห็นได้ชัดว่าเป็นโมเดลของเล่น แต่อย่างน้อยสำหรับโมเดลที่เกิด superposition ก็เป็นแนวคิดที่น่าเชื่อ
      https://transformer-circuits.pub/2023/toy-double-descent/ind...
    • เมื่อไม่นานมานี้มีบล็อกโพสต์ที่อ้างว่าสามารถอธิบาย double descent ด้วย กลศาสตร์สถิติ ได้ https://calculatedcontent.com/2024/03/01/describing-double-d...
      รายละเอียดเพิ่มเติมอยู่ที่นี่: https://calculatedcontent.com/2019/12/03/towards-a-new-theor...
    • ไม่ใช่ผู้เชี่ยวชาญ แต่บทความนี้สำรวจ double descent ด้วยโมเดลแบบง่าย
      การตีความคือ เมื่อขยายเข้าสู่บริเวณที่มีพารามิเตอร์มากเกิน เราสามารถปรับให้เหมาะไปทางค่าน้ำหนักที่มีนอร์มเล็กได้ และน้ำหนักแบบนี้ก็ทำให้ทั่วไปได้ดีอีกครั้ง
      เรื่องนี้อธิบาย double descent ได้โดยทั่วไปหรือไม่ และใช้กับโมเดลอื่นอย่างโครงข่ายประสาทเชิงลึกได้หรือไม่ เป็นอีกคำถามหนึ่ง
      https://arxiv.org/pdf/2303.14151.pdf
    • ยังไม่รู้ โดยส่วนตัวสมมติฐานที่ชอบคือ stochastic gradient descent เป็นแบบ stochastic ตามตัวอักษร
      มันปรับให้เหมาะกับชุดย่อยขนาดเล็กมาก ไม่ใช่คอร์ปัสฝึกทั้งหมด ดังนั้นเกรเดียนต์จึงไม่แม่นยำ
      แนวคิดคือการฝึกที่มากเกินไปจะผลักผ่านคำตอบเหมาะที่สุดเฉพาะที่ และแทนที่จะอ้อมแอ่ง overfitting เฉพาะจุด ก็ช่วยให้เคลื่อนไปทางการแจกแจงจริงซ้ำ ๆ

  • บนอินเทอร์เน็ตมี PDF คณิตศาสตร์ชั้นดีที่นักวิชาการ นักการศึกษา และวิศวกรเขียนไว้ให้ใช้ฟรีจำนวนมากจริง ๆ ปัญหาคือ เนื้อหาซ้ำซ้อน ก็มีมากมหาศาลเช่นกัน
    สงสัยว่าจะสร้างโมเดล AI ที่สังเคราะห์ชุดเอกสารที่ทับซ้อนกันให้เป็น PDF เดียวที่สอดคล้องกันและไม่ซ้ำซ้อนได้ดีหรือไม่

    • อาจแค่เลือกหนังสือที่ใช้ในวิชาของมหาวิทยาลัยนั้นก็ได้
    • ไม่จำเป็นต้องถึงขั้นใช้โมเดล AI หนังสือ Probabilistic Machine Learning ของ Murphy เป็นทั้งหนังสืออ้างอิงและแหล่งข้อมูลที่ยอดเยี่ยม

  • เป็นการจับผิดเล็กน้อย แต่ชื่อเรื่องชวนสับสน คำแรกควรเปลี่ยนเป็น Machine-Learning หรือ Statistical-Learning จะถูกกว่า
    ถ้าเป็นไปได้ก็อยากให้ผู้เขียนแก้แบบนั้นสักวัน

  • อ่านค่อนข้างยาก ตัวอย่างเช่น ในหน้าแรกของบทที่ 1 พูดถึง การทำให้รูปแบบกำลังสองมีค่าน้อยที่สุด แล้วแสดงสิ่งที่ดูเหมือนสูตรของวิธีกำลังสองน้อยที่สุดเชิงเส้น แต่ไม่มีคำอธิบายเลยว่ามันถูกต้องหรือไม่
    ถ้ามีคำอธิบายเพิ่มอีกหน่อยน่าจะช่วยได้
    ชอบตรงที่มีแบบฝึกหัดเยอะ

    • บทความนี้ดูเหมือนจะเหมาะกับคนที่มี พื้นฐานคณิตศาสตร์ อยู่บ้าง แล้วต้องการทำความเข้าใจทฤษฎีการเรียนรู้
      อีกอย่าง บทนั้นก็ระบุชัดเจนว่าเป็นการทบทวน จึงเท่ากับสมมติว่าผู้อ่านเคยเรียนเนื้อหานั้นจากที่อื่นมาแล้ว หรือจะไปเรียนต่อเอง
    • การบอกว่าเริ่มจาก หลักการพื้นฐาน ไม่ได้แปลว่าอ่านง่าย
    • อย่างที่คอมเมนต์พี่น้องบอกไว้ เนื้อหานี้ชัดเจนว่าไม่ได้มุ่งเป้าไปที่คนที่เพิ่งเริ่มเรียน
      แต่สัญชาตญาณนั้นถูกแล้ว ถ้าเขียนฟังก์ชันวัตถุประสงค์ของวิธีกำลังสองน้อยที่สุดทั่วไปออกมา มันจะกลายเป็น รูปแบบกำลังสอง
      การเลือกใช้คำว่า “กำลังสอง” ตรงนี้ไม่ใช่เรื่องบังเอิญ แต่คือการทำให้ฟังก์ชันกำลังสองเป็นกรณีทั่วไปในรูปเมทริกซ์
      ส่วนนั้นพูดถึงเวอร์ชันแบบเวกเตอร์ของการทำให้ฟังก์ชันกำลังสองมีค่าน้อยที่สุด
    • แน่นอนว่าดูไม่เหมือนเริ่มจากหลักการพื้นฐานจริง ๆ
    • วิธีกำลังสองน้อยที่สุดเป็นนิพจน์กำลังสอง
      กำลังสองหมายถึงมีพจน์ยกกำลังสองอยู่

  • น่าสนใจ มีหนังสือดี ๆ เกี่ยวกับหัวข้อนี้ไหม?

  • น่าสนใจ ไว้มีเวลามากกว่านี้ต้องลองเปิดดูคร่าว ๆ
    เท่าที่ดูผ่าน ๆ เหมือนจะครอบคลุมเนื้อหาหลายอย่างค่อนข้างมากร่วมกับหนังสือเล่มนี้ [1] อยากรู้ว่าสองเล่มนี้ต่างกันอย่างไร
    [1]: https://www.cambridge.org/core/books/understanding-machine-l...

    • หนังสือแมชชีนเลิร์นนิงที่ออกปี 2014 ตอนนี้ให้ความรู้สึกโบราณและเป็นประวัติศาสตร์ไปแล้ว

  • ตั้งตารอวันที่จะบอก GPT-5 ว่า “ผมมีไอเดียที่อยากลองทำ อ่านหนังสือเล่มนี้แล้วบอกหน่อยว่ามีเนื้อหาอะไรที่เกี่ยวข้องกับการทำให้มันทำงานได้ดีขึ้นไหม”

    • ฉันไม่เคยได้ยินว่า LLM สร้างไอเดียใหม่ขึ้นมาได้เลย เป็นไปได้เฉพาะตอนที่ไอเดียนั้นมีคนเคยลองทำมาก่อนแล้วไม่ใช่หรือ?
    • กำลังตระหนักว่าการ ส่งต่อบริบท เกี่ยวกับ $this คือส่วนที่ยาก
      การอธิบายบริบทของฉันในฐานะผู้ใช้ด้วยตัวแปรมิติต่ำไม่กี่ตัวนั้นยากมาก และตัวฉันเองก็ยังไม่เข้าใจสถานการณ์ของตัวเองในจักรวาลดีพอที่จะอธิบายให้ AI ฟัง
      คำศัพท์ที่ใช้ร่วมกับ AI ก็ยังมีไม่พอ อินเทอร์เน็ตให้ความรู้สึกเหมือนประสบความสำเร็จในการรับส่งสถานะที่ตกลงร่วมกันได้อย่างสม่ำเสมอผ่านโปรโตคอลร่วมชื่อ HTTP
      ตัวอย่างเช่น ภายใน Uber เราสามารถส่งต่อสถานะในโลกคำขอ-คำตอบที่แคบ ๆ อย่างหมายเลขโทรศัพท์ รถยนต์ GPS เวลาปัจจุบัน และการชำระเงินได้
      แต่ในฐานะนักเรียนที่พยายามเรียนอัลกอริทึม ฉันไม่รู้ว่าจะส่งต่อข้อมูลซับซ้อนอย่างอายุของฉัน สภาพแวดล้อมการใช้อินเทอร์เน็ต ที่อยู่อาศัย ความชอบคำอธิบายแบบกราฟิก ประวัติที่เคยกลัวหนังสือเล่มหนา ๆ หมุดหมายอย่าง CS50 และความชำนาญ Python ได้อย่างไร
      ไอเดียสตาร์ทอัพก็เหมือนกัน แค่พูดว่า “แรงดึงดูดต่ำ” ยังไม่พอ ต้องส่งต่อสถานะอย่างเครือข่าย VC·นักพัฒนา·ฝ่ายขาย หลักฐานของพาร์ตเนอร์ชิปที่ประสบความสำเร็จ จำนวนผู้เข้าร่วม และรายได้
      แม้แต่ในโลกจริง บริบทของแต่ละคนก็ต่างกันมากจนคำศัพท์แบบนี้มีอยู่แค่ในกลุ่มเล็ก ๆ เท่านั้น
      การสมมติว่าความรู้ดำรงอยู่เหมือนตัวแปรโกลบอลถาวรก็เป็นปัญหาเช่นกัน ในบางพื้นที่ผู้คนจำนวนมากไม่มีไฟฟ้าใช้และไม่มีแม้แต่โทรศัพท์พื้นฐาน ดังนั้นแม้ PDF ที่ AI แนะนำจะมีประโยชน์หรือไม่ก็ยังขึ้นอยู่กับโครงสร้างอำนาจและการกำกับดูแลในท้องถิ่น
      ไม่รู้ว่าอนาคตจะวิวัฒนาการไปอย่างไร แต่แค่คิดถึงความเป็นไปได้ก็น่าสนใจแล้ว คอมพิวเตอร์คุยกับเราได้ง่ายและเหมือนทารกที่ฉลาดตั้งแต่วันแรก แต่สุดท้ายคอขวดที่แท้จริงในการดึงประโยชน์ออกมาให้มากขึ้น อาจเป็นการที่เราไม่สามารถป้อนข้อมูลที่เพียงพอ เหมาะสม และราคาถูกได้
    • ถ้าอ่านหนังสือเล่มนั้นเอง ไอเดียจะดีขึ้น ในกระบวนการนั้นอาจได้เรียนรู้อะไรใหม่ ๆ ด้วย