เอนโทรปีคืออะไร?

 (johncarlosbaez.wordpress.com)
2 คะแนน โดย GN⁺ 2024-07-24 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

บทนำ

  • ครั้งหนึ่งเคยมีแพลตฟอร์มชื่อ Twitter ซึ่งผู้คนใช้ส่งข้อความสั้น ๆ หากัน ได้มีการบรรยายสั้น ๆ เกี่ยวกับเอนโทรปีผ่านแพลตฟอร์มนี้ และต่อมาได้ขยายเนื้อหาออกมาเป็นหนังสือเล่มเล็ก
  • เอนโทรปีหมายถึงปริมาณของข้อมูลที่เราไม่รู้เกี่ยวกับสถานการณ์ใดสถานการณ์หนึ่ง เพื่ออธิบายสิ่งนี้ในเชิงปริมาณ จึงครอบคลุมหลายหัวข้อ:
    • ข้อมูล
    • เอนโทรปีของแชนนอนและเอนโทรปีของกิ๊บส์
    • หลักเอนโทรปีสูงสุด
    • การแจกแจงแบบโบลทซ์มันน์
    • อุณหภูมิและการทำให้เย็นลง
    • ความสัมพันธ์ระหว่างเอนโทรปี พลังงานคาดหมาย และอุณหภูมิ
    • ทฤษฎีบทการแบ่งเท่ากัน
    • ฟังก์ชันการแบ่งส่วน
    • ความสัมพันธ์ระหว่างพลังงานคาดหมาย พลังงานอิสระ และเอนโทรปี
    • เอนโทรปีของออสซิลเลเตอร์ฮาร์มอนิกแบบคลาสสิก
    • เอนโทรปีของอนุภาคแบบคลาสสิกในกล่อง
    • เอนโทรปีของก๊าซอุดมคติแบบคลาสสิก
  • ไม่ได้กล่าวถึงกฎข้อที่สองของอุณหพลศาสตร์ (เอนโทรปีเพิ่มขึ้นเสมอ) เพราะเรื่องนี้ซับซ้อนมากพอที่จะต้องใช้หนังสืออีกเล่มหนึ่ง
  • ตั้งใจจะกล่าวถึงกลศาสตร์ควอนตัมให้น้อยที่สุด แต่ค่าคงที่ของพลังค์จำเป็นต่อการนิยามสูตรเอนโทรปีของระบบแบบคลาสสิก
  • ในฐานะนักฟิสิกส์คณิตศาสตร์ ผู้เขียนใช้เวลาอย่างมากในการทำให้แนวคิดต่าง ๆ แม่นยำและค้นหาตัวอย่างโต้แย้งแปลก ๆ เนื้อหาสำคัญอยู่ในกรอบ

สรุปโดย GN⁺

  • หนังสือเล่มนี้เป็นความพยายามที่จะอธิบายแนวคิดพื้นฐานของเอนโทรปีให้เข้าใจง่าย โดยเริ่มจากทฤษฎีสารสนเทศ แล้วต่อไปยังกลศาสตร์สถิติและอุณหพลศาสตร์
  • อธิบายเอนโทรปีไม่ใช่ในฐานะ "ความไร้ระเบียบ" แต่เป็นปริมาณของข้อมูลที่เราไม่รู้
  • ใช้แนวคิดพื้นฐานของกลศาสตร์ควอนตัมเท่าที่จำเป็นเพื่ออธิบายเอนโทรปีของระบบแบบคลาสสิก
  • มีประโยชน์สำหรับผู้ที่ต้องการเข้าใจฟิสิกส์อย่างลึกซึ้ง โดยเฉพาะในการทำความเข้าใจความสัมพันธ์ระหว่างกลศาสตร์สถิติกับทฤษฎีสารสนเทศ
  • โครงการอื่นที่มีลักษณะคล้ายกันคือชุด "Theoretical Minimum"

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-07-24
ความเห็นจาก Hacker News

  • มีเรื่องเล่าหนึ่งเกี่ยวกับเหตุผลที่ Shannon ตั้งชื่อ 'ความไม่แน่นอน' ในทฤษฎีสารสนเทศว่า 'เอนโทรปี'

    • John von Neumann เป็นผู้เสนอคำว่า 'เอนโทรปี'
    • เอนโทรปีถูกใช้ในกลศาสตร์สถิติอยู่แล้ว และช่วยให้ได้เปรียบเวลาโต้แย้ง

  • สิ่งสำคัญคือต้องเข้าใจว่า Shannon entropy เป็นปริมาณเชิงอัตวิสัยของผู้สังเกต

    • เอนโทรปีของตัวแปร X คือปริมาณข้อมูลที่จำเป็นเพื่อทำให้ความไม่แน่นอนของผู้สังเกตเป็น 0
    • ผู้สังเกตแต่ละคนอาจมีข้อมูลต่างกัน ดังนั้นความไม่แน่นอนก็อาจต่างกันได้

  • ในกลศาสตร์สถิติ เอนโทรปีอธิบายได้ว่าเป็นลอการิทึมของจำนวนวิธีที่ระบบสามารถจัดเรียงได้

    • การนึกเป็นคู่ของการทอยลูกเต๋าจะเข้าใจได้ง่าย

  • ในทฤษฎีสารสนเทศ เอนโทรปีอธิบายได้ว่าเป็นจำนวนบิตที่อัลกอริทึมบีบอัดต้องใช้เพื่อแทนไฟล์อย่างถูกต้อง

    • อินพุตที่ซ้ำๆ มีเอนโทรปีต่ำ จึงบีบอัดได้ดี

  • มีเพลย์ลิสต์เกี่ยวกับเอนโทรปีของ PBS Spacetime

  • ชอบแนวทางที่อธิบายเอนโทรปีของการแจกแจงความน่าจะเป็นแบบไม่ต่อเนื่องด้วยฮิสโตแกรม

    • วัดความน่าจะเป็นที่เมื่อโยนลูกบอลจำนวนมากแบบสุ่มแล้วจะได้การแจกแจงเป็นฮิสโตแกรมนั้น
    • เมื่อโยนลูกบอล N ลูกตามการแจกแจง P ความน่าจะเป็นที่ฮิสโตแกรมจะเท่ากับ P คือ 2^(-N * [log(k) - H(P)])
    • การแจกแจงแบบสม่ำเสมอมีเอนโทรปีสูงที่สุด

  • หนังสือ 'Entropy Demystified' อธิบายกฎข้อที่สองของเอนโทรปี

  • งานเขียนของ John Baez มอบความเพลิดเพลินอย่างมากในการเรียนระดับปริญญาตรี

  • ชอบแนวทางที่อธิบายเอนโทรปีว่าเป็นปริมาณข้อมูลที่ในทางทฤษฎีสามารถรู้ได้เกี่ยวกับระบบ

    • แปลกใจที่ไม่มีการพูดถึงปฏิสัมพันธ์กับการตีความแบบโคเปนเฮเกน

  • เอนโทรปีเชิงสารสนเทศเป็นขอบเขตล่างที่เข้มงวดว่าข้อมูลสามารถส่งได้อย่างมีประสิทธิภาพเพียงใด

    • ใช้การแจกแจงความน่าจะเป็นในการคำนวณเอนโทรปี