เอนโทรปีคืออะไร?
(johncarlosbaez.wordpress.com)- เป็นร่างหนังสือสั้น ๆ ที่พยายามทำให้เอนโทรปีเป็นปริมาณของ จำนวนข้อมูลที่โดยหลักการแล้วรู้ได้ แต่เรายังไม่รู้
- ใช้ปริศนาหลักว่าเหตุใด ก๊าซไฮโดรเจน ที่อุณหภูมิห้องและความดันบรรยากาศจึงมีเอนโทรปีเทียบเท่ากับข้อมูลที่ไม่รู้ประมาณ 23 บิต ต่อโมเลกุล
- เริ่มจากเอนโทรปีของ Shannon และเอนโทรปีของ Gibbs แล้วเชื่อมต่อไปถึงหลักการเอนโทรปีสูงสุด, การแจกแจง Boltzmann, อุณหภูมิ, ฟังก์ชันพาร์ทิชัน และพลังงานอิสระ
- ตั้งใจไม่ลงลึกในกฎข้อที่สองของเทอร์โมไดนามิกส์ ชีววิทยา และฟิสิกส์ของหลุมดำ และไม่อธิบายเอนโทรปีว่าเป็น ความไร้ระเบียบ
- แม้จะพยายามคำนวณเอนโทรปีของระบบคลาสสิก ก็ยังต้องใช้ ค่าคงที่ Planck และกลศาสตร์ควอนตัมเล็กน้อย เนื่องจากหน่วยปริมาตรในปริภูมิตำแหน่ง-โมเมนตัม
รูปแบบของหนังสือและจุดเริ่มต้น
- What is Entropy? คือร่างปัจจุบันของหนังสือสั้น ๆ ว่าด้วยเอนโทรปี
- เดิมมีชื่อทางเลือกว่า 92 Tweets on Entropy แต่เห็นว่าไม่เหมาะ เพราะเมื่อเวลาผ่านไปคนอาจจำไม่ได้ว่า ‘tweets’ คืออะไร
- เป็นเวอร์ชันที่ขยายเล็กน้อยจากการบรรยายเรื่องเอนโทรปีในรูปแบบข้อความสั้น ๆ บน Twitter
นิยามที่มองเอนโทรปีเป็นข้อมูล
- เอนโทรปีหมายถึง จำนวนข้อมูลเกี่ยวกับสถานการณ์ที่เรายังไม่รู้
- ข้อมูลนั้นต้องเป็นสิ่งที่โดยหลักการแล้วสามารถเรียนรู้ได้
- หนังสือมุ่งทำให้แนวคิดนี้กลายเป็นแนวคิดที่แม่นยำและวัดเป็นปริมาณได้
- คำถามหลักคือเหตุใด ก๊าซไฮโดรเจน ที่อุณหภูมิห้องและความดันบรรยากาศจึงมีเอนโทรปีเทียบเท่ากับข้อมูลที่ไม่รู้ประมาณ 23 บิต ต่อโมเลกุล
แนวคิดที่เชื่อมโยงเพื่อไขปริศนา
-
ข้อมูลและเอนโทรปี
- เริ่มจากแนวคิดเรื่องข้อมูล แล้วกล่าวถึง เอนโทรปีของ Shannon และ เอนโทรปีของ Gibbs
- อธิบายวิธีจัดการสถานะเชิงความน่าจะเป็นผ่านหลักการเอนโทรปีสูงสุดและการแจกแจง Boltzmann
-
อุณหภูมิ พลังงาน และฟังก์ชันพาร์ทิชัน
- เชื่อมโยงความสัมพันธ์ระหว่างอุณหภูมิและ ความเย็น(coolness) รวมถึงเอนโทรปีกับพลังงานคาดหมาย
- กล่าวถึงว่าทฤษฎีบทการแบ่งเท่า, ฟังก์ชันพาร์ทิชัน, พลังงานคาดหมาย และพลังงานอิสระเกี่ยวพันกันอย่างไรในการคำนวณเอนโทรปี
-
ตัวอย่างของระบบคลาสสิก
- เอนโทรปีของตัวแกว่งฮาร์มอนิกแบบคลาสสิก
- เอนโทรปีของอนุภาคคลาสสิกในกล่อง
- เอนโทรปีของก๊าซอุดมคติแบบคลาสสิก
หัวข้อที่ตั้งใจไม่กล่าวถึง
- แทบไม่กล่าวถึง กฎข้อที่สองของเทอร์โมไดนามิกส์
- เรื่องที่ว่าเอนโทรปีเพิ่มขึ้นเสมอนั้นน่าสนใจแต่มีปัญหามาก หากจะอธิบายให้ถูกต้องจำเป็นต้องมีหนังสือแยกอีกเล่ม
- ไม่รวมบทบาทของเอนโทรปีในชีววิทยาและฟิสิกส์ของหลุมดำ
- แง่มุมของเอนโทรปีที่มักพบในหนังสือฟิสิกส์ยอดนิยมอยู่นอกขอบเขตของหนังสือเล่มนี้
- ไม่เรียกเอนโทรปีว่า ‘ความไร้ระเบียบ’
ค่าคงที่ Planck ที่จำเป็นแม้ในฟิสิกส์คลาสสิก
- เพื่อลดความรู้พื้นฐานด้านฟิสิกส์ที่ต้องมี หนังสือจึงลดคำอธิบาย กลศาสตร์ควอนตัม ให้น้อยที่สุดเท่าที่ทำได้
- อย่างไรก็ตาม สูตรเอนโทรปีของระบบคลาสสิกทั้งสามมี ค่าคงที่ Planck ปรากฏอยู่
- ค่าคงที่ Planck ให้หน่วยปริมาตรในปริภูมิตำแหน่ง-โมเมนตัม
- ต้องมีหน่วยปริมาตรนี้จึงจะนิยามเอนโทรปีของระบบเหล่านั้นได้
- แม้จะจัดการกับก๊าซไฮโดรเจนในแบบคลาสสิกให้มากที่สุด หากต้องการได้สูตรเอนโทรปีประมาณค่าที่ดี ก็ยังต้องใช้ กลศาสตร์ควอนตัมเพียงเล็กน้อย
ลักษณะทางคณิตศาสตร์และวิธีอ่าน
- หนังสือใช้สไตล์ของนักฟิสิกส์คณิตศาสตร์ในการทำให้แนวคิดแม่นยำ และใช้เวลามากกับการพิจารณาตัวอย่างโต้แย้งที่แปลก
- อาจใช้เวลากับรายละเอียดทางเทคนิคมากกว่านักฟิสิกส์ที่ทำงานจริง
- หากรู้สึกว่าเนื้อหาทางเทคนิคมากเกินไป ก็ข้ามไป “tweet” ถัดไปได้
- เนื้อหาที่สำคัญจริง ๆ อยู่ใน กรอบ
- อีกวิธีหนึ่งคืออ่านให้จบก่อน แล้วค่อยกลับมาเรียนรู้รายละเอียดภายหลัง
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
มีเกร็ดเล่าชื่อดังที่ Shannon เล่าไว้ว่า: “เรื่องที่ผมครุ่นคิดมากที่สุดคือชื่อ จะเรียกว่า ‘information’ ดีไหม แต่คำนั้นถูกใช้กันมากเกินไป เลยตัดสินใจว่าจะเรียกว่า ‘uncertainty’ พอได้คุยกับ John von Neumann เขาก็มีความคิดที่ดีกว่า Von Neumann บอกว่า ‘เรียกมันว่า entropy เถอะ ประการแรก ฟังก์ชันความไม่แน่นอนของคุณถูกใช้ในชื่อนี้อยู่แล้วในกลศาสตร์สถิติ จึงมีชื่ออยู่แล้ว ประการที่สอง และสำคัญกว่า ไม่มีใครรู้จริง ๆ ว่า entropy คืออะไร ดังนั้นคุณจะได้เปรียบในการถกเถียงเสมอ’”
การอภิปรายว่า entropy ของ Shannon เหมือนกับ entropy ในอุณหพลศาสตร์หรือไม่ รวมถึงเอกสารอ้างอิง ดูได้จากคำตอบใน MathOverflow SE เหล่านี้(https://mathoverflow.net/questions/403036/john-von-neumanns-...)
ผมรู้สึกว่าเพิ่งเข้าใจ Shannon entropy ได้จริง ๆ ก็ตอนที่มองมันเป็น ปริมาณเชิงอัตวิสัย กล่าวคือไม่ใช่สิ่งที่ถูกสังเกต แต่เป็น คุณสมบัติของผู้สังเกต
entropy ของตัวแปร X คือปริมาณข้อมูลที่จำเป็นเพื่อทำให้ความไม่แน่นอนที่ผู้สังเกตมีต่อค่าของ X กลายเป็น 0 ดังนั้นสำหรับตัวแปร X เดียวกัน ความไม่แน่นอนของผมกับของคนอื่นอาจต่างกันได้ เป็นเรื่องธรรมดา เพราะแต่ละคนอาจได้รับข้อมูลเกี่ยวกับ X ต่างกัน H(X) ควรเป็น H_{observer}(X) และยิ่งไปกว่านั้นควรเป็น H_{observer, time}(X) งานของ Shannon ชัดเจนในแง่อื่น ๆ แต่ส่วนนี้ถูกข้ามไปแบบคร่าว ๆ
ลองดู cross-entropy ของสองการแจกแจง H[p, q] = -Σ p_i log q_i ตัวอย่างเช่น p อาจเป็นการแจกแจงความถี่จริงของผลลัพธ์เมื่อทอยลูกเต๋าจริง ๆ ส่วน q อาจเป็นการแจกแจงที่ผมเชื่อ p_i มองได้ว่าเป็นความน่าจะเป็นเชิงภววิสัย และ q_i เป็นความน่าจะเป็นเชิงอัตวิสัย cross-entropy ใกล้เคียงกับค่าที่วัดว่าโดยเฉลี่ยแล้วเราประหลาดใจแค่ไหนเมื่อสังเกตเห็นผลลัพธ์หนึ่ง ๆ
จุดที่น่าสนใจคือ H[p, p] <= H[p, q] หมายความว่าถ้าการแจกแจงความเชื่อผิด cross-entropy จะสูงกว่าตอนที่มีความเชื่อถูกต้อง q=p สิ่งนี้รับประกันได้จากความเว้าของลอการิทึม ดังนั้นเราจึงเปรียบเทียบความเชื่อได้: q ใดที่ทำให้ H[p,q] ต่ำที่สุด q นั้นย่อมใกล้ความจริงกว่า
cross-entropy ยังแยกเป็นสองส่วนได้ เช่น H[p, q] = H[p] + D[q||p] พจน์แรกคือ entropy ของ p เป็นความไม่แน่นอนแบบสุ่มโดยธรรมชาติ หรือ aleatoric uncertainty ของปรากฏการณ์ที่ต้องการทำแบบจำลอง ส่วนพจน์ที่สองคือ KL divergence แทนความไม่แน่นอนที่เพิ่มขึ้นเพราะความเชื่อผิด หรือ epistemic uncertainty
เมื่อวัดความเชื่อของผู้สังเกตต่างกัน เราเพียงกำลังดูการแจกแจงที่ต่างกัน และการแจกแจงเหล่านั้นก็อาจมี entropy ต่างกันได้ เช่นเดียวกับที่อาจมีค่าเฉลี่ยหรือความแปรปรวนต่างกัน
แต่ถ้าไม่รู้ seed entropy จะสูงมาก
entropy + information = จำนวนบิตทั้งหมดที่ใช้ในคำบรรยายที่สมบูรณ์
ไข่ที่ยังไม่แตกมี entropy ต่ำ มีเพียงวิธีเดียวที่ไข่จะอยู่ในสภาพไม่แตก และอาจแทนสถานะของไข่ด้วย 1 บิตได้
ไข่ที่แตกมี entropy สูง วิธีที่เศษไข่แตกจะวางตัวได้นั้นมีมากมายตามใจ
รายการที่เรียงตำแหน่งและทิศทางของเศษไข่แตกแต่ละชิ้นตามลำดับละติจูด ลองจิจูด และทิศเข็มทิศ กลับมี entropy ต่ำอีกครั้ง สำหรับกรณีไข่แตกเฉพาะหนึ่งกรณี รายการนั้นเขียนได้เพียงแบบเดียว
หากบีบอัดรายการนั้นด้วย zip ก็กลับมี entropy สูงอีกครั้ง ข้อมูลในไฟล์ .zip ดูแทบจะเหมือนสุ่ม และบีบอัดให้เล็กลงไปอีกไม่ได้ จนกว่าจะคลายบีบอัดอีกครั้ง
ในทำนองเดียวกัน หากต้องส่งรายการที่ไม่บีบอัดผ่านช่องสัญญาณที่มีข้อจำกัดด้านแบนด์วิดท์ ผู้รับไม่สามารถตั้งสมมติฐานใด ๆ เกี่ยวกับเนื้อหาได้ ดังนั้นต่อให้มีโครงสร้างอยู่ ก็ไม่ต่างจากข้อมูลสุ่ม และ entropy ในทางปฏิบัติก็กลับสูงอีกครั้ง
ผมชอบแนวทางที่อาจารย์กลศาสตร์สถิติใช้มาก ในแทบทุกสถานการณ์ entropy ท้ายที่สุดแล้วคือค่าลอการิทึมของจำนวนวิธีที่จัดเรียงระบบได้(https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula)
ส่วนตัวแล้ว ผมคิดว่าเข้าใจง่ายที่สุดผ่าน คู่ผลลัพธ์ของลูกเต๋าสองลูก
น่าเสียดายที่มันไม่ค่อยเข้ากับการใช้ของ Shannon นัก นอกจากในความหมายที่ผิวเผินมาก ๆ ดังนั้นการตีความนี้จึงยังคงอยู่ในขอบเขตของฟิสิกส์อย่างมั่นคง
ดังนั้น information กับ entropy จึงต่างกัน entropy คือ การที่ผมรู้ว่าผมไม่รู้ เป็นการหาปริมาณความรู้เกี่ยวกับขนาดของสิ่งที่ไม่รู้
จุดที่ผมเห็นว่าบทความผิดหรือยังไม่กระชับพออยู่ตรงนี้ ข้อความด้านล่างในสายตาผมรวมไปถึง ‘สิ่งที่ไม่รู้ด้วยซ้ำว่าไม่รู้’ ซึ่งไม่ใช่ entropy:
https://en.wikipedia.org/wiki/Thermodynamic_beta
ในทฤษฎีสารสนเทศ ผมมักคิดถึงเอนโทรปีแบบนี้เสมอ: “ถ้ามี อัลกอริทึมบีบอัด ที่ฉลาดจริง ๆ จะต้องใช้กี่บิตถึงจะแทนไฟล์นี้ได้อย่างถูกต้อง?”
กล่าวคือ อินพุตที่มีการซ้ำเยอะจะมีเอนโทรปีต่อบิตไม่มาก จึงบีบอัดได้ดี อัลกอริทึมบีบอัดสมัยใหม่ดีพอสำหรับข้อมูลส่วนใหญ่ จึงใช้เป็นค่าประมาณที่สมเหตุสมผลของเอนโทรปีจริงได้
สำหรับเอนโทรปีของการแจกแจงความน่าจะเป็นแบบไม่ต่อเนื่อง ผมชอบคำอธิบายที่เป็นรูปธรรมแบบนี้ ผมชอบบทความของ John Baez แต่พอไล่ดู PDF แล้วก็แปลกใจที่เหมือนจะไม่ได้พูดถึงมุมมองนี้
ลองคิดว่าการแจกแจงเป็นฮิสโตแกรมของหลายช่วง แล้วเอนโทรปีก็คือค่าที่วัดความน่าจะเป็นว่า เมื่อผมสุ่มโยนลูกบอลจำนวนมาก ๆ ลงในช่วงเหล่านั้น การกระจายของลูกบอลจะดูเหมือนฮิสโตแกรมนั้น โดยทั่วไปสิ่งที่คาดหวังคือการแจกแจงสม่ำเสมอข้ามช่วงต่าง ๆ ดังนั้นเอนโทรปีจึงวัดว่าเหตุการณ์หายากแบบอื่น ๆ หรือในภาษาความน่าจะเป็นคือ ความเบี่ยงเบนขนาดใหญ่ จากพฤติกรรมปกติ จะเกิดขึ้นได้มากแค่ไหน
ให้เจาะจงขึ้น ถ้า P = (P1, ..., Pk) เป็นการแจกแจงหนึ่ง เมื่อ N มีค่ามากมาก ความน่าจะเป็นที่โยนลูกบอล N ลูกแล้วได้ฮิสโตแกรมที่ดูเหมือน P จะประมาณ 2^(-N * [log(k) - H(P)]) โดยที่ H(P) คือเอนโทรปี ถ้า P เป็นการแจกแจงสม่ำเสมอ H(P)=log(k) ดังนั้นเลขชี้กำลังเป็น 0 และค่าประมาณเป็น 1 ซึ่งหมายความว่าฮิสโตแกรมที่มีความเป็นไปได้สูงล้นหลามที่สุดคือการแจกแจงสม่ำเสมอ
นี่คือเอนโทรปีสูงสุดที่เป็นไปได้ ดังนั้นฮิสโตแกรมอื่น ๆ จะปรากฏด้วยความน่าจะเป็น 2^(-c*N) สำหรับ c > 0 บางค่า กล่าวคือหายากมาก และยิ่งโยนลูกบอลมากขึ้นก็ยิ่งหายากแบบเอ็กซ์โปเนนเชียล เอนโทรปีคือค่าที่วัดระดับนั้น ยิ่งการแจกแจง “สม่ำเสมอน้อย” ก็ยิ่งมีความเป็นไปได้น้อยกว่า ดังนั้นเอนโทรปีจึงวัดความสม่ำเสมอในความหมายหนึ่งด้วย ในทฤษฎีความเบี่ยงเบนขนาดใหญ่ ข้อความเฉพาะนี้เรียกว่า ทฤษฎีบทของ Sanov และบทบาทที่เอนโทรปีทำหน้าที่คือ “ฟังก์ชันอัตรา”
การตีความเอนโทรปีแบบการนับที่ผู้คนพูดถึงก็เกี่ยวข้องกันในระดับสูง ในทฤษฎีบทของ Sanov ความน่าจะเป็นคือจำนวนผลลัพธ์ที่ “ดูเหมือน P” หารด้วยจำนวนผลลัพธ์ทั้งหมด และตัวเศษก็คือนับจำนวนโครงแบบที่มีคุณสมบัติเฉพาะบางอย่าง ในกรณีนี้คือการจัดวางลูกบอลกับช่วงที่ดูเหมือน P
มีนิยามที่เทียบเท่ากันได้หลายแบบ และแต่ละแบบมีข้อดีและการวางนัยทั่วไปต่างกัน แต่มุมมองนี้ช่วยปัดความลึกลับรอบ ๆ เอนโทรปีออกไปได้เป็นพิเศษ
เพลย์ลิสต์เรื่องเอนโทรปีของ PBS Spacetime: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...
เอนโทรปีสารสนเทศคือค่าขอบล่างอย่างเข้มงวดของประสิทธิภาพในการส่งข้อมูลนี้ หรือก็คือค่าคาดหมายของจำนวนบิตที่ต้องส่ง เมื่อรู้ การแจกแจงความน่าจะเป็น ที่สร้างข้อมูลนี้ขึ้นมา
แม้ในบริบทของการคำนวณเอนโทรปีสารสนเทศของสตริงบิตหรือภาษาอังกฤษ ก็เป็นการสร้างการแจกแจงความน่าจะเป็นเชิงประจักษ์จากข้อมูล โดยใช้ความถี่สัมพัทธ์ของ 0 กับ 1, ตัวอักษร, n-gram ฯลฯ แล้วจึงคำนวณเอนโทรปีของการแจกแจงนั้น ผมไม่ได้ถูกใจนิยามของ Baez มากนัก แต่เมื่อคิดถึงความน่าเชื่อถือของเขาแล้วก็ยากจะไปแย้งแบบไม่ระวัง
“กฎข้อที่สองของอุณหพลศาสตร์ หรือคำกล่าวว่าเอนโทรปีเพิ่มขึ้นเสมอ ผมส่วนใหญ่หลีกเลี่ยงไป มันน่าสนใจแต่ยากเกินไป ถ้าจะอธิบายให้ถูกต้องคงต้องมีหนังสืออีกเล่มหนึ่ง!”
ถ้าสนใจ ผมกำลังอ่าน Entropy Demystified ของ Arieh Ben-Naim อยู่ ซึ่งพูดถึงแง่นี้ในทิศทางที่แทบเหมือนกัน
บางครั้งผมก็คิดว่า เอนโทรปี/ความสุ่ม ใหม่ ๆ มาจากไหน ถ้ามองสถานะแรกสุดของเอกภพว่าเป็นอนุภาคจุดที่หนาแน่นอนันต์และขยายตัวออก ก็ต้องมีความสุ่มหรือความหลากหลายบางอย่างที่ทำให้มันขยายตัวอย่างไม่สม่ำเสมอ และสิ่งนั้นก็น่าจะทำให้สสารมีมากกว่าปฏิสสาร หรือทำให้เกิดกาแล็กซี กระจุกกาแล็กซี เป็นต้น
ถ้าคิดถึงระบบโดดเดี่ยวที่มีอนุภาคสถิตบางตัวอยู่ เป็นไปได้ไหมที่อนุภาคส่วนน้อยบางส่วนจะเริ่มเคลื่อนที่และนำเอนโทรปีเข้ามา? เอนโทรปีสามารถถูกเหนี่ยวนำขึ้นเองอย่างอัตโนมัติอย่างน้อยในระดับควอนตัมได้ไหม? ถ้าอธิบายเรื่องนี้ได้ ก็น่าจะช่วยให้เข้าใจจุดกำเนิดของเอกภพได้ดีขึ้น
ตัวอย่างคลาสสิกเป็นแบบนี้ ลองจินตนาการว่ามีหมวกซอมเบรโร[1] ที่สมมาตรสมบูรณ์แบบ และมีลูกบอลทรงตัวอยู่บนยอดตรงกลางหมวก ไม่มีทิศทางที่ลูกบอลควรตกลงไปมากกว่าอีกทิศทางหนึ่ง แต่สภาวะนั้นไม่เสถียร การรบกวนใด ๆ ก็ทำให้ลูกบอลกลิ้งลงมาได้ และลูกบอลจะหยุดที่ตำแหน่งเสถียรบริเวณปีกหมวก สมมาตรของการจัดวางเดิมตอนนี้ถูกทำลายแล้ว แต่กลับเสถียร
1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
https://www.youtube.com/watch?v=hrJViSH6Klo
ในวิดีโอนี้อธิบายว่าความสุ่มที่กำลังมองหานั้นมาจาก ความผันผวนเชิงควอนตัม และถ้าไม่มีความสุ่มนี้ เอกภพก็คงอาจไม่ได้ “เกิดขึ้น”