熵（entropy）指的是體系的混亂的程度，它在控制論、概率論、數論、天體物理、生命科學等領域都有重要應用，在不同的學科中也有引申出的更為具體的定義，是各領域十分重要的參量。熵由魯道夫·克勞修斯（Rudolf Clausius）提出，并應用在熱力學中。后來在，克勞德·艾爾伍德·香農（Claude Elwood Shannon）第一次將熵的概念引入到信息論中來。
熵 shang
釋義
1：物理學上指熱能除以溫度所得的商，標志熱量轉化為功的程度。
2: 科學技術上用來描述、表征體系混亂度的函數。亦被社會科學用以借喻人類社會某些狀態的程度。
3：熵是生物親序，是行為攜靈現象。科學家已經發明了測量無序的量，它稱作熵，熵也是混沌度，是內部無序結構的總量。
歷史
1850年，德國物理學家魯道夫·克勞修斯首次提出熵的概念，用來表示任何一種能量在空間中分布的均勻程度，能量分布得越均勻，熵就越大。一個體系的能量完全均勻分布時，這個系統的熵就達到最大值。 在克勞修斯看來，在一個系統中，如果聽任它自然發展，那么，能量差總是傾向于消除的。讓一個熱物體同一個冷物體相接觸，熱就會以下面所說的方式流動：熱物體將冷卻，冷物體將變熱，直到兩個物體達到相同的溫度為止。克勞修斯在研究卡諾熱機時，根據卡諾定理得出了對任意循環過程都都適用的一個公式 ：dS=（dQ/T）。
對于絕熱過程Q＝0，故S≥0，即系統的熵在可逆絕熱過程中不變，在不可逆絕熱過程中單調增大。這就是熵增加原理。由于孤立系統內部的一切變化與外界無關，必然是絕熱過程，所以熵增加原理也可表為：一個孤立系統的熵永遠不會減少。它表明隨著孤立系統由非平衡態趨于平衡態，其熵單調增大，當系統達到平衡態時，熵達到最大值。熵的變化和最大值確定了孤立系統過程進行的方向和限度，熵增加原理就是熱力學第二定律。
1948年，香農在Bell System Technical Journal上發表了《通信的數學原理》（A Mathematical Theory of Communication）一文，將熵的概念引入信息論中。
熵函數的來歷
熱力學第一定律就是能量守恒與轉換定律，但是它并未涉及能量轉換的過程能否自發地進行以及可進行到何種程度。熱力學第二定律就是判斷自發過程進行的方向和限度的定律，它有不同的表述方法：熱量不可能自發地從低溫物體傳到高溫物體；熱量不可能從低溫物體傳到高溫物體而不引起其他變化；不可能從單一熱源取出熱量使之全部轉化為功而不發生其他變化；第二類永動機是不可能造成的。熱力學第二定律是人類經驗的總結，它不能從其他更普遍的定律推導出來，但是迄今為止沒有一個實驗事實與之相違背，它是基本的自然法則之一。
由于一切熱力學變化（包括相變化和化學變化）的方向和限度都可歸結為熱和功之間的相互轉化及其轉化限度的問題，那么就一定能找到一個普遍的熱力學函數來判別自發過程的方向和限度。可以設想，這種函數是一種狀態函數，又是一個判別性函數（有符號差異），它能定量說明自發過程的趨勢大小，這種狀態函數就是熵函數。
如果把任意的可逆循環分割成許多小的卡諾循環，可得出
∑(δＱi/Ｔi)r＝０ (1)
即任意的可逆循環過程的熱溫商之和為零。其中，δＱi為任意無限小可逆循環中系統與環境的熱交換量；Ｔi為任意無限小可逆循環中系統的溫度。上式也可寫成
∮(δＱr/Ｔ)＝０ (2)
克勞修斯總結了這一規律，稱這個狀態函數為“熵”，用Ｓ來表示，即
ｄＳ＝δＱr/Ｔ (3)
對于不可逆過程，則可得
ｄＳ＞δＱr/Ｔ (4)
或 ｄＳ－δＱr/Ｔ＞０ (5)
這就是克勞修斯不等式，表明了一個隔離系統在經歷了一個微小不可逆變化后，系統的熵變大于過程中的熱溫商。對于任一過程（包括可逆與不可逆過程），則有
ｄＳ－δＱ/Ｔ≥０ (6)
式中：不等號適用于不可逆過程，等號適用于可逆過程。由于不可逆過程是所有自發過程之共同特征，而可逆過程的每一步微小變化，都無限接近于平衡狀態，因此這一平衡狀態正是不可逆過程所能達到的限度。因此，上式也可作為判斷這一過程自發與否的判據，稱為“熵判據”。
對于絕熱過程，δＱ＝０，代入上式，則
ｄＳj≥０ (7)
由此可見，在絕熱過程中，系統的熵值永不減少。其中，對于可逆的絕熱過程，ｄＳj＝０，即系統的熵值不變；對于不可逆的絕熱過程，ｄＳj＞０，即系統的熵值增加。這就是“熵增原理”，是熱力學第二定律的數學表述，即在隔離或絕熱條件下，系統進行自發過程的方向總是熵值增大的方向，直到熵值達到最大值，此時系統達到平衡狀態。
熵函數的統計學意義
玻爾茲曼在研究分子運動統計現象的基礎上提出來了公式：
Ｓ＝ｋ×ＬｎΩ (8)
其中，Ω為系統分子的狀態數，ｋ為玻爾茲曼常數。
這個公式反映了熵函數的統計學意義，它將系統的宏觀物理量Ｓ與微觀物理量Ω聯系起來，成為聯系宏觀與微觀的重要橋梁之一。基于上述熵與熱力學幾率之間的關系，可以得出結論：系統的熵值直接反映了它所處狀態的均勻程度，系統的熵值越小，它所處的狀態越是有序，越不均勻；系統的熵值越大，它所處的狀態越是無序，越均勻。系統總是力圖自發地從熵值較小的狀態向熵值較大（即從有序走向無序）的狀態轉變，這就是隔離系統“熵值增大原理”的微觀物理意義。
基本特性
·熵均大于等于零，即，H_s \ge 0。
·設N是系統S內的事件總數，則熵H_s \le log_2N。當且僅當p1=p2=...=pn時，等號成立，此時熵最大。
·聯合熵：H(X,Y) \le H(X) + H(Y)，當且僅當X，Y在統計學上相互獨立時等號成立。
·條件熵：H(X|Y) = H(X,Y) - H(Y) \le H(X)，當且僅當X，Y在統計學上相互獨立時等號成立。
·社會學意義：從宏觀上表示世界和社會在進化過程中的混亂程度。
應用
熵在熱力學中是表征物質狀態的參量之一，通常用符號S表示。在經典熱力學中，可用增量定義為dS＝(dQ/T)，式中T為物質的熱力學溫度；dQ為熵增過程中加入物質的熱量。下標“可逆”表示加熱過程所引起的變化過程是可逆的。若過程是不可逆的，則dS＞(dQ/T)不可逆。從微觀上說，熵是組成系統的大量微觀粒子無序度的量度，系統越無序、越混亂，熵就越大。熱力學過程不可逆性的微觀本質和統計意義就是系統從有序趨于無序，從概率較小的狀態趨于概率較大的狀態。
單位質量物質的熵稱為比熵，記為s。熵最初是根據熱力學第二定律引出的一個反映自發過程不可逆性的物質狀態參量。
熱力學第二定律是根據大量觀察結果總結出來的規律，有下述表述方式：
①熱量總是從高溫物體傳到低溫物體，不可能作相反的傳遞而不引起其他的變化；
②功可以全部轉化為熱，但任何熱機不能全部地、連續不斷地把所接受的熱量轉變為功（即無法制造第二類永動機）；
③在孤立系統中，實際發生的過程總使整個系統的熵值增大，此即熵增原理。摩擦使一部分機械能不可逆地轉變為熱，使熵增加。熱量dQ由高溫(T1)物體傳至低溫(T2)物體，高溫物體的熵減少dS1=dQ/T1，低溫物體的熵增加dS2=dQ/T2，把兩個物體合起來當成一個系統來看，熵的變化是dS＝dS2+dS1＞0，即熵是增加的。
物理學家玻爾茲曼將熵定義為一種特殊狀態的概率：原子聚集方式的數量。可精確表示為：
S=K㏑W
K是比例常數，現在稱為玻爾茲曼常數。
科學哲學
科學技術上泛指某些物質系統狀態的一種量（liàng）度，某些物質系統狀態可能出現的程度。亦被社會科學用以借喻人類社會某些狀態的程度。熵是不能再被轉化做功的能量的總和的測定單位。這個名稱是由德國物理學家魯道爾夫·克勞修斯〔魯道爾夫·克勞修斯(1822—1888)〕德國物理學家，熱力學的奠基人之一。于1868年第一次造出來的。但是年輕的法國軍官沙迪·迦諾〔沙迪·迦諾(1796—1832)〕一般譯作“卡諾”，法國物理學家、工程師，在研究熱機效率的過程中，提出了“卡諾循環”定理。卻比克勞修斯早41年發現了熵的原理。迦諾在研究蒸汽機工作原理時發現，蒸汽機之所以能做功，是因為蒸汽機系統里的一部分很冷，而另一部分卻很熱。換一句話說，要把能量轉化為功，一個系統的不同部分之間就必須有能量集中程度的差異(即溫差)。當能量從一個較高的集中程度轉化到一個較低的集中程度(或由較高溫度變為較低溫度)時，它就做了功。更重要的是每一次能量從一個水平轉化到另一個水平，都意味著下一次能再做功的能量就減少了。比如河水越過水壩流入湖泊。當河水下落時，它可被用來發電，驅動水輪，或做其他形式的功。然而水一旦落到壩底，就處于不能再做功的狀態了。在水平面上沒有任何勢能的水是連最小的輪子也帶不動的。這兩種不同的能量狀態分別被稱為“有效的”或“自由的”能量，和“無效的”或“封閉的”能量。
熵的增加就意味著有效能量的減少。每當自然界發生任何事情，一定的能量就被轉化成了不能再做功的無效能量。被轉化成了無效狀態的能量構成了我們所說的污染。許多人以為污染是生產的副產品，但實際上它只是世界上轉化成無效能量的全部有效能量的總和。耗散了的能量就是污染。既然根據熱力學第一定律，能量既不能被產生又不能被消滅，而根據熱力學第二定律，能量只能沿著一個方向——即耗散的方向——轉化，那么污染就是熵的同義詞。它是某一系統中存在的一定單位的無效能量。
信息論
在信息論中，熵表示的是不確定性的量度。信息論的創始人香農在其著作《通信的數學理論》中提出了建立在概率統計模型上的信息度量。他把信息定義為“用來消除不確定性的東西”。
熵在信息論中的定義如下：
如果有一個系統S內存在多個事件S = {E1,...,En}, 每個事件的機率分布 P = {p1, ..., pn}，則每個事件本身的訊息為
Ie = − log2pi
（對數以2為底，單位是位元(bit)）
Ie = − lnpi
（對數以e為底，單位是納特/nats）
如英語有26個字母，假如每個字母在文章中出現次數平均的話，每個字母的訊息量為
I_e = -\log_2 {1\over 26} = 4.7
；而漢字常用的有2500個，假如每個漢字在文章中出現次數平均的話，每個漢字的信息量為
I_e = -\log_2 {1\over 2500} = 11.3
整個系統的平均消息量為
H_s = \sum_{i=1}^n p_i I_e = -\sum_{i=1}^n p_i \log_2 p_i
這個平均消息量就是消息熵。因為和熱力學中描述熱力學熵的玻耳茲曼公式形式一樣，所以也稱為“熵”。
如果兩個系統具有同樣大的消息量，如一篇用不同文字寫的同一文章，由于是所有元素消息量的加和，那么中文文章應用的漢字就比英文文章使用的字母要少。所以漢字印刷的文章要比其他應用總體數量少的字母印刷的文章要短。即使一個漢字占用兩個字母的空間，漢字印刷的文章也要比英文字母印刷的用紙少。
實際上每個字母和每個漢字在文章中出現的次數并不平均，因此實際數值并不如同上述，但上述計算是一個總體概念。使用書寫單元越多的文字，每個單元所包含的訊息量越大。
I(A)度量事件A發生所提供的信息量，稱之為事件A的自信息，P(A)為事件A發生的概率。如果一個隨機試驗有N個可能的結果或一個隨機消息有N個可能值，若它們出現的概率分別為p1,p2,…，pN,則這些事件的自信息的和：[H=-SUM(pi*log(pi)),i=1,2…N]稱為熵。
|