熵（entropy）指的是體系的混亂的程度，它在控制論、概率論、數(shù)論、天體物理、生命科學(xué)等領(lǐng)域都有重要應(yīng)用，在不同的學(xué)科中也有引申出的更為具體的定義，是各領(lǐng)域十分重要的參量。熵由魯?shù)婪?#183;克勞修斯（Rudolf Clausius）提出，并應(yīng)用在熱力學(xué)中。后來在，克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon）第一次將熵的概念引入到信息論中來。
熵 shang
釋義
1：物理學(xué)上指熱能除以溫度所得的商，標志熱量轉(zhuǎn)化為功的程度。
2: 科學(xué)技術(shù)上用來描述、表征體系混亂度的函數(shù)。亦被社會科學(xué)用以借喻人類社會某些狀態(tài)的程度。
3：熵是生物親序，是行為攜靈現(xiàn)象。科學(xué)家已經(jīng)發(fā)明了測量無序的量，它稱作熵，熵也是混沌度，是內(nèi)部無序結(jié)構(gòu)的總量。
歷史
1850年，德國物理學(xué)家魯?shù)婪?#183;克勞修斯首次提出熵的概念，用來表示任何一種能量在空間中分布的均勻程度，能量分布得越均勻，熵就越大。一個體系的能量完全均勻分布時，這個系統(tǒng)的熵就達到最大值。 在克勞修斯看來，在一個系統(tǒng)中，如果聽任它自然發(fā)展，那么，能量差總是傾向于消除的。讓一個熱物體同一個冷物體相接觸，熱就會以下面所說的方式流動：熱物體將冷卻，冷物體將變熱，直到兩個物體達到相同的溫度為止。克勞修斯在研究卡諾熱機時，根據(jù)卡諾定理得出了對任意循環(huán)過程都都適用的一個公式 ：dS=（dQ/T）。
對于絕熱過程Q＝0，故S≥0，即系統(tǒng)的熵在可逆絕熱過程中不變，在不可逆絕熱過程中單調(diào)增大。這就是熵增加原理。由于孤立系統(tǒng)內(nèi)部的一切變化與外界無關(guān)，必然是絕熱過程，所以熵增加原理也可表為：一個孤立系統(tǒng)的熵永遠不會減少。它表明隨著孤立系統(tǒng)由非平衡態(tài)趨于平衡態(tài)，其熵單調(diào)增大，當系統(tǒng)達到平衡態(tài)時，熵達到最大值。熵的變化和最大值確定了孤立系統(tǒng)過程進行的方向和限度，熵增加原理就是熱力學(xué)第二定律。
1948年，香農(nóng)在Bell System Technical Journal上發(fā)表了《通信的數(shù)學(xué)原理》（A Mathematical Theory of Communication）一文，將熵的概念引入信息論中。
熵函數(shù)的來歷
熱力學(xué)第一定律就是能量守恒與轉(zhuǎn)換定律，但是它并未涉及能量轉(zhuǎn)換的過程能否自發(fā)地進行以及可進行到何種程度。熱力學(xué)第二定律就是判斷自發(fā)過程進行的方向和限度的定律，它有不同的表述方法：熱量不可能自發(fā)地從低溫物體傳到高溫物體；熱量不可能從低溫物體傳到高溫物體而不引起其他變化；不可能從單一熱源取出熱量使之全部轉(zhuǎn)化為功而不發(fā)生其他變化；第二類永動機是不可能造成的。熱力學(xué)第二定律是人類經(jīng)驗的總結(jié)，它不能從其他更普遍的定律推導(dǎo)出來，但是迄今為止沒有一個實驗事實與之相違背，它是基本的自然法則之一。
由于一切熱力學(xué)變化（包括相變化和化學(xué)變化）的方向和限度都可歸結(jié)為熱和功之間的相互轉(zhuǎn)化及其轉(zhuǎn)化限度的問題，那么就一定能找到一個普遍的熱力學(xué)函數(shù)來判別自發(fā)過程的方向和限度。可以設(shè)想，這種函數(shù)是一種狀態(tài)函數(shù)，又是一個判別性函數(shù)（有符號差異），它能定量說明自發(fā)過程的趨勢大小，這種狀態(tài)函數(shù)就是熵函數(shù)。
如果把任意的可逆循環(huán)分割成許多小的卡諾循環(huán)，可得出
∑(δＱi/Ｔi)r＝０ (1)
即任意的可逆循環(huán)過程的熱溫商之和為零。其中，δＱi為任意無限小可逆循環(huán)中系統(tǒng)與環(huán)境的熱交換量；Ｔi為任意無限小可逆循環(huán)中系統(tǒng)的溫度。上式也可寫成
∮(δＱr/Ｔ)＝０ (2)
克勞修斯總結(jié)了這一規(guī)律，稱這個狀態(tài)函數(shù)為“熵”，用Ｓ來表示，即
ｄＳ＝δＱr/Ｔ (3)
對于不可逆過程，則可得
ｄＳ＞δＱr/Ｔ (4)
或 ｄＳ－δＱr/Ｔ＞０ (5)
這就是克勞修斯不等式，表明了一個隔離系統(tǒng)在經(jīng)歷了一個微小不可逆變化后，系統(tǒng)的熵變大于過程中的熱溫商。對于任一過程（包括可逆與不可逆過程），則有
ｄＳ－δＱ/Ｔ≥０ (6)
式中：不等號適用于不可逆過程，等號適用于可逆過程。由于不可逆過程是所有自發(fā)過程之共同特征，而可逆過程的每一步微小變化，都無限接近于平衡狀態(tài)，因此這一平衡狀態(tài)正是不可逆過程所能達到的限度。因此，上式也可作為判斷這一過程自發(fā)與否的判據(jù)，稱為“熵判據(jù)”。
對于絕熱過程，δＱ＝０，代入上式，則
ｄＳj≥０ (7)
由此可見，在絕熱過程中，系統(tǒng)的熵值永不減少。其中，對于可逆的絕熱過程，ｄＳj＝０，即系統(tǒng)的熵值不變；對于不可逆的絕熱過程，ｄＳj＞０，即系統(tǒng)的熵值增加。這就是“熵增原理”，是熱力學(xué)第二定律的數(shù)學(xué)表述，即在隔離或絕熱條件下，系統(tǒng)進行自發(fā)過程的方向總是熵值增大的方向，直到熵值達到最大值，此時系統(tǒng)達到平衡狀態(tài)。
熵函數(shù)的統(tǒng)計學(xué)意義
玻爾茲曼在研究分子運動統(tǒng)計現(xiàn)象的基礎(chǔ)上提出來了公式：
Ｓ＝ｋ×ＬｎΩ (8)
其中，Ω為系統(tǒng)分子的狀態(tài)數(shù)，ｋ為玻爾茲曼常數(shù)。
這個公式反映了熵函數(shù)的統(tǒng)計學(xué)意義，它將系統(tǒng)的宏觀物理量Ｓ與微觀物理量Ω聯(lián)系起來，成為聯(lián)系宏觀與微觀的重要橋梁之一。基于上述熵與熱力學(xué)幾率之間的關(guān)系，可以得出結(jié)論：系統(tǒng)的熵值直接反映了它所處狀態(tài)的均勻程度，系統(tǒng)的熵值越小，它所處的狀態(tài)越是有序，越不均勻；系統(tǒng)的熵值越大，它所處的狀態(tài)越是無序，越均勻。系統(tǒng)總是力圖自發(fā)地從熵值較小的狀態(tài)向熵值較大（即從有序走向無序）的狀態(tài)轉(zhuǎn)變，這就是隔離系統(tǒng)“熵值增大原理”的微觀物理意義。
基本特性
·熵均大于等于零，即，H_s \ge 0。
·設(shè)N是系統(tǒng)S內(nèi)的事件總數(shù)，則熵H_s \le log_2N。當且僅當p1=p2=...=pn時，等號成立，此時熵最大。
·聯(lián)合熵：H(X,Y) \le H(X) + H(Y)，當且僅當X，Y在統(tǒng)計學(xué)上相互獨立時等號成立。
·條件熵：H(X|Y) = H(X,Y) - H(Y) \le H(X)，當且僅當X，Y在統(tǒng)計學(xué)上相互獨立時等號成立。
·社會學(xué)意義：從宏觀上表示世界和社會在進化過程中的混亂程度。
應(yīng)用
熵在熱力學(xué)中是表征物質(zhì)狀態(tài)的參量之一，通常用符號S表示。在經(jīng)典熱力學(xué)中，可用增量定義為dS＝(dQ/T)，式中T為物質(zhì)的熱力學(xué)溫度；dQ為熵增過程中加入物質(zhì)的熱量。下標“可逆”表示加熱過程所引起的變化過程是可逆的。若過程是不可逆的，則dS＞(dQ/T)不可逆。從微觀上說，熵是組成系統(tǒng)的大量微觀粒子無序度的量度，系統(tǒng)越無序、越混亂，熵就越大。熱力學(xué)過程不可逆性的微觀本質(zhì)和統(tǒng)計意義就是系統(tǒng)從有序趨于無序，從概率較小的狀態(tài)趨于概率較大的狀態(tài)。
單位質(zhì)量物質(zhì)的熵稱為比熵，記為s。熵最初是根據(jù)熱力學(xué)第二定律引出的一個反映自發(fā)過程不可逆性的物質(zhì)狀態(tài)參量。
熱力學(xué)第二定律是根據(jù)大量觀察結(jié)果總結(jié)出來的規(guī)律，有下述表述方式：
①熱量總是從高溫物體傳到低溫物體，不可能作相反的傳遞而不引起其他的變化；
②功可以全部轉(zhuǎn)化為熱，但任何熱機不能全部地、連續(xù)不斷地把所接受的熱量轉(zhuǎn)變?yōu)楣Γ礋o法制造第二類永動機）；
③在孤立系統(tǒng)中，實際發(fā)生的過程總使整個系統(tǒng)的熵值增大，此即熵增原理。摩擦使一部分機械能不可逆地轉(zhuǎn)變?yōu)闊幔轨卦黾印崃縟Q由高溫(T1)物體傳至低溫(T2)物體，高溫物體的熵減少dS1=dQ/T1，低溫物體的熵增加dS2=dQ/T2，把兩個物體合起來當成一個系統(tǒng)來看，熵的變化是dS＝dS2+dS1＞0，即熵是增加的。
物理學(xué)家玻爾茲曼將熵定義為一種特殊狀態(tài)的概率：原子聚集方式的數(shù)量。可精確表示為：
S=K㏑W
K是比例常數(shù)，現(xiàn)在稱為玻爾茲曼常數(shù)。
科學(xué)哲學(xué)
科學(xué)技術(shù)上泛指某些物質(zhì)系統(tǒng)狀態(tài)的一種量（liàng）度，某些物質(zhì)系統(tǒng)狀態(tài)可能出現(xiàn)的程度。亦被社會科學(xué)用以借喻人類社會某些狀態(tài)的程度。熵是不能再被轉(zhuǎn)化做功的能量的總和的測定單位。這個名稱是由德國物理學(xué)家魯?shù)罓柗?#183;克勞修斯〔魯?shù)罓柗?#183;克勞修斯(1822—1888)〕德國物理學(xué)家，熱力學(xué)的奠基人之一。于1868年第一次造出來的。但是年輕的法國軍官沙迪·迦諾〔沙迪·迦諾(1796—1832)〕一般譯作“卡諾”，法國物理學(xué)家、工程師，在研究熱機效率的過程中，提出了“卡諾循環(huán)”定理。卻比克勞修斯早41年發(fā)現(xiàn)了熵的原理。迦諾在研究蒸汽機工作原理時發(fā)現(xiàn)，蒸汽機之所以能做功，是因為蒸汽機系統(tǒng)里的一部分很冷，而另一部分卻很熱。換一句話說，要把能量轉(zhuǎn)化為功，一個系統(tǒng)的不同部分之間就必須有能量集中程度的差異(即溫差)。當能量從一個較高的集中程度轉(zhuǎn)化到一個較低的集中程度(或由較高溫度變?yōu)檩^低溫度)時，它就做了功。更重要的是每一次能量從一個水平轉(zhuǎn)化到另一個水平，都意味著下一次能再做功的能量就減少了。比如河水越過水壩流入湖泊。當河水下落時，它可被用來發(fā)電，驅(qū)動水輪，或做其他形式的功。然而水一旦落到壩底，就處于不能再做功的狀態(tài)了。在水平面上沒有任何勢能的水是連最小的輪子也帶不動的。這兩種不同的能量狀態(tài)分別被稱為“有效的”或“自由的”能量，和“無效的”或“封閉的”能量。
熵的增加就意味著有效能量的減少。每當自然界發(fā)生任何事情，一定的能量就被轉(zhuǎn)化成了不能再做功的無效能量。被轉(zhuǎn)化成了無效狀態(tài)的能量構(gòu)成了我們所說的污染。許多人以為污染是生產(chǎn)的副產(chǎn)品，但實際上它只是世界上轉(zhuǎn)化成無效能量的全部有效能量的總和。耗散了的能量就是污染。既然根據(jù)熱力學(xué)第一定律，能量既不能被產(chǎn)生又不能被消滅，而根據(jù)熱力學(xué)第二定律，能量只能沿著一個方向——即耗散的方向——轉(zhuǎn)化，那么污染就是熵的同義詞。它是某一系統(tǒng)中存在的一定單位的無效能量。
信息論
在信息論中，熵表示的是不確定性的量度。信息論的創(chuàng)始人香農(nóng)在其著作《通信的數(shù)學(xué)理論》中提出了建立在概率統(tǒng)計模型上的信息度量。他把信息定義為“用來消除不確定性的東西”。
熵在信息論中的定義如下：
如果有一個系統(tǒng)S內(nèi)存在多個事件S = {E1,...,En}, 每個事件的機率分布 P = {p1, ..., pn}，則每個事件本身的訊息為
Ie = − log2pi
（對數(shù)以2為底，單位是位元(bit)）
Ie = − lnpi
（對數(shù)以e為底，單位是納特/nats）
如英語有26個字母，假如每個字母在文章中出現(xiàn)次數(shù)平均的話，每個字母的訊息量為
I_e = -\log_2 {1\over 26} = 4.7
；而漢字常用的有2500個，假如每個漢字在文章中出現(xiàn)次數(shù)平均的話，每個漢字的信息量為
I_e = -\log_2 {1\over 2500} = 11.3
整個系統(tǒng)的平均消息量為
H_s = \sum_{i=1}^n p_i I_e = -\sum_{i=1}^n p_i \log_2 p_i
這個平均消息量就是消息熵。因為和熱力學(xué)中描述熱力學(xué)熵的玻耳茲曼公式形式一樣，所以也稱為“熵”。
如果兩個系統(tǒng)具有同樣大的消息量，如一篇用不同文字寫的同一文章，由于是所有元素消息量的加和，那么中文文章應(yīng)用的漢字就比英文文章使用的字母要少。所以漢字印刷的文章要比其他應(yīng)用總體數(shù)量少的字母印刷的文章要短。即使一個漢字占用兩個字母的空間，漢字印刷的文章也要比英文字母印刷的用紙少。
實際上每個字母和每個漢字在文章中出現(xiàn)的次數(shù)并不平均，因此實際數(shù)值并不如同上述，但上述計算是一個總體概念。使用書寫單元越多的文字，每個單元所包含的訊息量越大。
I(A)度量事件A發(fā)生所提供的信息量，稱之為事件A的自信息，P(A)為事件A發(fā)生的概率。如果一個隨機試驗有N個可能的結(jié)果或一個隨機消息有N個可能值，若它們出現(xiàn)的概率分別為p1,p2,…，pN,則這些事件的自信息的和：[H=-SUM(pi*log(pi)),i=1,2…N]稱為熵。
|