熵（entropy）指的是體系的混亂的程度，它在控制論、概率論、數(shù)論、天體物理、生命科學(xué)等領(lǐng)域都有重要應(yīng)用，在不同的學(xué)科中也有引申出的更為具體的定義，是各領(lǐng)域十分重要的參量。熵由魯?shù)婪?#183;克勞修斯（Rudolf Clausius）提出，并應(yīng)用在熱力學(xué)中。后來(lái)在，克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon）第一次將熵的概念引入到信息論中來(lái)。
熵 shang
釋義
1：物理學(xué)上指熱能除以溫度所得的商，標(biāo)志熱量轉(zhuǎn)化為功的程度。
2: 科學(xué)技術(shù)上用來(lái)描述、表征體系混亂度的函數(shù)。亦被社會(huì)科學(xué)用以借喻人類(lèi)社會(huì)某些狀態(tài)的程度。
3：熵是生物親序，是行為攜靈現(xiàn)象。科學(xué)家已經(jīng)發(fā)明了測(cè)量無(wú)序的量，它稱作熵，熵也是混沌度，是內(nèi)部無(wú)序結(jié)構(gòu)的總量。
歷史
1850年，德國(guó)物理學(xué)家魯?shù)婪?#183;克勞修斯首次提出熵的概念，用來(lái)表示任何一種能量在空間中分布的均勻程度，能量分布得越均勻，熵就越大。一個(gè)體系的能量完全均勻分布時(shí)，這個(gè)系統(tǒng)的熵就達(dá)到最大值。 在克勞修斯看來(lái)，在一個(gè)系統(tǒng)中，如果聽(tīng)任它自然發(fā)展，那么，能量差總是傾向于消除的。讓一個(gè)熱物體同一個(gè)冷物體相接觸，熱就會(huì)以下面所說(shuō)的方式流動(dòng)：熱物體將冷卻，冷物體將變熱，直到兩個(gè)物體達(dá)到相同的溫度為止。克勞修斯在研究卡諾熱機(jī)時(shí)，根據(jù)卡諾定理得出了對(duì)任意循環(huán)過(guò)程都都適用的一個(gè)公式 ：dS=（dQ/T）。
對(duì)于絕熱過(guò)程Q＝0，故S≥0，即系統(tǒng)的熵在可逆絕熱過(guò)程中不變，在不可逆絕熱過(guò)程中單調(diào)增大。這就是熵增加原理。由于孤立系統(tǒng)內(nèi)部的一切變化與外界無(wú)關(guān)，必然是絕熱過(guò)程，所以熵增加原理也可表為：一個(gè)孤立系統(tǒng)的熵永遠(yuǎn)不會(huì)減少。它表明隨著孤立系統(tǒng)由非平衡態(tài)趨于平衡態(tài)，其熵單調(diào)增大，當(dāng)系統(tǒng)達(dá)到平衡態(tài)時(shí)，熵達(dá)到最大值。熵的變化和最大值確定了孤立系統(tǒng)過(guò)程進(jìn)行的方向和限度，熵增加原理就是熱力學(xué)第二定律。
1948年，香農(nóng)在Bell System Technical Journal上發(fā)表了《通信的數(shù)學(xué)原理》（A Mathematical Theory of Communication）一文，將熵的概念引入信息論中。
熵函數(shù)的來(lái)歷
熱力學(xué)第一定律就是能量守恒與轉(zhuǎn)換定律，但是它并未涉及能量轉(zhuǎn)換的過(guò)程能否自發(fā)地進(jìn)行以及可進(jìn)行到何種程度。熱力學(xué)第二定律就是判斷自發(fā)過(guò)程進(jìn)行的方向和限度的定律，它有不同的表述方法：熱量不可能自發(fā)地從低溫物體傳到高溫物體；熱量不可能從低溫物體傳到高溫物體而不引起其他變化；不可能從單一熱源取出熱量使之全部轉(zhuǎn)化為功而不發(fā)生其他變化；第二類(lèi)永動(dòng)機(jī)是不可能造成的。熱力學(xué)第二定律是人類(lèi)經(jīng)驗(yàn)的總結(jié)，它不能從其他更普遍的定律推導(dǎo)出來(lái)，但是迄今為止沒(méi)有一個(gè)實(shí)驗(yàn)事實(shí)與之相違背，它是基本的自然法則之一。
由于一切熱力學(xué)變化（包括相變化和化學(xué)變化）的方向和限度都可歸結(jié)為熱和功之間的相互轉(zhuǎn)化及其轉(zhuǎn)化限度的問(wèn)題，那么就一定能找到一個(gè)普遍的熱力學(xué)函數(shù)來(lái)判別自發(fā)過(guò)程的方向和限度。可以設(shè)想，這種函數(shù)是一種狀態(tài)函數(shù)，又是一個(gè)判別性函數(shù)（有符號(hào)差異），它能定量說(shuō)明自發(fā)過(guò)程的趨勢(shì)大小，這種狀態(tài)函數(shù)就是熵函數(shù)。
如果把任意的可逆循環(huán)分割成許多小的卡諾循環(huán)，可得出
∑(δＱi/Ｔi)r＝０ (1)
即任意的可逆循環(huán)過(guò)程的熱溫商之和為零。其中，δＱi為任意無(wú)限小可逆循環(huán)中系統(tǒng)與環(huán)境的熱交換量；Ｔi為任意無(wú)限小可逆循環(huán)中系統(tǒng)的溫度。上式也可寫(xiě)成
∮(δＱr/Ｔ)＝０ (2)
克勞修斯總結(jié)了這一規(guī)律，稱這個(gè)狀態(tài)函數(shù)為“熵”，用Ｓ來(lái)表示，即
ｄＳ＝δＱr/Ｔ (3)
對(duì)于不可逆過(guò)程，則可得
ｄＳ＞δＱr/Ｔ (4)
或 ｄＳ－δＱr/Ｔ＞０ (5)
這就是克勞修斯不等式，表明了一個(gè)隔離系統(tǒng)在經(jīng)歷了一個(gè)微小不可逆變化后，系統(tǒng)的熵變大于過(guò)程中的熱溫商。對(duì)于任一過(guò)程（包括可逆與不可逆過(guò)程），則有
ｄＳ－δＱ/Ｔ≥０ (6)
式中：不等號(hào)適用于不可逆過(guò)程，等號(hào)適用于可逆過(guò)程。由于不可逆過(guò)程是所有自發(fā)過(guò)程之共同特征，而可逆過(guò)程的每一步微小變化，都無(wú)限接近于平衡狀態(tài)，因此這一平衡狀態(tài)正是不可逆過(guò)程所能達(dá)到的限度。因此，上式也可作為判斷這一過(guò)程自發(fā)與否的判據(jù)，稱為“熵判據(jù)”。
對(duì)于絕熱過(guò)程，δＱ＝０，代入上式，則
ｄＳj≥０ (7)
由此可見(jiàn)，在絕熱過(guò)程中，系統(tǒng)的熵值永不減少。其中，對(duì)于可逆的絕熱過(guò)程，ｄＳj＝０，即系統(tǒng)的熵值不變；對(duì)于不可逆的絕熱過(guò)程，ｄＳj＞０，即系統(tǒng)的熵值增加。這就是“熵增原理”，是熱力學(xué)第二定律的數(shù)學(xué)表述，即在隔離或絕熱條件下，系統(tǒng)進(jìn)行自發(fā)過(guò)程的方向總是熵值增大的方向，直到熵值達(dá)到最大值，此時(shí)系統(tǒng)達(dá)到平衡狀態(tài)。
熵函數(shù)的統(tǒng)計(jì)學(xué)意義
玻爾茲曼在研究分子運(yùn)動(dòng)統(tǒng)計(jì)現(xiàn)象的基礎(chǔ)上提出來(lái)了公式：
Ｓ＝ｋ×ＬｎΩ (8)
其中，Ω為系統(tǒng)分子的狀態(tài)數(shù)，ｋ為玻爾茲曼常數(shù)。
這個(gè)公式反映了熵函數(shù)的統(tǒng)計(jì)學(xué)意義，它將系統(tǒng)的宏觀物理量Ｓ與微觀物理量Ω聯(lián)系起來(lái)，成為聯(lián)系宏觀與微觀的重要橋梁之一。基于上述熵與熱力學(xué)幾率之間的關(guān)系，可以得出結(jié)論：系統(tǒng)的熵值直接反映了它所處狀態(tài)的均勻程度，系統(tǒng)的熵值越小，它所處的狀態(tài)越是有序，越不均勻；系統(tǒng)的熵值越大，它所處的狀態(tài)越是無(wú)序，越均勻。系統(tǒng)總是力圖自發(fā)地從熵值較小的狀態(tài)向熵值較大（即從有序走向無(wú)序）的狀態(tài)轉(zhuǎn)變，這就是隔離系統(tǒng)“熵值增大原理”的微觀物理意義。
基本特性
·熵均大于等于零，即，H_s \ge 0。
·設(shè)N是系統(tǒng)S內(nèi)的事件總數(shù)，則熵H_s \le log_2N。當(dāng)且僅當(dāng)p1=p2=...=pn時(shí)，等號(hào)成立，此時(shí)熵最大。
·聯(lián)合熵：H(X,Y) \le H(X) + H(Y)，當(dāng)且僅當(dāng)X，Y在統(tǒng)計(jì)學(xué)上相互獨(dú)立時(shí)等號(hào)成立。
·條件熵：H(X|Y) = H(X,Y) - H(Y) \le H(X)，當(dāng)且僅當(dāng)X，Y在統(tǒng)計(jì)學(xué)上相互獨(dú)立時(shí)等號(hào)成立。
·社會(huì)學(xué)意義：從宏觀上表示世界和社會(huì)在進(jìn)化過(guò)程中的混亂程度。
應(yīng)用
熵在熱力學(xué)中是表征物質(zhì)狀態(tài)的參量之一，通常用符號(hào)S表示。在經(jīng)典熱力學(xué)中，可用增量定義為dS＝(dQ/T)，式中T為物質(zhì)的熱力學(xué)溫度；dQ為熵增過(guò)程中加入物質(zhì)的熱量。下標(biāo)“可逆”表示加熱過(guò)程所引起的變化過(guò)程是可逆的。若過(guò)程是不可逆的，則dS＞(dQ/T)不可逆。從微觀上說(shuō)，熵是組成系統(tǒng)的大量微觀粒子無(wú)序度的量度，系統(tǒng)越無(wú)序、越混亂，熵就越大。熱力學(xué)過(guò)程不可逆性的微觀本質(zhì)和統(tǒng)計(jì)意義就是系統(tǒng)從有序趨于無(wú)序，從概率較小的狀態(tài)趨于概率較大的狀態(tài)。
單位質(zhì)量物質(zhì)的熵稱為比熵，記為s。熵最初是根據(jù)熱力學(xué)第二定律引出的一個(gè)反映自發(fā)過(guò)程不可逆性的物質(zhì)狀態(tài)參量。
熱力學(xué)第二定律是根據(jù)大量觀察結(jié)果總結(jié)出來(lái)的規(guī)律，有下述表述方式：
①熱量總是從高溫物體傳到低溫物體，不可能作相反的傳遞而不引起其他的變化；
②功可以全部轉(zhuǎn)化為熱，但任何熱機(jī)不能全部地、連續(xù)不斷地把所接受的熱量轉(zhuǎn)變?yōu)楣Γ礋o(wú)法制造第二類(lèi)永動(dòng)機(jī)）；
③在孤立系統(tǒng)中，實(shí)際發(fā)生的過(guò)程總使整個(gè)系統(tǒng)的熵值增大，此即熵增原理。摩擦使一部分機(jī)械能不可逆地轉(zhuǎn)變?yōu)闊幔轨卦黾印崃縟Q由高溫(T1)物體傳至低溫(T2)物體，高溫物體的熵減少dS1=dQ/T1，低溫物體的熵增加dS2=dQ/T2，把兩個(gè)物體合起來(lái)當(dāng)成一個(gè)系統(tǒng)來(lái)看，熵的變化是dS＝dS2+dS1＞0，即熵是增加的。
物理學(xué)家玻爾茲曼將熵定義為一種特殊狀態(tài)的概率：原子聚集方式的數(shù)量。可精確表示為：
S=K㏑W
K是比例常數(shù)，現(xiàn)在稱為玻爾茲曼常數(shù)。
科學(xué)哲學(xué)
科學(xué)技術(shù)上泛指某些物質(zhì)系統(tǒng)狀態(tài)的一種量（liàng）度，某些物質(zhì)系統(tǒng)狀態(tài)可能出現(xiàn)的程度。亦被社會(huì)科學(xué)用以借喻人類(lèi)社會(huì)某些狀態(tài)的程度。熵是不能再被轉(zhuǎn)化做功的能量的總和的測(cè)定單位。這個(gè)名稱是由德國(guó)物理學(xué)家魯?shù)罓柗?#183;克勞修斯〔魯?shù)罓柗?#183;克勞修斯(1822—1888)〕德國(guó)物理學(xué)家，熱力學(xué)的奠基人之一。于1868年第一次造出來(lái)的。但是年輕的法國(guó)軍官沙迪·迦諾〔沙迪·迦諾(1796—1832)〕一般譯作“卡諾”，法國(guó)物理學(xué)家、工程師，在研究熱機(jī)效率的過(guò)程中，提出了“卡諾循環(huán)”定理。卻比克勞修斯早41年發(fā)現(xiàn)了熵的原理。迦諾在研究蒸汽機(jī)工作原理時(shí)發(fā)現(xiàn)，蒸汽機(jī)之所以能做功，是因?yàn)檎羝麢C(jī)系統(tǒng)里的一部分很冷，而另一部分卻很熱。換一句話說(shuō)，要把能量轉(zhuǎn)化為功，一個(gè)系統(tǒng)的不同部分之間就必須有能量集中程度的差異(即溫差)。當(dāng)能量從一個(gè)較高的集中程度轉(zhuǎn)化到一個(gè)較低的集中程度(或由較高溫度變?yōu)檩^低溫度)時(shí)，它就做了功。更重要的是每一次能量從一個(gè)水平轉(zhuǎn)化到另一個(gè)水平，都意味著下一次能再做功的能量就減少了。比如河水越過(guò)水壩流入湖泊。當(dāng)河水下落時(shí)，它可被用來(lái)發(fā)電，驅(qū)動(dòng)水輪，或做其他形式的功。然而水一旦落到壩底，就處于不能再做功的狀態(tài)了。在水平面上沒(méi)有任何勢(shì)能的水是連最小的輪子也帶不動(dòng)的。這兩種不同的能量狀態(tài)分別被稱為“有效的”或“自由的”能量，和“無(wú)效的”或“封閉的”能量。
熵的增加就意味著有效能量的減少。每當(dāng)自然界發(fā)生任何事情，一定的能量就被轉(zhuǎn)化成了不能再做功的無(wú)效能量。被轉(zhuǎn)化成了無(wú)效狀態(tài)的能量構(gòu)成了我們所說(shuō)的污染。許多人以為污染是生產(chǎn)的副產(chǎn)品，但實(shí)際上它只是世界上轉(zhuǎn)化成無(wú)效能量的全部有效能量的總和。耗散了的能量就是污染。既然根據(jù)熱力學(xué)第一定律，能量既不能被產(chǎn)生又不能被消滅，而根據(jù)熱力學(xué)第二定律，能量只能沿著一個(gè)方向——即耗散的方向——轉(zhuǎn)化，那么污染就是熵的同義詞。它是某一系統(tǒng)中存在的一定單位的無(wú)效能量。
信息論
在信息論中，熵表示的是不確定性的量度。信息論的創(chuàng)始人香農(nóng)在其著作《通信的數(shù)學(xué)理論》中提出了建立在概率統(tǒng)計(jì)模型上的信息度量。他把信息定義為“用來(lái)消除不確定性的東西”。
熵在信息論中的定義如下：
如果有一個(gè)系統(tǒng)S內(nèi)存在多個(gè)事件S = {E1,...,En}, 每個(gè)事件的機(jī)率分布 P = {p1, ..., pn}，則每個(gè)事件本身的訊息為
Ie = − log2pi
（對(duì)數(shù)以2為底，單位是位元(bit)）
Ie = − lnpi
（對(duì)數(shù)以e為底，單位是納特/nats）
如英語(yǔ)有26個(gè)字母，假如每個(gè)字母在文章中出現(xiàn)次數(shù)平均的話，每個(gè)字母的訊息量為
I_e = -\log_2 {1\over 26} = 4.7
；而漢字常用的有2500個(gè)，假如每個(gè)漢字在文章中出現(xiàn)次數(shù)平均的話，每個(gè)漢字的信息量為
I_e = -\log_2 {1\over 2500} = 11.3
整個(gè)系統(tǒng)的平均消息量為
H_s = \sum_{i=1}^n p_i I_e = -\sum_{i=1}^n p_i \log_2 p_i
這個(gè)平均消息量就是消息熵。因?yàn)楹蜔崃W(xué)中描述熱力學(xué)熵的玻耳茲曼公式形式一樣，所以也稱為“熵”。
如果兩個(gè)系統(tǒng)具有同樣大的消息量，如一篇用不同文字寫(xiě)的同一文章，由于是所有元素消息量的加和，那么中文文章應(yīng)用的漢字就比英文文章使用的字母要少。所以漢字印刷的文章要比其他應(yīng)用總體數(shù)量少的字母印刷的文章要短。即使一個(gè)漢字占用兩個(gè)字母的空間，漢字印刷的文章也要比英文字母印刷的用紙少。
實(shí)際上每個(gè)字母和每個(gè)漢字在文章中出現(xiàn)的次數(shù)并不平均，因此實(shí)際數(shù)值并不如同上述，但上述計(jì)算是一個(gè)總體概念。使用書(shū)寫(xiě)單元越多的文字，每個(gè)單元所包含的訊息量越大。
I(A)度量事件A發(fā)生所提供的信息量，稱之為事件A的自信息，P(A)為事件A發(fā)生的概率。如果一個(gè)隨機(jī)試驗(yàn)有N個(gè)可能的結(jié)果或一個(gè)隨機(jī)消息有N個(gè)可能值，若它們出現(xiàn)的概率分別為p1,p2,…，pN,則這些事件的自信息的和：[H=-SUM(pi*log(pi)),i=1,2…N]稱為熵。
|