在做人臉識(shí)別的時(shí)候經(jīng)常與協(xié)方差矩陣打交道，但一直也只是知道其形式，而對(duì)其意義卻比較模糊，現(xiàn)在我根據(jù)單變量的協(xié)方差給出協(xié)方差矩陣的詳細(xì)推導(dǎo)以及在不同應(yīng)用背景下的不同形式。
變量說(shuō)明：
設(shè)為一組隨機(jī)變量，這些隨機(jī)變量構(gòu)成隨機(jī)向量 ，每個(gè)隨機(jī)變量有m個(gè)樣本，則有樣本矩陣
（1）
其中 對(duì)應(yīng)著每個(gè)隨機(jī)向量X的樣本向量， 對(duì)應(yīng)著第i個(gè)隨機(jī)單變量的所有樣本值構(gòu)成的向量。
單隨機(jī)變量間的協(xié)方差：
隨機(jī)變量 之間的協(xié)方差可以表示為
（2）
根據(jù)已知的樣本值可以得到協(xié)方差的估計(jì)值如下：
（3）
可以進(jìn)一步地簡(jiǎn)化為：
（4）
協(xié)方差矩陣：
（5）
其中 ，從而得到了協(xié)方差矩陣表達(dá)式。
如果所有樣本的均值為一個(gè)零向量，則式（5）可以表達(dá)成：
（6）
補(bǔ)充說(shuō)明：
1、協(xié)方差矩陣中的每一個(gè)元素是表示的隨機(jī)向量X的不同分量之間的協(xié)方差，而不是不同樣本之間的協(xié)方差，如元素Cij就是反映的隨機(jī)變量Xi, Xj的協(xié)方差。
2、協(xié)方差是反映的變量之間的二階統(tǒng)計(jì)特性，如果隨機(jī)向量的不同分量之間的相關(guān)性很小，則所得的協(xié)方差矩陣幾乎是一個(gè)對(duì)角矩陣。對(duì)于一些特殊的應(yīng)用場(chǎng)合，為了使隨機(jī)向量的長(zhǎng)度較小，可以采用主成分分析的方法，使變換之后的變量的協(xié)方差矩陣完全是一個(gè)對(duì)角矩陣，之后就可以舍棄一些能量較小的分量了（對(duì)角線上的元素反映的是方差，也就是交流能量）。特別是在模式識(shí)別領(lǐng)域，當(dāng)模式向量的維數(shù)過(guò)高時(shí)會(huì)影響識(shí)別系統(tǒng)的泛化性能，經(jīng)常需要做這樣的處理。
3、必須注意的是，這里所得到的式（5）和式（6）給出的只是隨機(jī)向量協(xié)方差矩陣真實(shí)值的一個(gè)估計(jì)（即由所測(cè)的樣本的值來(lái)表示的，隨著樣本取值的不同會(huì)發(fā)生變化），故而所得的協(xié)方差矩陣是依賴于采樣樣本的，并且樣本的數(shù)目越多，樣本在總體中的覆蓋面越廣，則所得的協(xié)方差矩陣越可靠。
4、如同協(xié)方差和相關(guān)系數(shù)的關(guān)系一樣，我們有時(shí)為了能夠更直觀地知道隨機(jī)向量的不同分量之間的相關(guān)性究竟有多大，還會(huì)引入相關(guān)系數(shù)矩陣。
本文來(lái)自CSDN博客，轉(zhuǎn)載請(qǐng)標(biāo)明出處：http://blog.csdn.net/faceRec/archive/2007/07/18/1697362.aspx