在做人臉識別的時候經(jīng)常與協(xié)方差矩陣打交道，但一直也只是知道其形式，而對其意義卻比較模糊，現(xiàn)在我根據(jù)單變量的協(xié)方差給出協(xié)方差矩陣的詳細推導以及在不同應(yīng)用背景下的不同形式。
變量說明：
設(shè)為一組隨機變量，這些隨機變量構(gòu)成隨機向量 ，每個隨機變量有m個樣本，則有樣本矩陣
（1）
其中 對應(yīng)著每個隨機向量X的樣本向量， 對應(yīng)著第i個隨機單變量的所有樣本值構(gòu)成的向量。
單隨機變量間的協(xié)方差：
隨機變量 之間的協(xié)方差可以表示為
（2）
根據(jù)已知的樣本值可以得到協(xié)方差的估計值如下：
（3）
可以進一步地簡化為：
（4）
協(xié)方差矩陣：
（5）
其中 ，從而得到了協(xié)方差矩陣表達式。
如果所有樣本的均值為一個零向量，則式（5）可以表達成：
（6）
補充說明：
1、協(xié)方差矩陣中的每一個元素是表示的隨機向量X的不同分量之間的協(xié)方差，而不是不同樣本之間的協(xié)方差，如元素Cij就是反映的隨機變量Xi, Xj的協(xié)方差。
2、協(xié)方差是反映的變量之間的二階統(tǒng)計特性，如果隨機向量的不同分量之間的相關(guān)性很小，則所得的協(xié)方差矩陣幾乎是一個對角矩陣。對于一些特殊的應(yīng)用場合，為了使隨機向量的長度較小，可以采用主成分分析的方法，使變換之后的變量的協(xié)方差矩陣完全是一個對角矩陣，之后就可以舍棄一些能量較小的分量了（對角線上的元素反映的是方差，也就是交流能量）。特別是在模式識別領(lǐng)域，當模式向量的維數(shù)過高時會影響識別系統(tǒng)的泛化性能，經(jīng)常需要做這樣的處理。
3、必須注意的是，這里所得到的式（5）和式（6）給出的只是隨機向量協(xié)方差矩陣真實值的一個估計（即由所測的樣本的值來表示的，隨著樣本取值的不同會發(fā)生變化），故而所得的協(xié)方差矩陣是依賴于采樣樣本的，并且樣本的數(shù)目越多，樣本在總體中的覆蓋面越廣，則所得的協(xié)方差矩陣越可靠。
4、如同協(xié)方差和相關(guān)系數(shù)的關(guān)系一樣，我們有時為了能夠更直觀地知道隨機向量的不同分量之間的相關(guān)性究竟有多大，還會引入相關(guān)系數(shù)矩陣。
本文來自CSDN博客，轉(zhuǎn)載請標明出處：http://blog.csdn.net/faceRec/archive/2007/07/18/1697362.aspx