什么是Whitening?經過Wei Wang解釋清楚,見其報告"Beyond_WeiWang"第16頁,就是每一維除以方差,相當于一方差。為什么說去掉二階信息?概率論與數理統計上有“矩估計法”,一階矩為均值,二階矩為方差,這樣所有維都是方差是一,故稱去掉二階信息。不必深究,到底為止。

http://deeplearning.stanford.edu/wiki/index.php/Whitening
點擊最下面有中文,對于測試樣本應該除以和訓練樣本一樣的數值,因為測試樣本可能一個一個來的,不能利用測試樣本的信息。
This is recommended by Chong Wang in iim.