Bill Hsu

關于 delta 規則

另一種培訓的規則叫做 delta 規則。感知器培訓規則是基于這樣一種思路 ― 權系數的調整是由目標和輸出的差分方程表達式決定。而 delta 規則是基于梯度降落這樣一種思路。這個復雜的數學概念可以舉個簡單的例子來表示。從給定的幾點來看，向南的那條路徑比向東那條更陡些。向東就像從懸崖上掉 下來，但是向南就是沿著一個略微傾斜的斜坡下來，向西像登一座陡峭的山，而北邊則到了平地，只要慢慢的閑逛就可以了。所以您要尋找的是到達平地的所有路徑 中將陡峭的總和減少到最小的路徑。在權系數的調整中，神經網絡將會找到一種將誤差減少到最小的權系數的分配方式。

將我們的網絡限制為沒有隱藏節點，但是可能會有不止一個的輸出節點，設 p 是一組培訓中的一個元素，t(p,n) 是相應的輸出節點 n 的目標。但是，設 y(p,n) 由以上提到的 squash 函數 s 決定，這里 a(p,n) 是與 p 相關的 n 的激活函數，或者用 (p,n) = s( a(p,n) ) 表示為與 p 相關的節點 n 的 squash 過的激活函數。為網絡設定權系數（每個 Wi），也為每個 p 和 n 建立 t(p,n) 與 y(p,n) 的差分，這就意味著為每個 p 設定了網絡全部的誤差。因此對于每組權系數來說有一個平均誤差。但是 delta 規則取決于求平均值方法的精確度以及誤差。我們先不討論細節問題，只是說一些與某些 p 和 n 相關的誤差：?* square( t(p,n) - y(p,n) )。現在，對于每個 Wi，平均誤差定義如下：

sum = 0
FOR p = 1 TO M:         # M is number of training vectors
    FOR n = 1 TO N:     # N is number of output nodes
        sum = sum + (1/2 * (t(p,n)-y(p,n))^2)
average = 1/M * sum

delta 規則就是依據這個誤差的定義來定義的。因為誤差是依據那些培訓向量來說明的，delta 規則是一種獲取一個特殊的權系數集以及一個特殊的向量的算法。而改變權系數將會使神經網絡的誤差最小化。我們不需要討論支持這個算法的微積分學，只要認為任何 Wi 發生的變化都是如下所示就夠了：

alpha * s'(a(p,n)) * (t(p,n) - y(p,n)) * X(p,i,n).

X(p,i,n) 是輸入到節點 n 的 p 中的第 i 個元素，alpha 是已知的學習率。最后 s'( a(p,n) ) 是與 p 相關的第 n 個節點激活的 squashing 函數的變化（派生）率，這就是 delta 規則，并且 Widrow 和 Stearns 向我們展示了當 alpha 非常小的時候，權系數向量接近某個將誤差最小化的向量。用于權系數調節的基于 delta 規則的算法就是如此。

step 1: for each training vector, p, find a(p)
step 2: for each i, change Wi by:
            alpha * s'(a(p,n)) * (t(p,n)-y(p,n)) * X(p,i,n)

這里有一些與感知器算法相區別的重要不同點。顯然，在權系數調整的公式下有著完全不同的分析。delta 規則算法總是在權系數上調整，而且這是建立在相對輸出的激活方式上。最后，這不一定適用于存在隱藏節點的網絡。

反向傳播這一算法把支持 delta 規則的分析擴展到了帶有隱藏節點的神經網絡。為了理解這個問題，設想 Bob 給 Alice 講了一個故事，然后 Alice 又講給了 Ted，Ted 檢查了這個事實真相，發現這個故事是錯誤的。現在 Ted 需要找出哪些錯誤是 Bob 造成的而哪些又歸咎于 Alice。當輸出節點從隱藏節點獲得輸入，網絡發現出現了誤差，權系數的調整需要一個算法來找出整個誤差是由多少不同的節點造成的，網絡需要問，“是誰讓我誤入歧途？到怎樣的程度？如何彌補？”這時，網絡該怎么做呢？

反向傳播算法同樣來源于梯度降落原理，在權系數調整分析中的唯一不同是涉及到 t(p,n) 與 y(p,n) 的差分。通常來說 W _i的改變在于：

alpha * s'(a(p,n)) * d(n) * X(p,i,n)

其中 d(n) 是隱藏節點 n 的函數，讓我們來看（1）n 對任何給出的輸出節點有多大影響；（2）輸出節點本身對網絡整體的誤差有多少影響。一方面，n 影響一個輸出節點越多，n 造成網絡整體的誤差也越多。另一方面，如果輸出節點影響網絡整體的誤差越少，n 對輸出節點的影響也相應減少。這里 d(j) 是對網絡的整體誤差的基值，W(n,j) 是 n 對 j 造成的影響，d(j) * W(n,j) 是這兩種影響的總和。但是 n 幾乎總是影響多個輸出節點，也許會影響每一個輸出結點，這樣，d(n) 可以表示為：

SUM(d(j)*W(n,j))

這里 j 是一個從 n 獲得輸入的輸出節點，聯系起來，我們就得到了一個培訓規則，第 1 部分：在隱藏節點 n 和輸出節點 j 之間權系數改變，如下所示：

alpha * s'(a(p,n))*(t(p,n) - y(p,n)) * X(p,n,j)

第 2 部分：在輸入節點 i 和輸出節點 n 之間權系數改變，如下所示：

alpha * s'(a(p,n)) * sum(d(j) * W(n,j)) * X(p,i,n)

這里每個從 n 接收輸入的輸出節點 j 都不同。關于反向傳播算法的基本情況大致如此。

將 Wi 初始化為小的隨機值。

使誤差小到適當的程度要遵循的步驟

通常把第 1 步到第 3 步稱為 正向傳播，把第 4 步到第 7 步稱為 反向傳播。反向傳播的名字由此而來。

在掌握了反向傳播算法后，可以來看我們的識別源代碼樣本語言的難題。為了解決這個問題，我們提供了 Neil Schemenauer 的 Python 模型 bpnn。用它的模型解決問題真是難以置信的簡單，在我們的類 NN2 里定制了一個類 NN ，不過我們的改變只是調整了表達方式和整個過程的輸出，并沒有涉及到算法。基本的代碼如下所示：

                # Create the network (number of input, hidden, and training nodes)
net = NN2(INPUTS, HIDDEN, OUTPUTS) 
        # create the training and testing data
trainpat = []  
testpat = []  
for n in xrange(TRAINSIZE+TESTSIZE):  
    
        #... add vectors to each set
# train it with some patterns 
net.train(trainpat, iterations=ITERATIONS, N=LEARNRATE, M=MOMENTUM)  
        # test it 
net.test(testpat)  
        # report trained weights 
net.weights()
			
      

當然我們需要輸入數據，實用程序 code2data.py 提供了這個功能。它的界面很直觀：只要將一堆擴展名各不相同的文件放到一個子目錄 ./code 中，然后運行這個實用程序，并列舉那些擴展名作為命令選項。例如：

python code2data.py py c java

您得到的是一堆 STDOUT 上的向量，可以把這些向量輸入到另一個進程或者重定向到一個文件，它的輸出如下所示：

0.15 0.01 0.01 0.04 0.07 0.00 0.00 0.03 0.01 0.00 0.00 0.00 0.05 0.00 > 1 0 0
0.14 0.00 0.00 0.05 0.13 0.00 0.00 0.00 0.02 0.00 0.00 0.00 0.13 0.00 > 1 0 0
[...]

讓我們回憶一下輸入值都是不同特殊字符出現的規格化數目，目標值（在大于號以后）是 YES/NO，它代表包含這些字符的源代碼文件的類型，不過對于什么是什么來說，并沒有非常明顯的東西。數字可以是輸入或期望的 任意值，這才是最重要的。

下一步是運行實際的 code_recognizer.py 程序。這需要（在 STDIN 中）像上面一樣的向量集。這個程序有一個包，它能夠根據實際文件推斷出需要多少輸入節點（計算在內的和期望的），選擇隱藏節點的數目是一個訣竅。對于源代碼的識別，6 到 8 個隱藏節點似乎工作得很好。如果打算試驗網絡從而發現對于這些不同的選項它是如何做的，您可以覆蓋命令行中的所有參數，但每一次運行還是會耗費一些時間。值得注意的是， code_recognizer.py 將它的（大的）測試結果文件發送到 STDOUT，而將一些友好的消息放在 STDERR 里。這樣在大部分時間里，為了安全保管，您將會把 STDOUT 定向到一個文件，并監視針對進程和結果概要的 STDERR。

> code2data.py py c java | code_recognizer.py > test_results.txt 
Total bytes of py-source: 457729 
Total bytes of c-source: 245197 
Total bytes of java-source: 709858 
Input set: ) ( _ . = ; " , ' * / { } : - 0 + 1 [ ] 
HIDDEN = 8 
LEARNRATE = 0.5 
ITERATIONS = 1000 
TRAINSIZE = 500 
OUTPUTS = 3 
MOMENTUM = 0.1 
ERROR_CUTOFF = 0.01 
TESTSIZE = 500 
INPUTS = 20 
error -> 95.519... 23.696... 19.727... 14.012... 11.058... 9.652...  
8.858... 8.236... 7.637... 7.065... 6.398... 5.413... 4.508...  
3.860... 3.523... 3.258... 3.026... 2.818... 2.631... 2.463...  
2.313... 2.180... 2.065... 1.965... 1.877... 1.798... 1.725...  
[...] 
0.113... 0.110... 0.108... 0.106... 0.104... 0.102... 0.100...  
0.098... 0.096... 0.094... 0.093... 0.091... 0.089... 0.088...  
0.086... 0.085... 0.084... 
Success rate against test data: 92.60% 

不斷減少誤差是個很好的兆頭，這至少在一段長時間里所獲得的一種進步，且最后的結果必然是深入人心的。就我們的觀點而言，網絡完成了一項值得尊敬的工作，來識別代碼 ― 我們將會樂意傾聽，對于您的數字向量它是如何做的。

參考資料

• 您可以參閱本文在 developerWorks 全球站點上的 英文原文.
  
  
• 我們的 代碼識別程序是基于 Neil Schemenauer 的反向傳播模塊。
  
  
• 關于有指導培訓和無指導培訓的差異，以及神經網絡的一般介紹，請參閱由 D. Michie、D.J. Spiegelhalter 以及 C.C. Taylor 編輯的 Machine Learning, Neural and Statistical Classification，具體內容請參閱 第 6 章。
  
  
• 關于 Rosenblatt 的感知器結果，請參閱他的 Principles of Neurodynamics, 1962, New York: Spartan Books。
  
  
• 關于一些 delta 規則的詳細信息，請參閱 Kevin Gurney 的著作 An Introduction to Neural Networks 1997, London: Routledge。也可以參閱 Neural Nets早期的在線版本。
  
  
• 關于 delta 規則的證明，請參閱 B. Widrow 和 S.D. Stearns 的 Adaptive Signal Processing, 1985, New Jersey: Prentice-Hall。
  
  
• 關于包含圖形界面的感知器的執行，請參閱 Omri Weisman 和 Ziv Pollack 撰寫的 The Perceptron 。
  
  
• 什么是沒有 FAQ 的科目？請參閱在任何時候都適用的 Neural Net FAQ。
  
  
• 關于廣泛的鏈接集合，請參閱 The Backpropagator's Review。
  
  
• 請參閱 Neural Networks at your Fingertips，它討論了一組 C 程序包，這些包說明了 Adaline 網絡、反向傳播、Hopfield 模型以及其它，有一個 The Back-propagation Network 特別有趣，它是一個 C 程序包，說明了一個分析日斑數據的網絡。
  
  
• 在 Neural Networking Software，您將會找到有友好的圖形界面的同時支持 DOS 和 Linux 的神經網絡代碼。
  
  
• NEURObjects 提供了開發神經網絡的 C++ 的庫文件，它的優點在于面向對象。
  
  
• Stuttgart Neural Network Simulator（SNNS），正如名字所示，是用有 GUI 的 C 程序編寫的，它的手冊內容極為豐富，同時支持友好的 Linux 平臺。