轉(zhuǎn)載：http://www.cnblogs.com/HappyAngel/p/3456762.html
http://www.cnblogs.com/bestheart/p/3676879.html
最近在跟臺大的這個課程，覺得不錯，想把學(xué)習(xí)筆記發(fā)出來跟大家分享下，有錯誤希望大家指正。
一機(jī)器學(xué)習(xí)是什么？
感覺和 Tom M. Mitchell的定義幾乎一致，
A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
簡而言之，就是我們想要機(jī)器在某些方面有提高（如搜索排名的質(zhì)量，即NDCG提高），就給機(jī)器一些數(shù)據(jù)（用戶的點(diǎn)擊數(shù)據(jù)等各種）然后讓機(jī)器獲得某些經(jīng)驗(yàn)（Learning to rank的一種模型，也就是數(shù)學(xué)公式）。這里有點(diǎn)需要強(qiáng)調(diào)，那就是提高指標(biāo)，必須要有某種指標(biāo)可以量化這種提高，這點(diǎn)還是很關(guān)鍵的，工業(yè)界做機(jī)器學(xué)習(xí)，首先關(guān)注data，其次就是有無成型的measurement，可以使Precision/Recall，也可以是NDCG等。
二什么時候可以用機(jī)器學(xué)習(xí)？
其實(shí)就三要素：
- 有規(guī)律可以學(xué)習(xí)；
- 編程很難做到；
- 有能夠?qū)W習(xí)到規(guī)律的數(shù)據(jù)；
編程很難做到可以有多種，大部分原因是系統(tǒng)太復(fù)雜，很難用Rule-based的東西去解決，例如搜索排名，現(xiàn)在影響排名的因素有超多幾百種，不可能去想出這些因素的規(guī)則，因此，這時候用機(jī)器學(xué)習(xí)就是恰到好處。特別是移動互聯(lián)網(wǎng)的今天，用戶更容易接觸互聯(lián)網(wǎng)，產(chǎn)生的數(shù)據(jù)越來越多，那么要找到某些不容易實(shí)現(xiàn)的規(guī)律，用機(jī)器學(xué)習(xí)就是很好的了，這也是為啥機(jī)器學(xué)習(xí)這么火，其實(shí)我學(xué)機(jī)器學(xué)習(xí)不僅僅是一種投資（肯定它未來的發(fā)展前途），我想做的事情還有一點(diǎn)，就是通過它更深刻的理解人腦的學(xué)習(xí)過程，提高自己的學(xué)習(xí)效率和思維能力。
三具體如何用機(jī)器學(xué)習(xí)？
輸入是兩個：1 data；2 假設(shè)集合。Data如何使用？通過提取出feature vector來使用，也就是那個training examples，假設(shè)集合是用來選取最終f的。也就是說，輸出就是f（或近似f）。
四第一個機(jī)器學(xué)習(xí)算法：PLA（Perceptron Learning Algorithm）
課程講述這個算法的總體思路如下（典型的提出問題，分析問題以及解決問題）:
- 通過信用卡問題引入PLA；
- 對問題用數(shù)學(xué)抽象，并得到目標(biāo)函數(shù)；
- 詳細(xì)解釋PLA迭代（學(xué)習(xí)）過程；
- 證明PLA學(xué)習(xí)的過程可以收斂并會得到最優(yōu)解；
- 分析PLA優(yōu)缺點(diǎn)，并提出克服缺點(diǎn)的一些方法；
這個算法本質(zhì)上是線性分類器，針對給定的feature vector給出Yes 或者 No的回答
下面是用這個算法去解決信用卡問題的數(shù)學(xué)抽象：
這里的思想在于樸素的把從用戶信息抽出來的一些feature（年齡等）量化并組成vector，然后乘以一個權(quán)重向量，并設(shè)定一個閾值，大于這個閾值就表示好，小于表示不好，很明顯這個式子的未知變量有兩個（實(shí)際只有一個）：
- 權(quán)重向量 wi, 1<=i<=d;
- 閾值，下面設(shè)為0
做一點(diǎn)小小的變形使得式子更加緊湊，
還有就是從這個模型可以知道，regression model也可以解決classification問題，轉(zhuǎn)化的思想。下面是這個算法的核心，定義了學(xué)習(xí)目標(biāo)之后，如何學(xué)習(xí)？這里的學(xué)習(xí)是，如何得到最終的直線去區(qū)分data？
這個算法的精髓之處在于如何做到"做錯能改"，其循環(huán)是不斷遍歷feature vector，找到錯誤的點(diǎn)（Yn和當(dāng)前Wt*Xn不符合），然后校正Wt，那么為什么要這樣校正？因?yàn)檫@樣可以保證Wt越來越靠近perfect直線Wf（ps.暫時沒想到正向思維是如何得到這個式子的）課程像大多數(shù)課本一樣，用逆向思維給予介紹，就是在給定這樣能夠做的情況下去證明，即證明為什么這樣做可以不斷接近目標(biāo)，以及最終一定會停止？
下面道出了PLA終止的條件：
這個是比較容易想到的，如果不能用直線去區(qū)分data（線性不可分），肯定是解決不了的，所以必須要滿足線性可分，其實(shí)問題的關(guān)鍵在于如何方便的知道某些數(shù)據(jù)是否線性可分？這個在課程中目前沒有涉及，一種簡單的解決方法是畫出來，直觀的去看，這個我覺得不是好方法。
這兩頁PPT比較復(fù)雜，其實(shí)就是在利用條件證明，下面重新組織下給出思路，因?yàn)?/span>Latex用中文不太爽，就用英文了：
五 PLA的優(yōu)缺點(diǎn)
為了應(yīng)對Noisy，我們不可能得到完美的直線，那么怎么衡量當(dāng)前得到的直線能夠滿足要求呢？憑直覺，我們知道如果當(dāng)前直線犯錯越少越好（對所有data），于是有了下面的改進(jìn)算法，Pocket PLA，本質(zhì)上就是在改錯的時候多做一步 -- 判斷當(dāng)前改正犯的錯是否比之前更小，也就是貪心選擇
上了一周臺大的這個課程感覺老師還是很負(fù)責(zé)任，特別是循循善誘的教學(xué)方式真正是站在學(xué)生的角度考慮問題，更重要的是，我很欣賞課程的脈絡(luò)，其由幾個關(guān)鍵問題引出整套課程，這和《如何閱讀一本書》里面帶著問題閱讀很像，其實(shí)學(xué)習(xí)也是如此，這點(diǎn)必須贊一下，也做個小廣告，目前大家都在推薦Ng教授的課程，我覺得這個課程也值得推薦。
參考資料：
Coursera臺大機(jī)器學(xué)習(xí)基石
注：除了證明，其他授課ppt都來源于課程
代碼：
#include <fstream>
#include <iostream>
#include <vector>
using namespace std;
struct Item{
int x0 = 1; //需要C++11
double x1, x2, x3, x4;
int label;
};
struct Wight{
double w0, w1, w2, w3, w4;
}Wit0 = { 0, 0, 0, 0, 0 };
//////////////////////////////////////////////////////////////////////////////////////
int sign(double x){
if (x>0)
return 1;
else if (x<0)
return -1;
else
return 0;
}
//////////////////////////////////////////////////////////////////////////////////////
double DotPro(Item item, Wight wit){
return item.x0*wit.w0 + item.x1*wit.w1 + item.x2*wit.w2 + item.x3*wit.w3 + item.x4*wit.w4;
}
//////////////////////////////////////////////////////////////////////////////////////
Item NumPro(int k, Item item){
Item NewItem;
NewItem.x0 = item.x0*k;
NewItem.x1 = item.x1*k;
NewItem.x2 = item.x2*k;
NewItem.x3 = item.x3*k;
NewItem.x4 = item.x4*k;
return NewItem;
}
//////////////////////////////////////////////////////////////////////////////////////
Wight WightAnd(Item item, Wight wit){
Wight NewWigth;
NewWigth.w0 = item.x0 + wit.w0;
NewWigth.w1 = item.x1 + wit.w1;
NewWigth.w2 = item.x2 + wit.w2;
NewWigth.w3 = item.x3 + wit.w3;
NewWigth.w4 = item.x4 + wit.w4;
return NewWigth;
}
//////////////////////////////////////////////////////////////////////////////////////
void main()
{
ofstream output("D:/data2.txt");
ifstream input("D:/data0.txt");
vector<Item> data;
Item temp;
while (input >> temp.x1 >> temp.x2 >> temp.x3 >> temp.x4 >> temp.label){
data.push_back(temp);
}
vector<Item>::iterator it;
Wight wit = Wit0;
for (it = data.begin(); it != data.end(); it++)
{
if ((*it).label != sign(DotPro(*it, wit))){
wit = WightAnd(NumPro((*it).label, *it), wit);
it = data.begin();
}
}
cout << wit.w0 << " " << wit.w1 << " " << wit.w2 << " " << wit.w3 << " " << wit.w4 << endl;
/* 測試數(shù)據(jù)
for (it = data.begin(); it != data.end(); it++)
{
output << sign(DotPro(*it, wit)) << endl;
}
*/
}
posted on 2016-07-17 23:33
merlinfang 閱讀(2256)
評論(0) 編輯 收藏 引用 所屬分類:
機(jī)器學(xué)習(xí)