轉載：http://www.cnblogs.com/HappyAngel/p/3456762.html
http://www.cnblogs.com/bestheart/p/3676879.html
最近在跟臺大的這個課程，覺得不錯，想把學習筆記發出來跟大家分享下，有錯誤希望大家指正。
一機器學習是什么？
感覺和 Tom M. Mitchell的定義幾乎一致，
A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
簡而言之，就是我們想要機器在某些方面有提高（如搜索排名的質量，即NDCG提高），就給機器一些數據（用戶的點擊數據等各種）然后讓機器獲得某些經驗（Learning to rank的一種模型，也就是數學公式）。這里有點需要強調，那就是提高指標，必須要有某種指標可以量化這種提高，這點還是很關鍵的，工業界做機器學習，首先關注data，其次就是有無成型的measurement，可以使Precision/Recall，也可以是NDCG等。
二什么時候可以用機器學習？
其實就三要素：
- 有規律可以學習；
- 編程很難做到；
- 有能夠學習到規律的數據；
編程很難做到可以有多種，大部分原因是系統太復雜，很難用Rule-based的東西去解決，例如搜索排名，現在影響排名的因素有超多幾百種，不可能去想出這些因素的規則，因此，這時候用機器學習就是恰到好處。特別是移動互聯網的今天，用戶更容易接觸互聯網，產生的數據越來越多，那么要找到某些不容易實現的規律，用機器學習就是很好的了，這也是為啥機器學習這么火，其實我學機器學習不僅僅是一種投資（肯定它未來的發展前途），我想做的事情還有一點，就是通過它更深刻的理解人腦的學習過程，提高自己的學習效率和思維能力。
三具體如何用機器學習？
輸入是兩個：1 data；2 假設集合。Data如何使用？通過提取出feature vector來使用，也就是那個training examples，假設集合是用來選取最終f的。也就是說，輸出就是f（或近似f）。
四第一個機器學習算法：PLA（Perceptron Learning Algorithm）
課程講述這個算法的總體思路如下（典型的提出問題，分析問題以及解決問題）:
- 通過信用卡問題引入PLA；
- 對問題用數學抽象，并得到目標函數；
- 詳細解釋PLA迭代（學習）過程；
- 證明PLA學習的過程可以收斂并會得到最優解；
- 分析PLA優缺點，并提出克服缺點的一些方法；
這個算法本質上是線性分類器，針對給定的feature vector給出Yes 或者 No的回答
下面是用這個算法去解決信用卡問題的數學抽象：
這里的思想在于樸素的把從用戶信息抽出來的一些feature（年齡等）量化并組成vector，然后乘以一個權重向量，并設定一個閾值，大于這個閾值就表示好，小于表示不好，很明顯這個式子的未知變量有兩個（實際只有一個）：
- 權重向量 wi, 1<=i<=d;
- 閾值，下面設為0
做一點小小的變形使得式子更加緊湊，
還有就是從這個模型可以知道，regression model也可以解決classification問題，轉化的思想。下面是這個算法的核心，定義了學習目標之后，如何學習？這里的學習是，如何得到最終的直線去區分data？
這個算法的精髓之處在于如何做到"做錯能改"，其循環是不斷遍歷feature vector，找到錯誤的點（Yn和當前Wt*Xn不符合），然后校正Wt，那么為什么要這樣校正？因為這樣可以保證Wt越來越靠近perfect直線Wf（ps.暫時沒想到正向思維是如何得到這個式子的）課程像大多數課本一樣，用逆向思維給予介紹，就是在給定這樣能夠做的情況下去證明，即證明為什么這樣做可以不斷接近目標，以及最終一定會停止？
下面道出了PLA終止的條件：
這個是比較容易想到的，如果不能用直線去區分data（線性不可分），肯定是解決不了的，所以必須要滿足線性可分，其實問題的關鍵在于如何方便的知道某些數據是否線性可分？這個在課程中目前沒有涉及，一種簡單的解決方法是畫出來，直觀的去看，這個我覺得不是好方法。
這兩頁PPT比較復雜，其實就是在利用條件證明，下面重新組織下給出思路，因為Latex用中文不太爽，就用英文了：
五 PLA的優缺點
為了應對Noisy，我們不可能得到完美的直線，那么怎么衡量當前得到的直線能夠滿足要求呢？憑直覺，我們知道如果當前直線犯錯越少越好（對所有data），于是有了下面的改進算法，Pocket PLA，本質上就是在改錯的時候多做一步 -- 判斷當前改正犯的錯是否比之前更小，也就是貪心選擇
上了一周臺大的這個課程感覺老師還是很負責任，特別是循循善誘的教學方式真正是站在學生的角度考慮問題，更重要的是，我很欣賞課程的脈絡，其由幾個關鍵問題引出整套課程，這和《如何閱讀一本書》里面帶著問題閱讀很像，其實學習也是如此，這點必須贊一下，也做個小廣告，目前大家都在推薦Ng教授的課程，我覺得這個課程也值得推薦。
參考資料：
Coursera臺大機器學習基石
注：除了證明，其他授課ppt都來源于課程
代碼：
#include <fstream>
#include <iostream>
#include <vector>
using namespace std;
struct Item{
int x0 = 1; //需要C++11
double x1, x2, x3, x4;
int label;
};
struct Wight{
double w0, w1, w2, w3, w4;
}Wit0 = { 0, 0, 0, 0, 0 };
//////////////////////////////////////////////////////////////////////////////////////
int sign(double x){
if (x>0)
return 1;
else if (x<0)
return -1;
else
return 0;
}
//////////////////////////////////////////////////////////////////////////////////////
double DotPro(Item item, Wight wit){
return item.x0*wit.w0 + item.x1*wit.w1 + item.x2*wit.w2 + item.x3*wit.w3 + item.x4*wit.w4;
}
//////////////////////////////////////////////////////////////////////////////////////
Item NumPro(int k, Item item){
Item NewItem;
NewItem.x0 = item.x0*k;
NewItem.x1 = item.x1*k;
NewItem.x2 = item.x2*k;
NewItem.x3 = item.x3*k;
NewItem.x4 = item.x4*k;
return NewItem;
}
//////////////////////////////////////////////////////////////////////////////////////
Wight WightAnd(Item item, Wight wit){
Wight NewWigth;
NewWigth.w0 = item.x0 + wit.w0;
NewWigth.w1 = item.x1 + wit.w1;
NewWigth.w2 = item.x2 + wit.w2;
NewWigth.w3 = item.x3 + wit.w3;
NewWigth.w4 = item.x4 + wit.w4;
return NewWigth;
}
//////////////////////////////////////////////////////////////////////////////////////
void main()
{
ofstream output("D:/data2.txt");
ifstream input("D:/data0.txt");
vector<Item> data;
Item temp;
while (input >> temp.x1 >> temp.x2 >> temp.x3 >> temp.x4 >> temp.label){
data.push_back(temp);
}
vector<Item>::iterator it;
Wight wit = Wit0;
for (it = data.begin(); it != data.end(); it++)
{
if ((*it).label != sign(DotPro(*it, wit))){
wit = WightAnd(NumPro((*it).label, *it), wit);
it = data.begin();
}
}
cout << wit.w0 << " " << wit.w1 << " " << wit.w2 << " " << wit.w3 << " " << wit.w4 << endl;
/* 測試數據
for (it = data.begin(); it != data.end(); it++)
{
output << sign(DotPro(*it, wit)) << endl;
}
*/
}
posted on 2016-07-17 23:33
merlinfang 閱讀(2252)
評論(0) 編輯 收藏 引用 所屬分類:
機器學習