http://bbs.sciencenet.cn/home.php?mod=space&uid=484653&do=blog&id=442300產(chǎn)生式模型(Generative Model)與判別式模型(Discrimitive Model)是分類(lèi)器常遇到的概念，它們的區(qū)別在于：
對(duì)于輸入x，類(lèi)別標(biāo)簽y：
產(chǎn)生式模型估計(jì)它們的聯(lián)合概率分布P(x,y)
判別式模型估計(jì)條件概率分布P(y|x)
產(chǎn)生式模型可以根據(jù)貝葉斯公式得到判別式模型，但反過(guò)來(lái)不行。
Andrew Ng在NIPS2001年有一篇專(zhuān)門(mén)比較判別模型和產(chǎn)生式模型的文章：
On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes
(
http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf)
http://blog.sciencenet.cn/home.php?mod=space&uid=248173&do=blog&id=227964
【摘要】
- 生成模型：無(wú)窮樣本==》概率密度模型 = 產(chǎn)生模型==》預(yù)測(cè)
- 判別模型：有限樣本==》判別函數(shù) = 預(yù)測(cè)模型==》預(yù)測(cè)
【簡(jiǎn)介】
簡(jiǎn)單的說(shuō)，假設(shè)o是觀(guān)察值，q是模型。
如果對(duì)P(o|q)建模，就是Generative模型。其基本思想是首先建立樣本的概率密度模型，再利用模型進(jìn)行推理預(yù)測(cè)。要求已知樣本無(wú)窮或盡可能的大限制。
這種方法一般建立在統(tǒng)計(jì)力學(xué)和bayes理論的基礎(chǔ)之上。
如果對(duì)條件概率(后驗(yàn)概率) P(q|o)建模，就是Discrminative模型?；舅枷胧怯邢迾颖緱l件下建立判別函數(shù)，不考慮樣本的產(chǎn)生模型，直接研究預(yù)測(cè)模型。代表性理論為統(tǒng)計(jì)學(xué)習(xí)理論。
這兩種方法目前交叉較多。
【判別模型Discriminative Model】——inter-class probabilistic description
又可以稱(chēng)為條件模型，或條件概率模型。估計(jì)的是條件概率分布(conditional distribution)， p(class|context)。
利用正負(fù)例和分類(lèi)標(biāo)簽，focus在判別模型的邊緣分布。目標(biāo)函數(shù)直接對(duì)應(yīng)于分類(lèi)準(zhǔn)確率。
- 主要特點(diǎn)：
尋找不同類(lèi)別之間的最優(yōu)分類(lèi)面，反映的是異類(lèi)數(shù)據(jù)之間的差異。
- 優(yōu)點(diǎn):
分類(lèi)邊界更靈活，比使用純概率方法或生產(chǎn)模型得到的更高級(jí)。
能清晰的分辨出多類(lèi)或某一類(lèi)與其他類(lèi)之間的差異特征
在聚類(lèi)、viewpoint changes, partial occlusion and scale variations中的效果較好
適用于較多類(lèi)別的識(shí)別
判別模型的性能比生成模型要簡(jiǎn)單，比較容易學(xué)習(xí)
- 缺點(diǎn)：
不能反映訓(xùn)練數(shù)據(jù)本身的特性。能力有限，可以告訴你的是1還是2，但沒(méi)有辦法把整個(gè)場(chǎng)景描述出來(lái)。
Lack elegance of generative: Priors, 結(jié)構(gòu), 不確定性
Alternative notions of penalty functions, regularization, 核函數(shù)
黑盒操作: 變量間的關(guān)系不清楚，不可視
- 常見(jiàn)的主要有：
logistic regression
SVMs
traditional neural networks
Nearest neighbor
Conditional random fields(CRF): 目前最新提出的熱門(mén)模型，從NLP領(lǐng)域產(chǎn)生的，正在向ASR和CV上發(fā)展。
- 主要應(yīng)用：
Image and document classification
Biosequence analysis
Time series prediction
【生成模型Generative Model】——intra-class probabilistic description
又叫產(chǎn)生式模型。估計(jì)的是聯(lián)合概率分布（joint probability distribution），p(class, context)=p(class|context)*p(context)。
用于隨機(jī)生成的觀(guān)察值建模，特別是在給定某些隱藏參數(shù)情況下。在機(jī)器學(xué)習(xí)中，或用于直接對(duì)數(shù)據(jù)建模（用概率密度函數(shù)對(duì)觀(guān)察到的draw建模），或作為生成條件概率密度函數(shù)的中間步驟。通過(guò)使用貝葉斯rule可以從生成模型中得到條件分布。
如果觀(guān)察到的數(shù)據(jù)是完全由生成模型所生成的，那么就可以fitting生成模型的參數(shù)，從而僅可能的增加數(shù)據(jù)相似度。但數(shù)據(jù)很少能由生成模型完全得到，所以比較準(zhǔn)確的方式是直接對(duì)條件密度函數(shù)建模，即使用分類(lèi)或回歸分析。
與描述模型的不同是，描述模型中所有變量都是直接測(cè)量得到。
- 主要特點(diǎn)：
一般主要是對(duì)后驗(yàn)概率建模，從統(tǒng)計(jì)的角度表示數(shù)據(jù)的分布情況，能夠反映同類(lèi)數(shù)據(jù)本身的相似度。
只關(guān)注自己的inclass本身（即點(diǎn)左下角區(qū)域內(nèi)的概率），不關(guān)心到底 decision boundary在哪。
- 優(yōu)點(diǎn):
實(shí)際上帶的信息要比判別模型豐富，
研究單類(lèi)問(wèn)題比判別模型靈活性強(qiáng)
模型可以通過(guò)增量學(xué)習(xí)得到
能用于數(shù)據(jù)不完整（missing data）情況
modular construction of composed solutions to complex problems
prior knowledge can be easily taken into account
robust to partial occlusion and viewpoint changes
can tolerate significant intra-class variation of object appearance
- 缺點(diǎn)：
tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows
學(xué)習(xí)和計(jì)算過(guò)程比較復(fù)雜
- 常見(jiàn)的主要有：
Gaussians, Naive Bayes, Mixtures of multinomials
Mixtures of Gaussians, Mixtures of experts, HMMs
Sigmoidal belief networks, Bayesian networks
Markov random fields
所列舉的Generative model也可以用disriminative方法來(lái)訓(xùn)練，比如GMM或HMM，訓(xùn)練的方法有EBW(Extended Baum Welch),或最近Fei Sha提出的Large Margin方法。
- 主要應(yīng)用：
NLP:
Traditional rule-based or Boolean logic systems (Dialog and Lexis-Nexis) are giving way to statistical approaches (Markov models and stochastic context grammars)
Medical Diagnosis:
QMR knowledge base, initially a heuristic expert systems for reasoning about diseases and symptoms been augmented with decision theoretic formulation Genomics and Bioinformatics
Sequences represented as generative HMMs
【兩者之間的關(guān)系】
由生成模型可以得到判別模型，但由判別模型得不到生成模型。
Can performance of SVMs be combined elegantly with flexible Bayesian statistics?
Maximum Entropy Discrimination marries both methods: Solve over a distribution of parameters (a distribution over solutions)
【參考網(wǎng)址】
http://prfans.com/forum/viewthread.php?tid=80
http://hi.baidu.com/cat_ng/blog/item/5e59c3cea730270593457e1d.html
http://en.wikipedia.org/wiki/Generative_model
http://blog.csdn.net/yangleecool/archive/2009/04/05/4051029.aspx
==================
比較三種模型：HMMs and MRF and CRF
http://blog.sina.com.cn/s/blog_4cdaefce010082rm.html
HMMs(隱馬爾科夫模型):
狀態(tài)序列不能直接被觀(guān)測(cè)到(hidden)；
每一個(gè)觀(guān)測(cè)被認(rèn)為是狀態(tài)序列的隨機(jī)函數(shù)；
狀態(tài)轉(zhuǎn)移矩陣是隨機(jī)函數(shù)，根據(jù)轉(zhuǎn)移概率矩陣來(lái)改變狀態(tài)。
HMMs與MRF的區(qū)別是只包含標(biāo)號(hào)場(chǎng)變量，不包括觀(guān)測(cè)場(chǎng)變量。
MRF(馬爾科夫隨機(jī)場(chǎng))
將圖像模擬成一個(gè)隨機(jī)變量組成的網(wǎng)格。
其中的每一個(gè)變量具有明確的對(duì)由其自身之外的隨機(jī)變量組成的近鄰的依賴(lài)性(馬爾科夫性)。
CRF(條件隨機(jī)場(chǎng)),又稱(chēng)為馬爾可夫隨機(jī)域
一種用于標(biāo)注和切分有序數(shù)據(jù)的條件概率模型。
從形式上來(lái)說(shuō)CRF可以看做是一種無(wú)向圖模型，考察給定輸入序列的標(biāo)注序列的條件概率。
在視覺(jué)問(wèn)題的應(yīng)用：
HMMs:圖像去噪、圖像紋理分割、模糊圖像復(fù)原、紋理圖像檢索、自動(dòng)目標(biāo)識(shí)別等
MRF: 圖像恢復(fù)、圖像分割、邊緣檢測(cè)、紋理分析、目標(biāo)匹配和識(shí)別等
CRF: 目標(biāo)檢測(cè)、識(shí)別、序列圖像中的目標(biāo)分割
P.S.
標(biāo)號(hào)場(chǎng)為隱隨機(jī)場(chǎng)，它描述像素的局部相關(guān)屬性，采用的模型應(yīng)根據(jù)人們對(duì)圖像的結(jié)構(gòu)與特征的認(rèn)識(shí)程度，具有相當(dāng)大的靈活性。
空域標(biāo)號(hào)場(chǎng)的先驗(yàn)?zāi)Ｐ椭饕蟹且蚬R爾可夫模型和因果馬爾可夫模型。