自然語(yǔ)言處理中，經(jīng)常要處理序列標(biāo)注問(wèn)題（分詞、詞性標(biāo)注、組快分析等），為給定的觀察序列標(biāo)注標(biāo)記序列。
令o和s分別代表觀察序列和標(biāo)記序列，
根據(jù)貝葉斯公式，
1 生成模型和判別模型的定義
對(duì)o和s進(jìn)行統(tǒng)計(jì)建模，通常有兩種方式：
(1)生成模型
構(gòu)建o和s的聯(lián)合分布p(s,o)
(2)判別模型
構(gòu)建o和s的條件分布p(s|o)
2 判別模型和生成模型的對(duì)比
（1）訓(xùn)練時(shí)，二者優(yōu)化準(zhǔn)則不同
生成模型優(yōu)化訓(xùn)練數(shù)據(jù)的聯(lián)合分布概率；
判別模型優(yōu)化訓(xùn)練數(shù)據(jù)的條件分布概率，判別模型與序列標(biāo)記問(wèn)題有較好的對(duì)應(yīng)性。
（2）對(duì)于觀察序列的處理不同
生成模型中，觀察序列作為模型的一部分；
判別模型中，觀察序列只作為條件，因此可以針對(duì)觀察序列設(shè)計(jì)靈活的特征。
（3）訓(xùn)練復(fù)雜度不同
判別模型訓(xùn)練復(fù)雜度較高。
（4）是否支持無(wú)指導(dǎo)訓(xùn)練
生成模型支持無(wú)指導(dǎo)訓(xùn)練。