| 判别式模型（ discriminative
model ） | 产生式模型（ generative
model ） |
特点 | 寻找不同类别之间的最优分类面，反映的是异类数据之间的差异 | 对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度 |
区别 ( 假定输入 x,类别标签 y) | 估计的是条件概率分布 (conditional
distribution)
: P(y|x) | 估计的是联合概率分布（ joint probability
distribution: P(x, y), |
联系 | 由产生式模型可以得到判别式模型，但由判别式模型得不到产生式模型。 |
常见模型 | – logistic
regression
– SVMs
– traditional neural networks
– Nearest neighbor | –Gaussians, Naive Bayes
–Mixtures of Gaussians, Mixtures of experts, HMMs
–Sigmoidal belief networks, Bayesian networks
– Markov random fields |
优点 | 1 ）分类边界更灵活，比使用纯概率方法或产生式模型更高级； 2 ）能清晰的分辨出多类或某一类与其他类之间的差异特征； 3 ）在聚类、 viewpoint changes, partial
occlusion and scale
variations 中的效果较好； 4 ）适用于较多类别的识别； 5 ）判别模型的性能比产生式模型要简单，比较容易学习。 | 1 ）实际上带的信息要比判别模型丰富； 2 ）研究单类问题比判别模型灵活性强； 3 ）模型可以通过增量学习得到； 4 ）能用于数据不完整（ missing
data）情况。 |
缺点 | 1 ）不能反映训练数据本身的特性。能力有限，可以告诉你的是 1 还是 2，但没有办法把整个场景描述出来；
2 ） Lack elegance of generative:
Priors, 结构 , 不确定性；
3 ） Alternative notions of
penalty functions,
regularization, 核函数；
4 ）黑盒操作 : 变量间的关系不清楚，不可视。 | 1) Tend to
produce a significant number of false positives. This is
particularly true for object classes which share a high visual
similarity such as horses and cows；
2) 学习和计算过程比较复杂。 |
性能 | 较好（性能比生成模型稍好些，因为利用了训练数据的类别标识信息，缺点是不能反映训练数据本身的特性） | 较差 |
主要应用 | Image and
document classification
Biosequence analysis
Time series prediction | NLP
Medical Diagnosis |
转自：http://blog.sina.com.cn/s/blog_953f8a550100zo3p.html
0 条评论