监督学习方法总结

方法	适用问题	模型特点	类型	学习策略	损失函数	学习算法
感知机	二分类	分离超平面	判别	极小化误分类点到超平面距离	误分点到超平面距离	SGD
K近邻法	多分类, 回归	特征空间, 样本点	判别	-	-	-
朴素Bayes法	多分类	特征与类别的联合概率分布, 条件独立假设	生成	MLE , 最大后验概率估计	Log-loss	概率计算公式, EM 算法
决策树	多分类, 回归	分类树, 回归树	判别	正则化的 MLE	Log-loss	特征选择, 生成, 剪枝
Logistic回归, 最大熵模型	多分类	特征条件下类别的条件概率分布, 对数线性模型	判别	(正则化的) MLE	Logistic Loss	改进的迭代尺度算法, 梯度下降, 拟牛顿法
SVM	二分类	分离超平面, 函数/几何间隔, 核技巧	判别	极小化 hinge-loss, 软间隔最大化	Hinge loss	SMO
提升方法	二分类	弱分类器的线性组合	判别	极小化加法模型的指数损失	指数损失	前向分步加法算法, AdaBoost
EM算法	概率模型参数估计	含隐变量概率模型	-	MLE, 最大后验概率估计	Log-loss	迭代算法 (EM 算法)
隐Markov模型	标注	观测序列与状态序列的联合概率分布模型	生成	MLE, 最大后验概率估计	Log-loss	概率计算公式, EM 算法
条件随机场	标注	状态序列条件下观测序列的条件概率分布, 对数线性模型	判别	(正则化的) MLE	Log-loss	改进的迭代尺度算法, 梯度下降, 拟牛顿法