贝叶斯统计正则化
发布时间：2016-02-11 栏目：机器学习 评论：0 Comments
主要用于遏制过拟合。
在机器学习笔记的最开始，我们提到了一种你和参数的方法就是最大似然函数（maximum likelihood (ML)）：
我们把 
称为 
的先验概率，给定训练集 
，当我们要对一个新的 
进行预测时，就可以计算参数 的后验概率：
等式中 
根据在学习算法中实际使用的模型而定。例如，如果使用贝叶斯逻辑回归，那么如果假设为 
，则 
.
对于一个新样本 ，用参数 的后验分布计算标签集 
的后验分布：
根据这个概率值求出在给定 情况下 的期望值就是预测的输出值：
但是在实际操作中，计算这些后验概率分布会很棘手，因为由上面式子可以看出需要对 （通常是高维）进行积分。
因此在实践过程中，我们近似地计算 的后验概率分布，而不是直接如同上面讨论的一样去计算。一种常用的近似方法是用一个单点估计代替 的后验概率分布（如等式2）.
对 的最大后验（MAP，maximum a posteriori)估计：
上面等式除了最后的 ，其余部分和ML（最大似然）估计一样。
在实际应用中，对于先验概率 通常假设 
.
在实践中，贝叶斯最大后验（MAP）估计比起最大似然（ML）估计更加容易避免过拟合。
留下评论
You must be logged in to post a comment.
