MLE#

数据 ，模型参数为 ，MLE 选择使数据出现概率最大的参数：所谓似然

用 log 是因为常用 log 转成对数形式，好运算。

哪个参数最能解释已经观察到的数据。

• 容易过拟合（尤其小数据）

MAP#

在 MLE 的基础上，引入参数的先验分布 ，注：，和上边是一样的

利用贝叶斯公式：

去掉与 无关的参数，比如 D 的分布，他其实只起到一个归一化的作用而已，概率相乘会导致求导非常复杂，于是用 log：单调递增函数

直观的理解就是：

• 不仅看数据，还考虑这个参数本身的合理性
• 在数据少的时候就尤其重要。
• 正则化

我们习惯最小化损失，而不是最大化收益。所以我们给整个函数加一个负号，来将 argmax 变为 argmin。

假设 D 内数据是 IID 的，那似然项可以展开为 log 求和：

==前项==：复对数似然（NLL） ==后项==：正则化项

总结#

• MLE：只相信数据

• MAP：数据 + 先验

• 正则化 = 先验

• 现代深度学习几乎都在做 MAP（只是没明说） MAP：