Fisher 信息量#

描述的是某参数 携带信息量的多少，信息量在数学上正是由 不确定性，敏感度，来定义的。

信息量<==>敏感度#

如果一个参数 的微小变动可以引起概率分布 的剧烈变化，则称这个参数 携带的信息量大。

证明：

在标量语境下，这个式子是方差，针对标量随机变量 ，定义为 。

但是参数 通常是一个 d 维向量。而 当然是梯度向量，也是 ，其期望为 0。针对向量随机变量 ，定义为 。

Score Function为0的意义

在真是参数下的梯度为 0，因为对数似然函数的导数反映了似然函数的“坡度”，而在真实参数 下，这个似然函数达到了极大值（在最大似然估计语境下来说），于是坡度为 0,通过上面的积分就可以得证了（用到了概率归一化的结果）

得到的是一个协方差矩阵，他的对角线元素表示了每个参数分量的波动（方差），非对角线元素表示了不同参数估计值之间的线性相关性。（ps.线性不相关一定协方差为 0,但是协方差为 0 不一定独立，因为可能非线性相关）。因为 是列向量，所以这个操作实际上计算的是外积。 同时，这个矩阵描述了似然函数曲面的曲率。

从梯度到曲率

1. 一阶导数（Score function）：描述的是“坡度”（陡峭程度）。
2. 二阶导数（Hessian Matrix）：描述的是“坡度的变化”，即曲率

综上，如果一个参数 的微小变动能引起概率分布 的剧烈变化，那么这个参数携带的信息量大。->意味着观测数据 对参数 的变化非常敏感->说明我通过观测 来估计 时，能够获得的确定性越高。

Cramér-Rao 不等式。

对于任何无偏估计量 ，其方差（不确定性）满足：, 就是那个协方差矩阵。Fisher 信息量越大 → 估计量的方差下界越小 → 估计得越准。既然它能让估计变得更准，我们自然称它为“携带的信息量更多。

TIP

同时，开了一个大坑：信息几何-Information Geomotry #坑