点估计

背景：参数估计

总体 X 的分布函数 (F(x, heta)) 形式已知但含有未知参数 ( heta)，通过样本来估计关于 ( heta) 的信息，称为参数估计。

点估计问题构造统计量 (hat heta(X_1,…,X_n)) 用其观察值来估计未知参数 ( heta)，称 (hat heta (X_1,…,X_n)) 时 ( heta) 的估计量，(hat heta (x_1,…,x_n)) 是 ( heta) 的估计值。

由辛钦定理，样本原点矩依概率收敛到总体原点矩，若将总体原点矩的期望表示为待估参数 ( heta) 的函数，则可以获得若干个关于待估参数的方程，进而求解参数的估计值。

通常来说，能用低阶原点矩进行估计就不使用高阶原点矩，这里同时涉及到估计的准确性与计算的复杂度问题。

对似然函数 (L( heta)=prod_{i=1}^n f(X_i; heta)) 而言，样本值 (x_1,…,x_n) 都是常数，似然函数是 ( heta) 的函数，我们希望取得某种参数值 (hat heta) 使得 (L( heta)) 达到最大。

换言之，我们就是要找到一种参数，使得这种参数分布下抽取得到这样的样本的概率最大，这种分布参数就是对总体分布参数的最大似然估计。

实际求解时，通常使用对数似然函数 (ln L( heta))，将其对参数求偏导数后令为 (0) 以求解驻点。如果由多个参数，则构成多个方程。总之转化为了单/多元函数的最值问题。

估计量的期望 (Ehat heta = heta)，则是无偏估计。若 (lim_{n o infty} Ehat heta= heta)，则称为渐进无偏估计。

若 (Ehat heta_1=Ehat heta_2= heta)，若有 (Dhat heta_1 le Dhat heta_2) 则称 (hat heta_1) 比 (hat heta_2) 有效。

所有无偏估计中，方差最小的无偏估计称为最小方差无偏估计，或有效估计。

点估计的方差的下界为 (displaystyle frac 1 {nI( heta)})，其中 (I( heta)) 是 Fisher 信息数。

若估计量 (hat heta) 依概率收敛到 ( heta)，则称 (hat heta) 是 ( heta) 的相合估计量。

根据辛钦定理，所有的矩估计都是相合估计。