参数估计是数理统计中重要的基本问题之一。通常，称参数的可容许值的全体为参数空间，并记为 $\Theta$。所谓参数估计就是由样本对总体分布所含的未知参数做出估计。另外，在有些实际问题中，由于事先并不知道总体 $X$ 的分布类型，而要对其某些数字特征，如均值、方差等做出估计，习惯上也把这些数字特征称为参数，对它们进行估计也属于参数估计范畴。

点估计和估计量的求法

点估计概念

设总体 $X$ 的分布函数是 $F(x;{\theta }_1,...,{\theta }_l)$，其中 ${\theta }_1,...,{\theta }_l$ 是未知参数，$X_1,...,X_n$ 是来自总体 $X$ 的样本，$x_1,...,x_n$ 是相应的样本值，参数点估计就是研究如何构造适当的统计量 ${\hat{\theta }}_i(X_1,...,X_n)$，并分别用观察值 ${\hat{\theta }}_i(x_1,...,x_n)$ 作为未知参数 ${\theta }_i$ 的估计。

通常，称用作估计的统计量 ${\hat{\theta }}_i(X_1,...,X_n)$ 为估计量，称其观察值 ${\hat{\theta }}_i(x_1,...,x_n)$ 为估计值。

由于对不同的样本值，得到的参数估计值往往不同，因此，点估计问题的关键在于构造估计量的方法。下面介绍求估计量的一些常用方法。

矩估计法

设总体 $X$ 的分布中含有 $l$ 个未知参数 ${\theta }_1,...,{\theta }_l$，又设总体 $X$ 的前 $l$ 阶原点矩 ${\alpha }_k=E(X^k)(k=1,...,l)$ 存在，且是 ${\theta }_1,...,{\theta }_l$ 的函数，即 ${\alpha }_k={\alpha }_k({\theta }_1,...,{\theta }_l)$，令
$${\alpha }_k({\hat{\theta }}_1,...,{\hat{\theta }}_l)=A_k,k=1,...,l$$
解此方程组可得 ${\hat{\theta }}_1,...,{\hat{\theta }}_l$，并将它们分别作为 ${\theta }_1,...,{\theta }_l$ 的估计量。这种求估计量的方法称为矩估计法，用矩估计法求得的估计量称为矩估计量。

例：设总体 $X$ 的二阶矩存在，$X_1,...,X_n$ 为总体 $X$ 的样本，求总体均值 $\mu$ 与总体方差 ${\sigma }^2$ 的矩估计。

解：因 ${\alpha }_1=\mu ,{\alpha }_2={\sigma }^2+{\mu }^2$，令 $$\{\begin{array}{l}\hat{\mu }=A_1=\bar{X}\\ {\hat{\sigma }}^2+{\hat{\mu }}^2=A_2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2\end{array}$$
解得 $\mu$ 与 ${\sigma }^2$ 的矩估计分别为
$$\hat{\mu }=\bar{X}$$$${\hat{\sigma }}^2=A_2-{\bar{X}}^2=S^2$$

极大似然估计法

以下用 $\mathbf{X}=(X_1,...,X_n{)}^T$ 表示样本，$\mathbf{x}=(x_1,...,x_n{)}^T$ 表示样本点，$f(\mathbf{x};\theta )$ 表示样本分布。

极大似然法的提出是基于如下的想法：

当给定 $\theta$ 时，$f(\mathbf{x};\theta )$ 度量样本 $\mathbf{X}$ 在 $\mathbf{x}$ 点发生的可能性。对于样本空间中的两个不同样本点 ${\mathbf{x}}_1,{\mathbf{x}}_2\in \mathcal{X}$，如果有 $f({\mathbf{x}}_1;\theta )>f({\mathbf{x}}_2;\theta )$，自然会认为样本 $\mathbf{X}$ 更可能在 ${\mathbf{x}}_1$ 点发生。

现在换个角度来看待 $f(\mathbf{x};\theta )$。当给定样本点 $\mathbf{x}$ 时，对参数空间中的两个不同参数 ${\theta }_1,{\theta }_2\in \Theta$，如果有 $f(\mathbf{x};{\theta }_1)>f(\mathbf{x};{\theta }_2)$，那么会认为样本点 $\mathbf{x}$ 更像是来自总体 $f(\mathbf{X};{\theta }_1)$，所以，数 $f(\mathbf{x};\theta )$ 的大小可作为参数 $\theta$ 对产生样本观察值 $\mathbf{x}$ 有多大似然性的一种度量。

当给定样本点 $\mathbf{x}$ 时，称 $f(\mathbf{x};\theta )$ 为 $\theta$ 的似然函数，记为 $L(\theta ;\mathbf{x})$，即
$$L(\theta ;\mathbf{x})=f(\mathbf{x};\theta )=\{\begin{array}{ll}{\prod }_{i=1}^{n}p(x_i;\theta ),& 总体X为离散型随机变量\\ {\prod }_{i=1}^{n}f(x_i;\theta ),& 总体X为连续型随机变量\end{array}$$
而称 $\ln f(\mathbf{x};\theta )$ 为对数似然函数，记为 $\ln L(\theta ;\mathbf{x})$。

若有统计量 $\hat{\theta }\bumpeq \hat{\theta }(\mathbf{X})$，使得
L ( θ ^ ( x ) ; x ) = sup ⁡ θ ∈ Θ { L ( θ ; x ) } L(\hat{\theta}(\boldsymbol{x});\boldsymbol{x})=\sup_{\theta \in \Theta}\{L(\theta;\boldsymbol{x})\} L(θ^(x);x)=θ∈Θsup​{L(θ;x)}
或等价的，使得
ln ⁡ L ( θ ^ ( x ) ; x ) = sup ⁡ θ ∈ Θ { ln ⁡ L ( θ ; x ) } \ln L(\hat{\theta}(\boldsymbol{x});\boldsymbol{x})=\sup_{\theta \in \Theta}\{\ln L(\theta;\boldsymbol{x})\} lnL(θ^(x);x)=θ∈Θsup​{lnL(θ;x)}
则称 $\hat{\theta }(\mathbf{X})$ 为参数 $\theta$ 的极大似然估计量（Maximum Likelihood Estimators, MLE）。

例：设总体 $X\sim P(\lambda ),\lambda >0$，试求参数 $\lambda$ 的极大似然估计量。

解：$X$ 的概率函数为
P { X = x } = λ x x ! e − λ , x = 0 , 1 , 2 , . . . P\{X=x\}=\frac{\lambda^x}{x!}e^{-\lambda},\quad x=0,1,2,... P{X=x}=x!λx​e−λ,x=0,1,2,...
故 $\lambda$ 的似然函数为
$$L(\lambda )=\prod _{i=1}^n(\frac{{\lambda }^{x_i}}{x_i!}{e}^{-\lambda })=e^{-n\lambda }\frac{{\lambda }^{{\sum }_{i=1}^n{x}_i}}{{\prod }_{i=1}^n(x_i!)}$$
对数似然函数为
$$\ln L(\lambda )=-n\lambda +\ln \lambda \sum _{i=1}^n{x}_i-\sum _{i=1}^n\ln (x_i!)$$
令
$$\frac{\partial \ln L(\lambda )}{\partial \lambda }=-n+\frac{1}{\lambda }\sum _{i=1}^n{x}_i=0$$
该似然方程有唯一解 $\hat{\lambda }=\frac{1}{n}{\sum }_{i=1}^n{x}_i=\bar{x}$，又因
$$\frac{{\partial }^2\ln L(\lambda )}{\partial {\lambda }^2}{|}_{\lambda =\bar{x}}<0$$
故 $\lambda$ 的极大似然估计量为 $\hat{\lambda }=\bar{X}$。

参考文献

[1] 《应用数理统计》，施雨，西安交通大学出版社。