系列目录
【统计信号处理基础——估计与检测理论】Vol1.Ch2. 最小方差无偏估计

---

1. 信号处理中的估计

从离散时间波形或一组数据集中提取参数的问题。我们有$N$点数据集 { x [ 0 ] , x [ 1 ] , ⋯ , x [ N − 1 ] } \{x[0],x[1],\cdots,x[N-1]\} {x[0],x[1],⋯,x[N−1]}，它与未知参数$\theta$有关，我们希望根据数据来确定$\theta$或定义估计量

$$\hat{\theta }=g(x[0],x[1],\cdots ,x[N-1])\text{\hspace{1em}(1)}$$

其中$g$是某个函数。我们面临类似上式中的$g$的确定问题。

2. 估计的数学问题

在确定好的估计量时，第一步是建立数据的数学模型。由于数据固有的随机性，我们用它的概率密度函数（Probability density function, PDF）来描述它，即$p((x[0],x[1],\cdots ,x[N-1];\theta )$。PDF以未知量$\theta$为参数，即我们有一族PDF，其中每一个PDF由于$\theta$的不同而不同，我们用分号表示这种关系。如果$N=1$且$\theta$表示均值，那么数据的PDF可能是

$$p(x[0];\theta )=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left[-\frac{1}{2{\sigma }^2}(x[0]-\theta {)}^2\right]\text{\hspace{1em}(2)}$$

由于$\theta$的值影响$x[0]$的概率，因此我们从观测到的$x[0]$的值能够推断出$\theta$的值。在确定一个好的估计量时，PDF的这一特点很重要。在实际问题中，并没有给出PDF，而是要选择一个不仅与问题的约束和先验知识一致的，而且在数学上也容易处理的PDF。

假定数据由直线叠加随机噪声组成，即

$$x[n]=A+Bn+w[n],n=0,1,\cdots ,N-1\text{\hspace{1em}(3)}$$

对噪声的一个合理模型是$w[n]$为白色高斯噪声（WGN），即$w[n]$的每一个样本具有PDF$\mathcal{N}(0,{\sigma }^2)$（均值为零，方差为${\sigma }^2$的高斯分布），且所有样本互不相关。未知参数是$A$和$B$，可表示为参数矢量$\theta =[AB{]}^T$。令$\mathbf{x}=[x[0],x[1],\cdots ,x[N-1]{]}^T$，PDF为

$$p(\mathbf{x};\theta )=\frac{1}{(2\pi {\sigma }^2{)}^{\frac{N}{2}}}\exp \left[-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}(x[n]-A-Bn{)}^2\right]\text{\hspace{1em}(4)}$$

(4)由$N$个(2)式相乘得到（所有样本互不相关，服从相同的分布）。

任何得到的估计量的性能都与假定的PDF有关。我们希望得到的估计量是稳健的，这样PDF的微小变化不会严重影响估计量的性能。

基于(4)式那样的PDF的估计称为经典的估计，其中感兴趣的参数假定为确定的但却未知。

为了将一些先验知识考虑进去，我们可以假定(4)中的$A$不再是一个确定的参数，而是一个随机变量，并且给它指定PDF。例如，根据先验知识，约束$A$在$[2800,3200]$间均匀分布。因而，任何估计量都将产生在这个范围内的值，这样的方法称为贝叶斯（Bayesian）估计。我们要估计的这个参数将作为随机变量$\theta$的一个现实，这样，数据由联合PDF来描述

$$p(\mathbf{x},\theta )=p(x|\theta )p(\theta )\text{\hspace{1em}(5)}$$

其中$p(\theta )$是先验PDF，概括了在数据观测以前关于$\theta$的先验知识，$p(\mathbf{x}|\theta )$是条件PDF，概括了在已知$\theta$的条件下由数据$\mathbf{x}$提供的知识。

一旦指定PDF，问题就变成了确定最佳估计量的问题，或者成为像(1)式那样的数据的函数。一个估计量可以看成对$\mathbf{x}$的每一个现实指定一个$\theta$值的规则。$\theta$的估计就是根据每一个给定的$\mathbf{x}$的现实而获得的$\theta$的值。

3. 估计量性能评估

将一组数据建模为

$$x[n]=A+w[n]\text{\hspace{1em}(6)}$$

其中$w[n]$是零均值噪声过程，我们需要根据$x[n]$来估计$A$。直观来看，由于$A$是$x[n]$的平均电平，因此可以使用样本均值来估计$A$，即

$$\hat{A}=\frac{1}{N}\sum _{n=0}^{N-1}x[n]\text{\hspace{1em}(7)}$$

此时会有两个疑问：

1. $\hat{A}$是否接近$A$？
2. 有比样本均值更好的估计吗？

考虑$\hat{A}$和另一个估计量$\check{A}=x[0]$，评估这两个估计量的性能，可以证明谁的方差更小。

首先证明每个估计量的均值是真值，即

$$E(\hat{A})=E\left(\frac{1}{N}\sum _{n=0}^{N-1}x[n]\right)=\frac{1}{N}\sum _{n=0}^{N-1}E(x[n])=A\text{\hspace{1em}(8)}$$

$$E(\check{A})=E(x[0])=A\text{\hspace{1em}(9)}$$

其次方差为

$$\begin{array}{rl}\text{var}(\hat{A})& =\text{var}\left(\frac{1}{N}\sum _{n=0}^{N-1}x[n]\right)\\ & =\frac{1}{N^2}\sum _{n=0}^{N-1}\text{var}(x[n])\\ & =\frac{1}{N^2}N{\sigma }^2=\frac{{\sigma }^2}{N}\end{array}\text{\hspace{1em}(10)}$$

(10)用到了不相关和相同方差的性质。由于

$$\text{var}(\check{A})=\text{var}(x[0])={\sigma }^2>\text{var}(\hat{A})$$

估计是数据的函数，而数据是随机变量，所以估计也是随机变量，它有许多可能的取值，它的性能完全只能由统计或者PDF来描述。

习题

1.1

根据物理意义，$R$的估计量可以是

$$\hat{R}=\frac{c{\hat{\tau }}_0}{2}$$

由于${\hat{\tau }}_0\sim ({\tau }_0,{\sigma }_{{\hat{\tau }}_0}^2)$，根据正态分布的性质，$\hat{R}$的PDF为

$$\hat{R}\sim (\frac{c{\tau }_0}{2},\frac{c^2}{4}{\sigma }_{{\hat{\tau }}_0}^2)$$

距离估计值的99%在真值的100m以内，及

$$p\left\{\left|\hat{R}-\frac{c{\tau }_0}{2}\right|<100\right\}=99\%$$

等价于

$$p\left\{\left|\frac{\hat{R}-\frac{c{\tau }_0}{2}}{\frac{c}{2}{\sigma }_{{\hat{\tau }}_0}}\right|<\frac{100}{\frac{c}{2}{\sigma }_{{\hat{\tau }}_0}}\right\}=99\%$$

不等式坐标为一个标准正态分布。通过查表（标准正态分布表）可知，对于一个标准正态分布X，有

p { ∣ X ∣ < 2.58 } ≈ 99 % p\left\{\left|X\right|<2.58\right\}\approx99\% p{∣X∣<2.58}≈99%

因此有

$$\frac{100}{\frac{c}{2}{\sigma }_{{\hat{\tau }}_0}}=2.58$$

故所求标准偏差为

$${\sigma }_{{\hat{\tau }}_0}=2.6\text{us}$$

1.2

不正确。$\theta$可以是任意值。

$x$是随机变量，未知参数$\theta$是随机变量$x$的函数，因此$\theta$也是随机变量，不是确定值。

1.3

由于$x=\theta +w$ ，有

$$p(x;\theta )=p_w(x-\theta )$$

如果$\theta$与$w$独立，则有

$$p(x|\theta )=\frac{p_{x\theta }(x,\theta )}{p(\theta )}=\frac{p_{w\theta }(x-\theta ,\theta )}{p(\theta )}=\frac{p_w(x-\theta )p(\theta )}{p(\theta )}=p_w(x-\theta )$$

如果$\theta$与$w$不独立，则有

$$p(x|\theta )=\frac{p_{x\theta }(x,\theta )}{p(\theta )}=\frac{p_{w\theta }(x-\theta ,\theta )}{p(\theta )}=\frac{p_{w|\theta }(x-\theta |\theta )p(\theta )}{p(\theta )}=p_{w|\theta }(x-\theta |\theta )$$

总的来说，有$p(x;\theta )\ne p(x|\theta )$。

1.4

首先计算两个估计量的期望

$$E(\hat{A})=\frac{1}{N}\sum _{n=0}^{N-1}E(x[n])=\frac{1}{N}\cdot NA=N$$

$$E(\check{A})=\frac{1}{N+2}\left(2E(x[0])+\sum _{n=1}^{N-2}E(x[n])+2E(x[N-1])\right)=\frac{2A+(N-2)A+2A}{N+2}=A$$

两个估计量的期望相等。接下来计算两个估计量的方差

$$\text{var}(\hat{A})=\frac{1}{N^2}\sum _{n=0}^{N-1}\text{var}(x[n])=\frac{N{\sigma }^2}{N^2}=\frac{1}{N}$$

$$\text{var}(\check{A})=\frac{1}{(N+2{)}^2}\left(4\text{var}(x[0])+\sum _{n=1}^{N-2}\text{var}(x[n])+4\text{var}(x[N-1])\right)=\frac{4{\sigma }^2+(N-2){\sigma }^2+4{\sigma }^2}{(N+2{)}^2}=\frac{N+6}{(N+2{)}^2}$$

由于当$N>2$时有

$$\text{var}(\check{A})-\text{var}(\hat{A})=\frac{2N-4}{N(N+2{)}^2}>0$$

因此估计量$\hat{A}$的方差更小，是更好的估计量。这与$A$的无关。

1.5

$\hat{A}$并不是一个估计量，因为实现该估计量需要预先知道$A$的值来确定SNR。