作者：小猪快跑

基础数学&计算数学，从事优化领域7年+，主要研究方向：MIP求解器、整数规划、随机规划、智能优化算法

如有错误，欢迎指正。如有更好的算法，也欢迎交流！！！——@小猪快跑

相关教程

• 常用分布的数学期望、方差、特征函数
• 【推导过程】常用离散分布的数学期望、方差、特征函数
• 【推导过程】常用连续分布的数学期望、方差、特征函数
• Z分位数速查表
• 【概率统计通俗版】极大似然估计
• 【超详图文】多少样本量用 t分布 OR 正态分布
• 【推导过程】常用共轭先验分布
• 【机器学习】【通俗版】EM算法（待更新）

相关文献

• [1] 茆诗松.贝叶斯统计[M].中国统计出版社,1999.

常用共轭先验分布

总体分布	参数	共轭先验分布
二项分布	成功概率	贝塔分布 $\mathrm{Be}(\alpha ,\beta )$
泊松分布	均值	伽玛分布 $\mathrm{Ga}(\alpha ,\lambda )$
指数分布	均值的倒数	伽玛分布 $\mathrm{Ga}(\alpha ,\lambda )$
正态分布(方差已知)	均值	正态分布 $N(\mu ,{\tau }^2)$
正态分布(均值已知)	方差	倒伽玛分布 $IGa(\alpha ,\lambda )$

预备知识

贝叶斯统计

1. 设总体指标 $X$ 有依赖于参数 $\theta$ 的密度函数，在经典统计中常记为 $p(x;\theta )$ 或 $p_{\theta }(x)$，它表示在参数空间 Θ = { θ } \Theta=\left\{\theta\right\} Θ={θ}中不同的 $\theta$ 对应不同的分布。可在贝叶斯统计中记为$p(x|\theta )$，它表示在随机变量 $\theta$ 给定某个值时，总体指标 $X$ 的条件分布。

2. 根据参数 $\theta$ 的先验信息确定先验分布 $\pi (\theta )$。

3. 从贝叶斯观点看，样本 $\mathbf{x}=(x_1,...,x_n)$ 的产生要分二步进行。首先设想从先验分布 $\pi (\theta )$ 产生一个样本 ${\theta }^{\prime }$,这一步是“老天爷”做的，人们是看不到的，故用“设想”二字。第二步是从总体分布 $p(x|{\theta }^{\prime })$ 产生一个样本 $\mathbf{x}=(x_1,\cdots ,x_n)$，这个样本是具体的，人们能看得到的，此样本 $\mathbf{x}$ 发生的概率是与如下联合密度函数成正比。

   $$p(\mathbf{x}|{\theta }^{\prime })=\prod _{i=1}^{n}p(x_i|{\theta }^{\prime })$$

   这个联合密度函数是综合了总体信息和样本信息，常称为似然函数，记为 $L({\theta }^{\prime })$。频率学派和贝叶斯学派都承认似然函数，二派认为：在有了样本观察值 $\mathbf{x}=(x_1,\cdots ,x_n)$ 后，总体和样本中所含 $\theta$ 的信息都被包含在似然函数 $L({\theta }^{\prime })$ 之中，可在使用似然函数作统计推断时，两派之间还是有差异的。

4. 由于 ${\theta }^{\prime }$ 是设想出来的，它仍然是未知的，它是按先验分布 $\pi (\theta )$ 而产生的，要把先验信息进行综合，不能只考虑 ${\theta }^{\prime }$，而应对 $\theta$ 的一切可能加以考虑。故要用 $\pi (\theta )$ 参与进一步综合。这样一来，样本 $\mathbf{x}$ 和参数 $\theta$ 的联合分布

   $$h(\mathbf{x},\theta )=p(\mathbf{x}|\theta )\pi (\theta )$$

   把三种可用的信息都综合进去了。

5. 我们的任务是要对未知数 $\theta$ 统计推断。在没有样本信息时，人们只能据先验分布对 $\theta$ 作出推断。在有样本观察值$\mathbf{x}=(x_1,\cdot \cdot \cdot ,x_n)$之后，我们应该依据 $h(x,\theta )$ 对 $\theta$ 作出推断。为此我们需把 $h(\mathbf{x},\theta )$ 作如下分解：

   $$h(\mathbf{x},\theta )=\pi (\theta |\mathbf{x})m(\mathbf{x})$$

   其中 $m(\mathbf{x})$ 是 $\mathbf{x}$ 的边缘密度函数。

   $$m(\mathbf{x})={\int }_{\Theta }h\left(\mathbf{x},\theta \right)d\theta ={\int }_{\Theta }p\left(\mathbf{x}\mid \theta \right)\pi (\theta )d\theta$$

   它与 $\theta$ 无关，或者说，$m(\mathbf{x})$ 中不含 $\theta$ 的任何信息。因此能用来对 $\theta$ 作出推断的仅是条件分布 $\pi (\theta |\mathbf{x})$。它的计算公式是
   $$\pi (\theta \mid \mathbf{x})=\frac{h(\mathbf{x},\theta )}{m(\mathbf{x})}=\frac{p(\mathbf{x}\mid \theta )\pi (\theta )}{{\int }_{\Theta }p(\mathbf{x}\mid \theta )\pi (\theta )d\theta }$$

   这就是贝叶斯公式的密度函数形式。这个在样本 $\mathbf{x}$ 给定下，$\theta$ 的条件分布被称为 $\theta$ 的后验分布。它是集中了总体、样本和先验等三种信息中有关 $\theta$ 的一切信息，而又是排除一切与 $\theta$ 无关的信息之后所得到的结果。故基于后验分布 $\pi (\theta |\mathbf{x})$ 对 $\theta$ 进行统计推断是更为有效，也是最合理的。

6. 在 $\theta$ 是离散随机变量时，先验分布可用先验分布列 $\pi ({\theta }_i),i=1,2,\cdot \cdot \cdot$,表示。这时后验分布也是离散形式。

   $$\pi ({\theta }_i\mid \mathbf{x})=\frac{p(\mathbf{x}\mid {\theta }_i)\pi (\theta )}{{\sum }_{j}p(\mathbf{x}\mid {\theta }_j)\pi ({\theta }_j)},i=1,2,\cdots .$$

   假如总体 $X$ 也是离散的，那只要把密度函数 $p(\mathbf{x}|\theta )$ 改为概率函数 $P(x=\mathbf{x}\mid \theta )$ 即可。

后验分布的计算

在给定样本分布 $p(\mathbf{x}|\theta )$ 和先验分布 $\pi (\theta )$ 后可用贝叶斯公式计算 $\theta$ 的后验分布

$$\pi (\theta |\mathbf{x})=\frac{p(\mathbf{x}|\theta )\pi (\theta )}{m(\mathbf{x})}$$
由于 $m(\mathbf{x})$ 不依赖于 $\theta$，在计算 $\theta$ 的后验分布中仅起到一个正则化因子的作用。假如把 $m(\mathbf{x})$ 省略，把贝叶斯公式改写为如下等价形式

$$\pi (\theta |\mathbf{x})\propto p(\mathbf{x}|\theta )\pi (\theta )$$
其中符号 $\propto$ 表示两边仅差一个常数因子，一个不依赖于 $\theta$ 的常数因子。上式右端虽不是正常的密度函数，但它是后验分布 $\pi (\theta |\mathbf{x})$ 的核，在需要时可以利用适当方式计算出后验密度，特别当看出 $\pi (\theta |\mathbf{x})\pi (\theta )$ 的核就是某常用分布的核时，不用计算 $m(\mathbf{x})$ 就可很快恢复所缺常数因子。这样一来就可简化后验分布的计算，这在共轭先验分布与非共轭先验分布场合都可使用。

正态均值(方差已知)的共轭先验分布是正态分布

设 $x_1,\cdot \cdot \cdot ,x_n$ 是来自正态分布 $N(\theta ,{\sigma }^2)$ 的一组样本观察值。其中 ${\sigma }^2$ 已知。此样本的似然函数为：

$$\begin{gathered} P(\mathbf{x}\mid \theta )={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^n\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\theta {)}^2\right\}, \\ -\infty <x_1,\cdots ,x_n<+\infty \end{gathered}$$

现取另一个正态分布 $N(\mu ,{\tau }^2)$ 作为正态均值 $\theta$ 的先验分布，即

$$\pi (\theta )=\frac{1}{\sqrt{2\pi }\tau }\exp \left\{-\frac{(\theta -\mu {)}^2}{2{\tau }^2}\right\},-\infty <\theta <+\infty$$

其中 $\mu$ 与 ${\tau }^2$ 为已知，由此可以写出样本 $\mathbf{x}$ 与参数 $\theta$ 的联合密度函数

$$h(\mathbf{x},\theta )=k_1\exp \left\{-\frac{1}{2}\left[\frac{n{\theta }^2-2n\theta \overline{x}+{\sum }_{i=1}^n{x}_i^2}{{\sigma }^2}+\frac{{\theta }^2-2\mu \theta +{\mu }^2}{{\tau }^2}\right]\right\}$$
其中 $k_1=(2\pi {)}^{-(n+1)/2}{\tau }^{-1}{\sigma }^{-n},\overline{x}={\sum }_{i=1}^n\frac{x_i}{n}$。若再记

$${\sigma }_0^2=\frac{{\sigma }^2}{n},A=\frac{1}{{\sigma }_0^2}+\frac{1}{{\tau }^2},B=\frac{\overline{x}}{{\sigma }_0^2}+\frac{\mu }{{\tau }^2},C=\frac{1}{{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{{\mu }^2}{{\tau }^2}$$
则有
$$\begin{array}{rl}h(\mathbf{x},\theta )=& k_1\exp \left\{-\frac{1}{2}[A{\theta }^2-2\theta B+C]\right\}\\ =& k_2\exp \left\{-\frac{(\theta -B/A{)}^2}{2/A}\right\}\end{array}$$
其中 $k_2=k_1\exp \left\{-\frac{1}{2}(C-B^2/A)\right\}$。由此容易算得样本 $x$ 的边缘分布

$$m(x)={\int }_{-\infty }^{\infty }h(\mathbf{x},\theta )d\theta =k_2{\left(\frac{2\pi }{A}\right)}^{\frac{1}{2}}$$

上面两式相除，即得 $\theta$ 的后验分布

$$\pi (\theta |\mathbf{x})={\left(\frac{2\pi }{A}\right)}^{-\frac{1}{2}}\exp \left\{-\frac{(\theta -B/A{)}^2}{2/A}\right\}$$
这是正态分布 $N({\mu }_1,{\tau }_1^2)$ ，其均值 ${\mu }_1$ 与方差 ${\tau }_1^2$ 分别为

$${\mu }_1=\frac{B}{A}=\frac{\overline{x}{\sigma }_0^{-2}+\mu {\tau }^{-2}}{{\sigma }_0^{-2}+{\tau }^{-2}},\frac{1}{{\tau }_1^2}=\frac{1}{{\sigma }_0^2}+\frac{1}{{\tau }^2}$$

也就是
$$\begin{array}{rl}{\mu }_1=& \frac{{\sigma }_0^{-2}}{{\sigma }_0^{-2}+{\tau }^{-2}}\overline{x}+\frac{{\tau }^{-2}}{{\sigma }_0^{-2}+{\tau }^{-2}}\mu \\ =& \gamma \overline{x}+(1-\gamma )\mu \end{array}$$
其中 $\gamma ={\sigma }_0^{-2}/({\sigma }_0^{-2}+{\tau }^{-2})$ 是用方差倒数组成的权，于是后验均值 ${\mu }_1$ 是样本均值 $\bar{x}$ 与先验均值 $\mu$ 的加权平均。若样本均值 $\bar{x}$ 的方差 ${\sigma }^2/n={\sigma }_0^2$ 偏小，则其在后验均值的份额就大，若 ${\sigma }_0^2$ 较大则其在后验均值的份额较小，从而先验均值在后验均值的份额就大，这表明后验均值是在先验均值与样本均值间采取折衷方案。

在处理正态分布时，方差的倒数发挥着重要作用，并称其为精度，于是在正态均值的共轭先验分布的讨论中，其后验方差 ${\tau }_1^2$ 所满足的等式
$$\frac{1}{{\tau }_1^2}=\frac{1}{{\sigma }_0^2}+\frac{1}{{\tau }^2}=\frac{n}{{\sigma }^2}+\frac{1}{{\tau }^2}$$
可解释为：后验分布的精度是样本均值分布的精度与先验分布精度之和，增加样本量 $n$ 或减少先验分布方差都有利于提高后验分布的精度。

这就说明了正态均值（方差已知）的共轭先验分布是正态分布。譬如，设 $X\sim N(\theta$, $2^2),\theta \sim N(10,3^2)$。若从正态总体 $X$ 抽得容量为 5 的样本，算得 $\overline{x}=12.1$，于是可算得 ${\mu }_1=11.93$ 和 ${\tau }_1^2={\left(\frac{6}{7}\right)}^2$。这时正态均值 $\theta$ 的后验分布为正态分布 $N(11.93,{\left(\frac{6}{7}\right)}^2)$。

二项分布中的成功概率 θ 的共轭先验分布是贝塔分布

设总体 $X$ $\sim b(n,\theta )$，其密度函数中与 $\theta$ 有关部分（核）为 ${\theta }^x(1-\theta {)}^{n-x}$。又设 $\theta$ 的先验分布为贝塔分布 Be$(\alpha ,\beta )$，其核为 ${\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}$，其中 $\alpha ,\beta$ 已知，从而可写出 $\theta$ 的后验分布
$$\pi (\theta |x)\propto {\theta }^{\alpha +x-1}(1-\theta {)}^{\beta +n-x-1},0<\theta <1$$
立即可以看出，这是贝塔分布 $\mathrm{Be}(\alpha +x,\beta +n-x)$ 的核，故此后验密度为
$$\pi (\theta |x)=\frac{\Gamma (\alpha +\beta +n)}{\Gamma (\alpha +x)\Gamma (\beta +n-x)}{\theta }^{\alpha +x-1}(1-\theta {)}^{\beta +n-x-1},0<\theta <1$$
也就是
$$\begin{array}{rl}E(\theta |x)=& \frac{\alpha +x}{\alpha +\beta +n}\\ =& \frac{n}{\alpha +\beta +n}\frac{x}{n}+\frac{\alpha +\beta }{\alpha +\beta +n}\frac{\alpha }{\alpha +\beta }\\ =& \gamma \cdot \frac{x}{n}+(1-\gamma )\cdot \frac{\alpha }{\alpha +\beta }\end{array}$$

$$\begin{array}{rl}\mathrm{Var}(\theta |x)=& \frac{\left(\alpha +x\right)\left(\beta +n-x\right)}{{\left(\alpha +\beta +n\right)}^2\left(\alpha +\beta +n+1\right)}\\ =& \frac{E(\theta |x)\left[1-E(\theta |x)\right]}{\alpha +\beta +n+1}\end{array}$$

其中 $\gamma =n/(\alpha +\beta +n),x/n$ 是样本均值，$\alpha /(\alpha +\beta )$ 是先验均值，从上述加权平均可见，后验均值是介于样本均值与先验均值之间，它偏向哪一侧由 $\gamma$ 的大小决定。另外，当$n$与$x$都较大，且 $x/n$ 接近某个常数 ${\theta }_0$ 时，我们有
$$\begin{array}{rl}E(\theta |x)& \approx \frac{x}{n}\\ \mathrm{Var}(\theta |x)& \approx \frac{1}{n}\frac{x}{n}\left(1-\frac{x}{n}\right)\end{array}$$
这表明：当样本量增大时，后验均值主要决定于样本均值，而后验方差愈来愈小。这时后验密度曲线的变化随着 $n$ 与 $z$ 在成比例地增加时，后验分布愈来愈向比率 $x/n$ 集中，这时先验信息对后验分布的影响将愈来愈小。

正态均值(方差已知)的共轭先验分布是倒伽玛分布

设 $x_1,\cdot \cdot \cdot ,x_n$ 是来自正态分布 $N(\theta ,{\sigma }^2)$ 的一个样本观测值，其中 $\theta$ 已知，现要寻求方差 ${\sigma }^2$ 的共轭先验分布，由于该样本的似然函数为
$$\begin{gathered} p(x\mid {\sigma }^2)={\left\{\frac{1}{\sqrt{2\pi }\sigma }\right)}^n\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\theta {)}^2\right\} \\ \propto {\left(\frac{1}{{\sigma }^2}\right)}^{n/2}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\theta {)}^2\right\} \end{gathered}$$
上述似然函数中 ${\sigma }^2$ 的因式将决定 ${\sigma }^2$ 的共轭先验分布的形式，什么分布具有上述的核呢？

设 $X$ 服从伽玛分布 $Ga(\alpha ,\lambda )$，其中 $\alpha >0$ 为形状参数，$\lambda >0$ 为尺度参数，其密度函数为

$$p(x\mid \alpha ,\lambda )=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{a-1}{e}^{-\lambda x},x>0$$

通过概率运算可以求得 $Y=X^{-1}$ 的密度函数

$$p(y|\alpha ,\lambda )=\frac{{\lambda }^a}{\Gamma (\alpha )}{\left(\frac{1}{y}\right)}^{\alpha +1}{e}^{\frac{-\lambda }{y}},y>0$$
这个分布称为倒伽玛分布，记为 $IGa(\alpha ,\lambda )$，其均值为 $E(y)=\lambda /(\alpha -1)$。假如取此倒伽玛分布为 ${\sigma }^2$ 的先验分布，其中参数 $\alpha$ 与 $\lambda$已知，则其密度函数为

$$\pi ({\sigma }^2)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +1}{e}^{-\lambda /{\sigma }^2},{\sigma }^2>0$$

于是 ${\sigma }^2$ 的后验分布为

$$\begin{gathered} \pi ({\sigma }^2\mid x)\propto p(x\mid {\sigma }^2)\pi ({\sigma }^2) \\ \infty {\left(\frac{1}{{\sigma }^2}\right)}^{a+\frac{n}{2}+1}\exp \left\{-\frac{1}{{\sigma }^2}\left[\lambda +\frac{1}{2}\sum _{i=1}^n(x_i-\theta {)}^2\right]\right\} \end{gathered}$$
容易看出，这仍是倒伽玛分布 $IGa\left(\alpha +\frac{n}{2},\lambda +\frac{1}{2}{\sum }_{i=1}^n(x_i-\theta {)}^2\right)$，这表明，倒伽玛分布 $IGa(\alpha ,\lambda )$ 是正态方差 ${\sigma }^2$ 的共轭先验分布。
有趣的是：这个${\sigma }^2$后验分布的均值可改等为如下加权平均

$$\begin{array}{rl}E({\sigma }^2\mid x)& =\frac{\lambda +\frac{1}{2}{\sum }_{i=1}^n(x_i-\theta {)}^2}{\alpha +\frac{n}{2}-1}\\ & =\gamma \cdot \frac{\lambda }{\alpha -1}+(1-\gamma )\cdot \frac{1}{2}\sum _{i=1}^n(x_i-\theta {)}^2\end{array}$$

其中权 $\gamma =\frac{\alpha -1}{\alpha +\frac{n}{2}-1},\frac{\lambda }{\alpha -1}$ 是 ${\sigma }^2$ 的共轭先验分布 $IG\alpha (\alpha ,\lambda )$ 的先验均值$,\frac{1}{n}{\sum }_{i=1}^n(x_i-\theta {)}^2$ 是在 $\theta$ 已知条件下的样本方差(样本对 $\theta$ 的偏差平方的平均),由此可知，在取${\sigma }^2$的共轭先验分布场合，其后验均值是 ${\sigma }^2$ 的先验均值与样本方差的加权平均。当样本量$n$足够大时，$\gamma$ 接近于0，从而后验均值 $E({\sigma }^2/x)$ 主要由样本方差决定。而当 $n$ 不大时，后验均值 $E({\sigma }^2/x)$ 是介于${\sigma }^2$的先验均值与样本方差之间的某一个数。