简单的模型中讨论一些关键的统计学概念–贝叶斯推断

本章讨论概率分布是为了实现密度估计：给定有限次观测${\mathbf{x}}_1,...,{\mathbf{x}}_N$,对随机变量$\mathbf{x}$的概率分布$p(\mathbf{x})$建模。

密度估计本来是病态的，因为产生观测数据集合的概率分布可能有无限种。

本章主要内容：
1.参数分布：拥有少量可以调节的参数，控制了整个分布。密度估计就是确定参数的过程–离散随机变量的二项分布、多项式分布、连续随机变量的高斯分布

2.共轭性质：后验概率分布与先验概率分布有相同的函数形式，主要实现方式选取和似然函数结构一致的先验，（先验需要与似然相乘才会变成后验，只要与似然形式相同，后验似然和先验三者的形式都是相同的）

3.非参数分布：直方图，最近邻，核函数

2.1二元变量

二元随机变量：取值只有0，1
扔硬币的demo：损坏的硬币，正反面出现的概率不相同。x=1,出现正面向上的概率为$\mu$，出现反面向上的概率则为$1-\mu$，这个分布为伯努利分布，对应的概率密度函数为：
$$Bern(x|\mu )={\mu }^x(1-\mu {)}^{(}1-x)$$

假定拥有$x$的观测数据集D={x1,...,xN}\mathcal{D}=\{x_1,...,x_N\}D={x1​,...,xN​}。构造关于$\mu$的似然函数
$$p(\mathcal{D}|\mu )=\prod _{n=1}^N{\mu }^{x_n}(1-\mu {)}^{1-x_n}$$

频率学家最大对数似然求解$\mu$
ln⁡p(D∣μ)=∑n=1N{xnln⁡μ+(1−xn)ln⁡(1−μ)}\ln p(\mathcal{D|\mu})=\sum_{n=1}^N\{x_n\ln\mu+ (1-x_n)\ln(1-\mu)\}lnp(D∣μ)=n=1∑N​{xn​lnμ+(1−xn​)ln(1−μ)}

对$\mu$求导，令导数为0；得到关于$\mu$的最大似然估计
$${\mu }_{ML}=\frac{1}{N}\sum _{n=1}^N{x}_n$$

最大似然的结果表明$\mu$的大小依赖于观测数据集中正面朝上的概率，当观测样本数量较少时，容易出现极端概率现象。（后续会看到，引入$\mu$的先验，会得到一个更合理的结论）

二项分布：（在二元变量的基础上）观测数据集的规模为N，求x=1出现m次的概率分布。
$$Bin(m|N,\mu )=C_N^m{\mu }^m(1-\mu {)}^{(}N-m)$$

其中的组合数为：
$$C_N^m=\frac{N!}{(N-m)!m!}$$

（独立事件：加和事件的均值=单独事件均值的家和，加和事件的方差=单独事件方差的加和）

2.1.1 beta 分布

为了使用贝叶斯的观点看二项式分布中$\mu$问题的求解，需要引入一个与似然形式一致的先验–beta分布
$$beta(\mu |a,b)=\frac{\Gamma (a+b)}{\Gamma (a)(b)}{\mu }^{a-1}(1-\mu {)}^{b-1}$$

其中gamma分布为:（就很抽象呀）
$$\Gamma (x)={\int }_0^{\infty }{u}^{x-1}{e}^{-u}du\text{\hspace{1em}(1.141)}$$

用贝叶斯观点作下一次预测（核心如何利用前面的公式计算对应的值，并解释和最大似然估计的差别）：
$$p(x=1|D)={\int }_0^{1}p(x=1|\mu )p(\mu |D)d\mu ={\int }_0^1\mu p(\mu |D)d\mu =\mathbb{E}[\mu |D]$$

一个非贝叶斯学习公有属性：随着观测数据越多，后验概率表示的不确定性必然会持续下降。（平均意义下，在某个特定的观测数据集，后可能后验方差大于先验方法）

2.2 多项式变量

一个量的可能取值有K种，用一个K维向量来表示这个量。one-hot 编码表示方式，其中仅有一个元素$x_k=1$，其余元素都为0。
$$\sum _{k=1}^K{x}_k=1$$

用${\mu }_k$表示维度$x_k$为1的概率，那么该量$\mathbf{x}$出现的概率为：
$$p(\mathbf{x}|\mathbf{\mu })=\prod _{k=1}^K{\mu }_k$$

${\mu }_k$满足归一化约束${\sum }_{k=1}^K{\mu }_k=1$

考虑N个独立的观测值${\mathbf{x}}_1,{\mathbf{x}}_2,...{\mathbf{x}}_N$组成的数据集$\mathcal{D}$， 该数据集出现的似然函数为：
$$p(D|\mathbf{\mu })=\prod _{i=1}^N\prod _{k=1}^K{\mu }_k^{x_k^i}=\prod _{k=1}^K{\mu }_k^{{\sum }_{i=1}^N{x}_k^i}=\prod _{k=1}^N{\mu }_k^{m_k}\text{\hspace{1em}(2.29)}$$
其中$m_k$为所有样本第k维出现1的次数，通过最大化带${\mu }_k$归一化约束的对数似然函数，可求得${\mu }_k$的最大似然估计为–N次观测种k维出现1的频率值:
$${\mu }_k^{ML}=\frac{m_k}{N}$$

**多项式分布：**考虑$m_1,m_2,...,m_k$的概率：
$$Mult(m_1,m_2,...,m_k)=\frac{N!}{m_1!m_2!...m_k!}\prod _{k=1}^K{\mu }_k^{m_k}$$

$\frac{N!}{m_1!m_2!...m_k!}$为将N个物体，划分为$m_1,m_2,...,m_k$组数据方案总数。

**狄利克雷分布：**多项式分布的共轭先验
$$Dir(\mathbf{\mu }|\mathbf{\alpha })\frac{\Gamma ({\alpha }_0)}{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)\Gamma ({\alpha }_K)}\prod _{k=1}^K{\mu }_k^{{\alpha }_k-1}\text{\hspace{1em}(2.38)}$$

贝叶斯上场：数据集似然(2.29)乘以参数先验，得到参数$\mathbf{\mu }$的后验，与狄利克雷分布具有相同的形式，狄利克雷分布种的${\alpha }_k$可以看作k维度出现1次数的先验信息，然后通过数据集矫正该先验信息。

2.3 高斯分布

高斯分布产生1-使熵最大的分布通过拉格朗日乘子法求出来的分布就是高斯分布
高斯分布产生2-一组随机变量的和 构成的随机变量在 求和变量数量增多时，和随机变量会趋向于高斯分布（拉普拉斯提出的中心极限定理）

主要考察$D$维高斯分布，其通过一下的二次型与$\mathbf{x}$产生联系：
$${\Delta }^2=(\mathbf{x}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })$$

通过考虑协方差矩阵的特征向量，将二次型变成了椭球二次型(椭球面上为一个常量)
$${\Delta }^2=\sum _{i=1}^D\frac{y_i^2}{{\lambda }_i}$$

$y_i$实际为$x_i$经过平移旋转后的新坐标

如果再计算协方差矩阵行列式的平方根：
$$|\Sigma {|}^{\frac{1}{2}}=\prod _{j=1}^D{\lambda }_j^{\frac{1}{2}}$$

那么高斯分布在$\mathbf{y}$变量表示下就会变成D个高斯分布乘积。特征向量因此定义了一个新的旋转、平移的坐标系。在这个坐标系下联合概率分布可以分解成独立概率分布的乘积。

计算高斯分布的一阶矩(期望)，二阶矩协方差。

高斯分布局限1–协方差矩阵关系到高斯模型参数的数量，和对应的等概率面形状

1. 对称矩阵-坐标轴不对齐椭球
2. 对角矩阵-坐标轴对齐椭球
3. 正比于单位阵的矩阵-坐标轴对齐球

高斯分布局限2: 单峰，不能近似多峰分布

1. 解决思路–引入隐变量，变成混合高斯模型

2.3.1条件高斯分布、2.3.2边缘高斯分布

多元高斯分布的一个重要性质：如果两组变量的联合分布是高斯分布，那么以一组变量为条件，另一组变量同样是高斯分布。一组变量的边缘分布还是高斯分布

令${\mathbf{x}}_a$为$]\mathbf{x}$的前M个分量，令${\mathbf{x}}_b$为剩余的D-M个分量，对应随机变量，均值向量，协方差矩阵，精度矩阵的划分分别为：
$$\mathbf{x}=\left[\begin{array}{c}{\mathbf{x}}_a\\ {\mathbf{x}}_b\end{array}\right]$$

$$\mathbf{\mu }=\left[\begin{array}{c}{\mathbf{\mu }}_a\\ {\mathbf{\mu }}_b\end{array}\right]$$

$$\mathbf{\Sigma }=\left[\begin{array}{cc}{\mathbf{\Sigma }}_{aa}& {\mathbf{\Sigma }}_{ab}\\ {\mathbf{\Sigma }}_{ba}& {\mathbf{\Sigma }}_{bb}\end{array}\right]$$

$$\mathbf{\Lambda }=\left[\begin{array}{cc}{\mathbf{\Lambda }}_{aa}& {\mathbf{\Lambda }}_{ab}\\ {\mathbf{\Lambda }}_{ba}& {\mathbf{\Lambda }}_{bb}\end{array}\right]$$
$\Sigma$与$\Lambda$之间的关系通过分块矩阵的逆矩阵恒等式产生联系。

主要依据二次型来寻找高斯分布的协方差矩阵和均值矩阵。

条件高斯分布使用精度矩阵来表示方便：
$$p({\mathbf{x}}_a|{\mathbf{x}}_b)=\mathcal{N}({\mathbf{x}}_a|{\mathbf{\mu }}_{a|b},{\mathbf{\Lambda }}_{\mathbf{a}\mathbf{a}}^{-1})\text{\hspace{1em}(2.96)}$$

边缘高斯分布使用协方差矩阵表示方便：
$$p({\mathbf{x}}_a)=\mathcal{N}({\mathbf{x}}_a|{\mathbf{\mu }}_a,{\mathbf{\Sigma }}_{aa})\text{\hspace{1em}(2.98)}$$

2.3.3 高斯变量的贝叶斯定理

给定一个边缘高斯分布$p(\mathbf{x})$和条件高斯分布$p(\mathbf{y}|\mathbf{x})$，求另一边缘高斯分布$p(\mathbf{y})$和条件高斯分布$p(\mathbf{x}|\mathbf{y})$。

重要特点：$p(\mathbf{y}|\mathbf{x})$ 的均值为$\mathbf{x}$线性函数，协方差与$\mathbf{x}$无关。

利用贝叶斯定理$p(z)=p(\mathbf{x})\ast p(\mathbf{y}|\mathbf{x})$，寻找二次型中与$z$相关项，求出对应的协方差和均值矩阵。
$$\mathbb{E}(z)=\left[\begin{array}{c}\mathbf{\mu }\\ \mathbf{A}\mathbf{\mu }+\mathbf{b}\end{array}\right]$$

$$\mathbf{\Lambda }=\left[\begin{array}{cc}{\mathbf{\Lambda }}^{-1}& {\mathbf{\Lambda }}^{-1}{\mathbf{A}}^T\\ {\mathbf{A}\mathbf{\Lambda }}_{-1}& {\mathbf{L}}^{-1}+\mathbf{A}{\mathbf{\Lambda }}^{-1}{\mathbf{A}}^T\end{array}\right]$$
依据多元高斯变量中一组随机变量边缘分布依旧是高斯分布，以及均值和方差的关系式(2.98)式可得：
$$\mathbb{E}(\mathbf{y})=\mathbf{A}\mathbf{\mu }+\mathbf{b}$$

$$cov[\mathbf{y}]={\mathbf{L}}^{-1}+\mathbf{A}{\mathbf{\Lambda }}^{-1}{\mathbf{A}}^T$$

依据贝叶斯定理能够求出条件高斯分布(联合分布p(x,y)除以边缘分布p(y))
p(x∣y)=N(x∣Σ{ATL(y−b)+Λμ},Σ)p(\bm{x}|\bm{y})=\mathcal{N}(\bm{x}|\mathcal{\Sigma}\{\bm{A}^T\bm{L}(\bm{y}-\bm{b})+\Lambda\mu \},\bm{\Sigma})p(x∣y)=N(x∣Σ{ATL(y−b)+Λμ},Σ)

2.3.4 高斯分布的最大似然估计

这一节主要讲多元高斯分布均值和协方差矩阵的最大似似然估计，均值是无偏估计，协方差矩阵估计是有偏估计，会小于实际值：
$${\mathbf{\mu }}_{ML}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n$$

$${\mathbf{\Sigma }}_{ML}=\frac{1}{N}\sum _{n=1}^N({\mathbf{x}}_n-{\mathbf{\mu }}_{ML})({\mathbf{x}}_n-{\mathbf{\mu }}_{ML}{)}^T$$

2.3.5 顺序估计

最大似然的顺序估计：允许每次处理一个数据点，然后丢弃这个点。对于在线学习具有十分重要的意义。

最大似然均值估计探索${\mathbf{\mu }}_{ML}^{(N)}$与${\mathbf{\mu }}_{ML}^{(N-1)}$以及${\mathbf{x}}_N$的关系：
$$\begin{gathered} {\mathbf{\mu }}_{ML}^{(N)}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n \\ ={\mathbf{\mu }}_{ML}^{(N-1)}+\frac{1}{N}({\mathbf{x}}_N-{\mathbf{\mu }}_{ML}^{N-1})\text{\hspace{1em}(2.126)} \end{gathered}$$

引出更一般的顺序算法Robbins-Monro算法：一对随机变量z和$\theta$，当$\theta$已知时，z的条件期望定义了一个确定的函数$f(\theta )$。目标是寻找使$f(\theta )=0$的根值${\theta }^{\ast }$（为啥目标是这个？）

假定每次观测到一个z值，如何使用顺序估计的方法来将$\theta$估计出来呢？
Robbins-Monro顺序估计序列
$${\theta }^N={\theta }^{N-1}-{\alpha }_{N-1}z(\theta )$$

实际应用中最大似然估计求解过程中，最大似然解其实是负对数似然函数的的驻点。套用公式，最后能够得到式(2.126)一样的结果。

2.3.6 高斯分布的贝叶斯推断

高斯分布的均值和方差是一个分布，这个分布通过选择合适的先验信息可以构成成高斯分布，该高斯分布的均值由先验均值和最大似然估计给出，方差由先验精度和最大似然精度加和给出。

2.3.7 学生t分布

高斯分布和精度的伽马分布相乘，对精度进行积分，通过变量代换后得到学生t 分布。

学生t分布又一个重要的性质：鲁棒性，使用t分布对数据建模时，对数据集里的离群点不敏感。高斯分布就比较敏感。（表现为多几个离群点，分布就严重变形）

2.3.8周期性变量

使用正常的高斯分布建模并不合适，周期性变量$\theta$其概率密度函数要满足一下三个条件。
$$p(\theta )\ge 0$$

$${\int }_0^{2\pi }p(\theta )d\theta =1$$

$$p(\theta +2\pi )=p(\theta )$$

二元高斯变量，当协方差矩阵为单位阵时，通过概率密度为确定数的轮廓线是圆形。通过构造可以得到想要的高斯分布(具体构造过程过)

2.3.9混合高斯分布

K个高斯密度的叠加:
$$p(\mathbf{x})=\sum _{k=1}^K{\pi }_k\mathcal{N}(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)$$

依据概率密度归一化要求：${\sum }_{k=1}^K{\pi }_k=1$,$0\le {\pi }_k\le 1$。

${\pi }_k$可以看作选择第k个成分的先验概率。

混合高斯模型，由于似然函数取对数操作中存在求和式子，所以参数的最大似然估计不再有闭式解。两种最大化混合高斯分布似然函数的方法：1.迭代数值优化方法；2.期望最大法。

2.4 指数族分布

伯努利分布，多项式分布，高斯分布都是指数族分布
指数族分布：
p(x∣μ)=h(x)g(η)exp{ηTu(x)}p(\bm{x}|\bm{\mu})=h(\bm{x})g(\bm{\eta})exp\{\eta^Tu(\bm{x})\}p(x∣μ)=h(x)g(η)exp{ηTu(x)}
其中：$\mathbf{\eta }$为变量$\mathbf{x}$的参数，被称作概率分布的自然参数， $g(\mathbf{\eta })$可以被看成系数，确保概率是归一化的 。

通过变化，能够找到伯努利分布、多项式分布、高斯分布中$h(\mathbf{x})$, $g(\mathbf{\eta })$,$u(\mathbf{x})$的具体表现形式。

（其中推到的过程中推出了logistic sigmoid 函数和softmax 函数还是蛮意外的。）
2.4.1-最大似然估计与充分统计量
2.4.2-共轭先验
2.4.3-无信息先验
在某些情况下，我们可能对分布应该具有的形式几乎完全不知道，这时，我们可以寻找一种形式先验分布，其目的是尽可能对后验分布产生较小的影响。–无信息先验

例如将先验分布$p(\lambda )=常数$设置为一个常数