机器学习之朴素贝叶斯、贝叶斯网络

贝叶斯定理

朴素贝叶斯算法

高斯朴素贝叶斯

伯努利朴素贝叶斯

多项式朴素贝叶斯

贝叶斯网络

最简单的贝叶斯网络

全连接贝叶斯网络

一般化的贝叶斯网络

引子

参赛者会看见三扇关闭了的门，其中一扇的后面有一辆汽车，选中后面有车的那扇门可赢得该汽车，另外两扇门后面则各藏有一只山羊。当参赛者选定了一扇门，但未去开启它的时候，节目主持人开启剩下两扇门的其中一扇，露出其中一只山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是：换另一扇门会否增加参赛者赢得汽车的机率？

贝叶斯定理

先验概率P(A)：在不考虑其他的情况下，A事件发生的概率。

条件概率P(B|A)：A事件发生的情况下，B事件发生的概率。

后验概率P(A|B)：在B事件发生之后，对A事件发生的概率的重新评估。

$P(A|B)=\frac{P(AB)}{P(B)}$

全概率：如果A和A’ 构成样本空间的一个划分，那么事件B的概率为A和A’ 的概率分别乘以B对这两个事件的概率之和。

$\begin{aligned}P(B)&=P(A)\times P(B|A)+P(A')\times P(B|A') \\P(B)&=\sum_{i=1}^nP(A_i)\times P(B|A_i)\end{aligned}$

基于条件概率的贝叶斯定律数学公式：

$\begin{aligned}P(A|B)&=\frac{P(A)\times P(B|A)}{P(B)} \\&\frac{P(A)\times P(B|A)}{\sum_{i=1}^nP(B|A_i)\times P(A_i)}\end{aligned}$

朴素贝叶斯算法

朴素贝叶斯（Naive Bayes， NB）是基于“特征之间是独立的”这一朴素假设，应用贝叶斯定理的监督学习算法。对应给定的样本X的特征向量 $x_1, x_2,\dots, x_m$ ，该样本X的类别y的概率可以由贝叶斯公式得到：

$P(y|x_1, x_2, \dots, x_m)=\frac{P(y)P(x_1, x_2, \dots, x_m|y)}{P(x_1, x_2, \dots, x_m)}$
算法推导

特征属性之间是独立的，所以

$P(x_i|y,x_1, x_2, ..., x_{i-1},...,x_{i+1},x_m)=p(x_i|y)$

公式优化得到：

$P(y|x_1, x_2, \dots, x_m)=\frac{P(y)P(x_1, x_2, \dots, x_m|y)}{P(x_1, x_2, \dots, x_m)}=\frac{p(y)\prod_{i=1}^{m} p(x_i|y)}{P(x_1, x_2, \dots, x_m)}$

在给定样本的条件下， $P(x_1, x_2, \dots, x_m)$ 是常数，可以省略，得到：

$P(y|x_1, x_2, \dots, x_m)\propto p(y)\prod_{i=1}^{m} p(x_i|y)$

从而得到

$\hat{y}= \arg \max (p(y)\prod_{i=1}^{m} p(x_i|y))$

朴素贝叶斯算法流程：

设 $x=\{a_1, a_2, \dots, a_m\}$ 为待分类项，其中a为x的一个特征属性
类别集合为 $C=\{y_1, y_2, \dots, y_n\}$
分别用贝叶斯公式计算 $P(y_1|x), P(y_2|x), \dots, P(y_n|x)$ 的值，、
如果 $P(y_k|x)=\max\{P(y_1|x), P(y_2|x), \dots, P(y_n|x)\}$ ,那么认为x为 $y_k$ 类型

高斯朴素贝叶斯

Gaussian Naive Bayes是指当特征属性为连续值时，而且分布服从高斯分布，那么在计算P(x|y)的时候可以直接使用高斯分布的概率公式：

$\begin{aligned}g(x, \eta, \sigma)&=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\eta)^2}{2\sigma^2}} \\P(x_k|y_k)&=g(x_k, \eta_{y_k}, \sigma_{y_k})\end{aligned}$

因此只需要计算出各个类别中此特征项划分的各个均值和标准差。

伯努利朴素贝叶斯

Bernoulli Naive Bayes是指当特征属性为连续值时，而且分布服从伯努利分布，那么在计算P(x|y)的时候可以直接使用伯努利分布的概率公式：

$P(x_k|y)=P(1|y)x_k+(1-P(1|y))(1-x_k)$

伯努利分布是一种离散分布，只有两种可能的结果。1表示成功，出现的概率为p。0表示失败，出现的概率为q=1-p。其中均值为E(x)=p，方差为Var(X)=p(1-p)。

多项式朴素贝叶斯

Multinomial Naive Bayes是指当特征属性服从多项分布，从而，对于每个类别y，参数为 $\theta _y=(\theta_{y_1}, \theta_{y_2}, \dots, \theta_{y_n})$ 其中n为特征属性数目，那么 $P(x_i|y)$ 的概率为 $\theta _{y_i}$

$\begin{aligned}\theta _{y_i}&=\frac {N_{y_i}+\alpha}{N_y+\alpha\times n} \\N_{y_i}&=\sum_{x\in T}x_i \\N_y&=\sum_{i=1}^{|T|}N_{y_i}\end{aligned}$

贝叶斯网络

把某个研究系统中涉及到的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。

贝叶斯网络（Bayesian Network），又称有向无环图模型（directed acyclic graphical model，DAG），是一种概率图模型，根据概率图的拓扑结构，考察一组随机变量 $\{X_1, X_2, \dots, X_n\}$ 及其N组条件概率分布（Conditional Probabililty Distributions，CPD）的性质。

当多个特征属性之间存在着某种相关关系的时候，使用朴素贝叶斯算法就没法解决这类问题，那么贝叶斯网络就是解决这类应用场景的一个非常好的算法。

一般而言，贝叶斯网络的有向无环图中的节点表示随机变量，可以是可观察到的变量，或隐变量、未知参数等等。连接两个节点之间的箭头代表两个随机变量之间的因果关系（也就是这两个随机变量之间非条件独立），如果两个节点间以一个单箭头连接在一起，表示其中一个节点是“因”，另外一个是“果”，从而两节点之间就会产生一个条件概率值。每个节点在给定其直接前驱的时候，条件独立于其后继。
贝叶斯网络的关键方法是图模型，构建一个图模型我们需要把具有因果联系的各个变量用箭头连在一起。贝叶斯网络的有向无环图中的节点表示随机变量。连接两个节点的箭头代表此两个随机变量是具有因果关系的。贝叶斯网络是模拟人的认知思维推理模式的，用一组条件概率以及有向无环图对不确定性因果推理关系建模。

最简单的贝叶斯网络

$P(a, b, c)=P(c|a, b)P(b|a)P(a)$

全连接贝叶斯网络

每一对节点之间都有边连接

$\begin{aligned}P(x_1, x_2, \dots, x_n)&=P(x_n|x_1, x_2, \dots, x_{n-1})\dots P(x_2|x_1)P(x_1) \\P(x_1, x_2, \dots, x_n)&=\prod_{i=2}^nP(x_i|x_1, x_2, \dots, x_{i-1})\times P(x_1)\end{aligned}$