一、分类问题

分类实际上是我们在日常生活中经常使用的。比如说，在工作中，把自己手头的任务分为轻重缓急，然后按照优先级去完成它们。

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。

从数学的角度看$C=\{c_1, c_2, \dots, c_k\}$是类别的集合，集合$X=\{x_1,x_2,\dots,x_k\}$是输入集合 。这里，对于给定的输入$x$计算后验概率最大的$c$。

二、概率相关

由

$$P(X,Y)=P(X|Y)P(Y)=P(Y|X)P(X)$$
得
$$P(Y|X) = \frac{P(X|Y)P(Y)}{P(X)} （1）$$

$P(X,Y)$是$X和Y$的联合分布,训练数据集

$$T=\{(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)\}$$
是由 $P(X,Y)$独立同分布产生的。

三、朴素贝叶斯方法

对于给定的输入$x$, 需要输出$y$,使得$P(Y=c_k|X=x)$最大。由1式可知，分母是常数，我们使分子的最大化即可。

其中，$P(Y=c_k), k=1, 2, \dots, K$ 称为先验概率分布。这项可以简单的求出。

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)}, \dots, X^{(n)}=x^{(n)} |Y=c_k)$$

由于上式有指数型的参数，所以很难估计，为了便于计算，假设输入向量$x$的各个特征之间是条件独立的：

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)}, \dots, X^{(n)}=x^{(n)} |Y=c_k) \\ = \prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)$$
这也是朴素贝叶斯名字的来源。

则，最终结果

$$y = f(x) =arg \max_{c_k}P(Y=c_k) \prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)$$

四、总结

朴素贝叶斯实际上是学到生成数据的机制，即它是生成模型。条件独立的假设说明分类特征是条件独立的，这个假设使得计算大大简化，但是有时也牺牲了一定的准确性。