数学基础 -- 条件概率、后验概率与联合概率

条件概率与后验概率

技术背景

条件概率和后验概率是概率论中的两个重要概念，在机器学习和贝叶斯推理中尤为关键。理解这两个概念对于处理不确定性和进行推理具有重要意义。本文将通过直观的例子和数学解释来详细介绍条件概率与后验概率。

条件概率

条件概率是指在已知某个事件发生的条件下，另一个事件发生的概率。用数学符号表示为 $P (A ∣ B)$ ，表示在事件 $B$ 发生的前提下，事件 $A$ 发生的概率。

直观例子

假设我们有一个袋子，里面有红球和蓝球。袋子里有3个红球和2个蓝球。我们随机从袋子里抽一个球，并且知道抽到的是红球。那么，在这个条件下，抽到第二个球是红球的概率是多少？

初始情况：袋子里有3个红球和2个蓝球，总共5个球。
条件：已知第一个抽到的球是红球。现在袋子里剩下2个红球和2个蓝球。
条件概率：在第一个球是红球的条件下，抽到第二个球是红球的概率是 $\frac{2}{4} = 0.5$ 。

后验概率

后验概率是贝叶斯推理中的一个核心概念，它表示在观察到某些数据后，某个假设为真的概率。用数学符号表示为 $P (A ∣ B)$ ，但它的计算方法基于贝叶斯定理。

贝叶斯定理公式：
$\frac{P(B|A) \cdot P(A)}{P(B)}$

其中：

$P (A ∣ B)$ ：事件 $B$ 发生后事件 $A$ 的后验概率。
$P (B ∣ A)$ ：在事件 $A$ 发生的情况下，事件 $B$ 发生的条件概率。
$P (A)$ ：事件 $A$ 的先验概率，即在没有任何其他信息之前，我们对事件 $A$ 发生的信念。
$P (B)$ ：事件 $B$ 的边际概率，即所有情况下事件 $B$ 发生的概率。

直观例子

假设我们有一个医疗测试，用于检测某种疾病。已知这种疾病在总人口中的发病率是1%（即先验概率 $P (疾病) = 0.01$ ）。测试的准确率是已知的：如果一个人有病，测试结果是阳性的概率是99%（即 $P (阳性 ∣ 有病) = 0.99$ ）；如果一个人没有病，测试结果是阳性的概率是5%（即 $P (阳性 ∣ 无病) = 0.05$ ）。现在，如果一个人的测试结果是阳性，我们想知道这个人实际上患病的概率是多少（即后验概率）。

已知信息：
- P(有病) = 0.01
- P(无病) = 1 - P(有病) = 0.99
- P(阳性|有病) = 0.99
- P(阳性|无病) = 0.05
计算边际概率 ( P(阳性) )：
$\cdot P(有病) + P(阳性|无病) \cdot P(无病)$
$\cdot 0.01 + 0.05 \cdot 0.99$
$P (阳性) = 0.0099 + 0.0495 = 0.0594$
计算后验概率 ( P(有病|阳性) )：
$\frac{P(阳性|有病) \cdot P(有病)}{P(阳性)}$
$\frac{0.99 \cdot 0.01}{0.0594}$
$\approx 0.167$

所以，尽管测试结果是阳性，实际上患病的概率只有大约16.7%。这说明即使测试看起来很准确，但由于疾病本身的低发病率，测试的阳性结果也可能是误报。

联合概率

联合概率是指两个或多个事件同时发生的概率。用数学符号表示为 $\cap B)$ 或者 $P (A, B)$ ，表示事件 $A$ 和事件 $B$ 同时发生的概率。

数学定义

联合概率 $\cap B)$ 表示事件 $A$ 和事件 $B$ 同时发生的概率。对于离散事件，联合概率的计算公式为：

$\cap B) = P(A) \cdot P(B|A)$

这意味着，联合概率等于事件 $A$ 发生的概率乘以在事件 $A$ 发生的前提下事件 $B$ 发生的条件概率。

直观例子

假设我们有一个班级，班级里有男生和女生，同时有的人是篮球队员，有的人不是。我们随机从班级里选一个人，已知该人是男生并且是篮球队员的概率是多少？

具体步骤

已知数据：
- 班级里有20个男生和10个女生，总共30人。
- 男生中有5个篮球队员，女生中有3个篮球队员。
- 总共有8个篮球队员。
计算概率：
- 选择到一个男生的概率 $\frac{20}{30} = \frac{2}{3}$ 。
- 在选择到男生的前提下，选择到一个篮球队员的概率 $\frac{5}{20} = \frac{1}{4}$ 。
联合概率：选择到一个既是男生又是篮球队员的概率是：
$\cap 篮球队员) = P(男生) \cdot P(篮球队员|男生) = \frac{2}{3} \cdot \frac{1}{4} = \frac{2}{12} = \frac{1}{6}$