1. 贝叶斯推断的定义
简单来说，贝叶斯推断 (Bayesian inference) 就是结合“经验 (先验)”和“实践 (样本)”，得出“结论 (后
验)”。
2. 什么是先验？
贝叶斯推断把模型参数看作随机变量。在得到样本之前，根据主观经验和既有知识给出未知参数的概率分布叫做先验分布 (prior)。。(由因推出果)
- 先验概率是指在实验或采样之前，根据以往经验和分析得到的概率。
- 这是独立于具体实验的知识，通常不依赖于实际观测数据。
- 例如，数学中的公式、重言式以及纯粹理性的演绎推理都属于先验知识1。
3. 什么是后验？
获得样本数据后，根据贝叶斯定理，基于给定的样本数据先计算似然分布 (likelihood)，然后模型参数的后验分布 (posterior)。（由果推出因)。
- 后验概率是指在某件事已经发生的情况下，想要计算这件事发生的原因是由某个因素引起的概率。
- 它依赖于实际观测数据或经验证据。
- 例如，大多数科学领域中的知识都是后验知识，因为它们基于实际观测结果得出1。
4. 贝叶斯收缩
先验的影响力很大，MAP 的结果向先验均值“收缩”。这种效果常被称作贝叶斯收缩 (Bayes shrinkage)。
