共轭先验与共轭分布
在贝叶斯统计中,如果后验分布与先验分布属于同类,则先验分布与后验分布被称为共轭分布,而先验分布被称为似然函数的共轭先验。(要求后验分布与先验分布是同类分布,不要求似然函数分布相同。)
In Bayesian probability theory, if the posterior distribution p(θ∣x) is in the same probability distribution family as the prior probability distributionp(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function p(x∣θ).
比如:
- 高斯分布家族在高斯似然函数下与其自身共轭 (自共轭)。
- Beta分布是二项式分布的共轭先验(即:当先验分布为Beta分布,似然为二项分布时,其后验分布也为Beta分布。)
- Dirichlet分布是多项式分布的共轭先验
贝叶斯公式
后验概率 p(θ|X) 正比于似然概率 p(X|θ)和先验概率 p(θ)的乘积。
其中:
P(y∣x)为后验分布(posterior):给定x后,变量y的分布;
P(y)为先验分布(prior):变量y自身的分布;
P(x∣y)为似然(likelihood):给定y后,变量x的分布;
P(x)为变量x的先验分布(evidence):观测到的x的分布,一般为常数。
共轭分布和共轭先验_总体为二项分布的共轭先验均值之间的关系-CSDN博客文章浏览阅读1.4k次。共轭分布是统计机器学习特别是贝叶斯学派一个非常重要的概念,以往在很多地方遇到的时候都一笔带过了,仅仅了解了一个大概,这里将二项分布与Beta分布、正太分布的共轭性质推导了一遍,记录下来加深理解。_总体为二项分布的共轭先验均值之间的关系https://blog.csdn.net/wp_csdn/article/details/124233939
边缘概率与联合概率
x为离散变量时:
x为连续变量时: