Probabilistic in Robotics Ⅱ: Bayesian Estimation/Inference
统计推断旨在根据可观察到的事物来了解不可观察到的事物。即，统计推断是基于一个总体或一些样本中的某些观察变量（通常是影响）得出结论的过程，例如关于总体或样本中某些潜在变量（通常是原因）的准时估计、置信区间或区间估计等。
先前我们已经介绍了最大似然估计MLE和最大后验概率估计MAP
刘浚嘉：机器人学的概率方法——最大似然估计MLE与最大后验概率估计MAPzhuanlan.zhihu.com
贝叶斯估计/推断
贝叶斯估计(Bayesian Estimation)和贝叶斯推断(Bayesian Inference)大致是一个意思，Inference范围更大一点，包括区间估计、假设检验等；Estimation则更倾向于指参数估计。
—— polimi 某统计大佬
我们在上一章强调贝叶斯派与频率派世界观差异的时候，着重描述了贝叶斯派对于参数是随机变量的看法，然而最大后验概率估计MAP得到的值却是个定值
贝叶斯推断是个更彻底的贝叶斯派，是MAP的进一步扩展。不再估计一个特定的参数
在贝叶斯推断中，样本经验分布
离散型贝叶斯公式：
连续型贝叶斯公式：
很明显，这并不是一个好处理的公式，尤其是连续型的分母（归一化因子）
手算贝叶斯推断
我们先试着做做，还是之前的扔硬币，不过样本变了点，正六反四：
以下内容来自贝叶斯估计、最大似然估计、最大后验概率估计
使用共轭先验分布，就可以更好的解决这个问题。二项分布参数的共轭先验是Beta分布，由于 θ 的似然函数服从二项分布，因此在贝叶斯推断中，假设 θ 的先验分布服从
因此，贝叶斯公式可写作：
从上面的公式可以看出，
如果使用贝叶斯推断得到的 θ 分布存在一个有限均值，则可以用后验分布的期望作为 θ 的估计值。假设
从上图可以看出，在
求解步骤：
- 确定参数的似然函数
- 确定参数的先验分布，应是后验分布的共轭先验
- 确定参数的后验分布函数
- 根据贝叶斯公式求解参数的后验分布
对测试集的估计
这个功能是贝叶斯推断独有的。贝叶斯估计要解决的不是如何估计参数，而是用来估计新测量数据出现的概率，对于新出现的数据
那么实际项目中，我们如何计算贝叶斯推断呢？
- 基于采样的马尔可夫链蒙特卡罗(Markov Chain Monte Carlo，简称MCMC)方法
- 基于近似的变分推断(Variational Inference，简称VI)方法
更多系列文章见关联库
Reinforcement-Learning-in-Roboticsgithub.comReference
- Bayesian inference problem, MCMC and variational inference
- 贝叶斯估计、最大似然估计、最大后验概率估计
