最大似然参数估计和贝叶斯参数估计的区别在于最大似然估计认为参数是确定性的量，而贝叶斯估计认为参数是随机变量。之所以命名贝叶斯估计是因为用到了贝叶斯公式。根据贝叶斯公式，从先验概率密度转换到后验概率密度。
统计学中的贝叶斯参数估计是，计算估计值和真实值偏差的数学期望。最小均方估计实际上实际计算以后验概率为概率的参数的均值，而最大后验概率是后验概率的峰值对应的参数。这两者的区别在于前者找平均或者找最大。
线性最小均方估计和最小二乘估计的区别本质在于前者是期望风险最小化，后者是经验风险最小化。
概率密度估计中的贝叶斯学习，其目的是从有限样本估计总体分布。与贝叶斯参数估计是不同的概念。之所以命名贝叶斯还是因为用到了贝叶斯公式，首先需要计算后验概率密度。然后以后验概率密度作为概率密度，计算未知参数的概率密度函数的数学期望，作为总体估计。这与最小均方估计异曲同工。如果增加样本数量可以使后验概率序列逐渐尖锐，那这就和最大后验概率的思想异曲同工了。