1、C++示例代码
for (int i = 0; i < model_size; ++i) {// 模型i更新imm_ukf_[i].Update(Z, ntime);// 模型i观测值与预测值的差Eigen::VectorXd Zminus = imm_ukf_[i].Get_Zminus();// 模型i的预测协方差矩阵Eigen::MatrixXd S = imm_ukf_[i].Get_S();// 计算模型i的似然值model_ita[i] = 1/(sqrt(2*M_PI)*sqrt(fabs(S.determinant())))*exp(-0.5* Zminus.transpose() * S.inverse() * Zminus);
}
2、似然值介绍
似然值(Likelihood Value)是统计学中的一个重要概念,尤其在参数估计和模型选择中扮演着关键角色。它描述了给定一组观测数据下,某个模型或参数取值“看起来”或“似乎”有多合理或可能。具体来说,似然值并不是概率,因为它并不表示某个事件发生的可能性;相反,它表示在给定的模型或参数条件下,观测数据出现的可能性。
定义
在数学上,似然函数(Likelihood Function)定义为在给定观测数据 X \ {X} X的条件下,模型参数 z \ {z} z的函数 L ( θ ∣ X ) ) \ {L(\theta∣X))} L(θ∣X))。这个函数的值表示在参数 θ {\theta} θ取值下,观测数据 X \ {X} X出现的“似然性”或“合理性”。注意,这与概率函数 L ( X ∣ θ ) ) \ {L(X∣\theta))} L(X∣θ))在形式上可能相同,但它们的解释是不同的:概率函数描述了在已知参数下观测数据出现的概率,而似然函数则用于在给定的观测数据下评估不同参数值的合理性。
性质
非负性:似然值总是非负的,因为概率总是非负的。
归一化:对于离散分布,所有可能参数值下的似然值之和(或对于连续分布,似然值的积分)并不等于1,因为似然值不是概率。但是,在最大似然估计(Maximum Likelihood Estimation, MLE)中,我们关注的是找到使似然函数最大的参数值,而不是似然值的绝对大小。
相对性:在比较不同参数值或不同模型的似然值时,我们关注的是它们的相对大小,而不是它们的绝对大小。
3、数学公式
在统计学和机器学习中,当我们有一个模型,该模型给出了预测值以及这些预测的不确定性(通常以协方差矩阵的形式给出),并且我们有一组实际的测量值时,我们可以使用这些信息来计算模型的似然值。通常,这种计算假设测量值和预测值之间的差异遵循高斯(正态)分布。
假设我们有:
-
z ^ \hat {z} z^:模型的预测值(向量)
-
z \ {z} z:实际的测量值(向量)
-
S \ {S} S:预测的协方差矩阵(对称正定矩阵)
我们想要计算的是,在给定预测值和协方差矩阵的情况下,观测到实际测量值的似然值。这可以通过高斯分布的概率密度函数(PDF)来实现。
高斯分布的PDF为:
p ( z ∣ μ , Σ ) = 1 ( 2 π ) n ∣ Σ ∣ e x p ( − 1 2 ( z − μ ) T Σ − 1 ( z − μ ) ) p(z | \mu , \Sigma)=\frac {1} {\sqrt{(2\pi)^{n}|\Sigma|} exp(-\frac {1} {2}(z-\mu)^{T}\Sigma^{-1}(z-\mu))} p(z∣μ,Σ)=(2π)n∣Σ∣exp(−21(z−μ)TΣ−1(z−μ))1
其中,
- z z z是 n n n维观测向量
- μ \mu μ是 n n n维均值向量(在我们的情况下,它是 z ^ \hat {z} z^)
- Σ \Sigma Σ是 n × n n \times n n×n协方差矩阵(在我们的情况下,它是 S S S)
- ∣ Σ ∣ |\Sigma| ∣Σ∣是 Σ \Sigma Σ的行列式
将 μ = z ^ \mu=\hat {z} μ=z^和 Σ = S \Sigma=S Σ=S代入上式,我们得到:
p ( z ∣ z ^ , S ) = 1 ( 2 π ) n ∣ S ∣ e x p ( − 1 2 ( z − z ^ ) T S − 1 ( z − z ^ ) ) p(z | \hat {z} , S)=\frac {1} {\sqrt{(2\pi)^{n}|S|} exp(-\frac {1} {2}(z-\hat {z} )^{T}S^{-1}(z-\hat {z}))} p(z∣z^,S)=(2π)n∣S∣exp(−21(z−z^)TS−1(z−z^))1
这个 p ( z ∣ z ^ , S ) p(z | \hat {z} , S) p(z∣z^,S)就是我们想要的似然值。它衡量了在给定预测 z ^ \hat {z} z^和预测协方差 S S S的情况下,观测到 z z z的“合理性”或“可能性”。