DeepSORT（目标跟踪算法）中的解三角方程计算标准化残差（解线性方程组）

flyfish

《DeepSORT（目标跟踪算法）中的计算观测值与状态估计的马氏距离》这篇文章介绍了Cholesky 分解。Cholesky 分解将协方差矩阵分解成下三角矩阵，使得求解过程可以高效进行。这篇是利用 solve_triangular 函数，我们可以高效地解这些线性方程组，从而得到标准化残差和更新后的状态。
即上篇解释这句代码cholesky_factor = np.linalg.cholesky(covariance)
这篇解释下两句代码

d = measurements - mean
z = scipy.linalg.solve_triangular(cholesky_factor, d.T, lower=True, check_finite=False,overwrite_b=True)

验证下三角方程组

我们之前的下三角矩阵 $L$ 和向量 $\mathbf{b}$ 是：
$L=\left[\begin{array}{ccc}2& 0& 0\\ 3& 1& 0\\ 1& -2& 1\end{array}\right],\mathbf{b}=\left[\begin{array}{c}4\\ 5\\ -1\end{array}\right]$
我们可以使用 scipy.linalg.solve_triangular 来求解方程 $L\mathbf{x}=\mathbf{b}$。

import numpy as np
from scipy.linalg import solve_triangular# 定义下三角矩阵 L 和向量 b
L = np.array([[2, 0, 0],[3, 1, 0],[1, -2, 1]
])
b = np.array([4, 5, -1])# 解三角方程 Lx = b
x = solve_triangular(L, b, lower=True)print("解 x:", x)

验证上三角方程组

我们之前的上三角矩阵 $U$ 和向量 $\mathbf{b}$ 是：
$U=\left[\begin{array}{ccc}2& -1& 3\\ 0& 1& 5\\ 0& 0& 4\end{array}\right],\mathbf{b}=\left[\begin{array}{c}4\\ 6\\ 8\end{array}\right]$
同样，我们可以使用 scipy.linalg.solve_triangular 来求解方程 $U\mathbf{x}=\mathbf{b}$。

# 定义上三角矩阵 U 和向量 b
U = np.array([[2, -1, 3],[0, 1, 5],[0, 0, 4]
])
b_upper = np.array([4, 6, 8])# 解三角方程 Ux = b
x_upper = solve_triangular(U, b_upper, lower=False)print("解 x (上三角):", x_upper)

运行结果

当你运行上述代码时，你应该看到与我们手动计算结果相同的解。

解 x (下三角): [ 2. -1. -5.]
解 x (上三角): [-3. -4.  2.]

手动计算过程

三角矩阵

三角矩阵是一种特殊的方阵，矩阵中所有在对角线一侧的元素都是零。根据零元素的位置，三角矩阵可以分为两种类型：

1. 下三角矩阵 (Lower Triangular Matrix)：

• 所有非零元素都在主对角线及其以下的位置。
• 形式如下：$L=\left[\begin{array}{ccccc}{l}_{11}& 0& 0& \dots & 0\\ l_{21}& l_{22}& 0& \dots & 0\\ l_{31}& l_{32}& l_{33}& \dots & 0\\ ⋮& ⋮& ⋮& \ddots & 0\\ l_{n1}& l_{n2}& l_{n3}& \dots & l_{nn}\end{array}\right]$

2. 上三角矩阵 (Upper Triangular Matrix)：

• 所有非零元素都在主对角线及其以上的位置。
• 形式如下：$U=\left[\begin{array}{ccccc}{u}_{11}& u_{12}& u_{13}& \dots & u_{1n}\\ 0& u_{22}& u_{23}& \dots & u_{2n}\\ 0& 0& u_{33}& \dots & u_{3n}\\ ⋮& ⋮& ⋮& \ddots & u_{(n-1)n}\\ 0& 0& 0& \dots & u_{nn}\end{array}\right]$

三角方程组

三角方程组是由三角矩阵组成的线性方程组，由于其特殊的结构，解这类方程组的计算更加简单高效。三角方程组可以分为两种：

1. 下三角方程组：

• 形式为 $L\mathbf{x}=\mathbf{b}$，其中 $L$ 是一个下三角矩阵，$\mathbf{x}$ 是未知向量，$\mathbf{b}$ 是已知向量。
• 解法从上到下进行，通过顺序消元法求解。

2. 上三角方程组：

• 形式为 $U\mathbf{x}=\mathbf{b}$，其中 $U$ 是一个上三角矩阵，$\mathbf{x}$ 是未知向量，$\mathbf{b}$ 是已知向量。
• 解法从下到上进行，通过顺序回代法求解。

示例和求解过程

下三角方程组示例：

考虑下三角矩阵 $L$ 和向量 $\mathbf{b}$：
$L=\left[\begin{array}{ccc}2& 0& 0\\ 3& 1& 0\\ 1& -2& 1\end{array}\right],\mathbf{b}=\left[\begin{array}{c}4\\ 5\\ -1\end{array}\right]$
我们要解方程 $L\mathbf{x}=\mathbf{b}$，其中 $\mathbf{x}$ 是未知向量。

1. 首先，解第一个方程：$2x_1=4⟹x_1=2$
2. 接着，解第二个方程：$3x_1+x_2=5⟹3\cdot 2+x_2=5⟹x_2=5-6=-1$
3. 最后，解第三个方程：$1x_1-2x_2+x_3=-1⟹1\cdot 2-2\cdot (-1)+x_3=-1⟹2+2+x_3=-1⟹x_3=-1-4=-5$
   因此，解为：
   $$\mathbf{x}=\left[\begin{array}{c}2\\ -1\\ -5\end{array}\right]$$
   上三角方程组示例：

考虑上三角矩阵 $U$ 和向量 $\mathbf{b}$：
$U=\left[\begin{array}{ccc}2& -1& 3\\ 0& 1& 5\\ 0& 0& 4\end{array}\right],\mathbf{b}=\left[\begin{array}{c}4\\ 6\\ 8\end{array}\right]$
我们要解方程 $U\mathbf{x}=\mathbf{b}$。

1. 首先，解最后一个方程：$4x_3=8⟹x_3=2$
2. 接着，解倒数第二个方程：$x_2+5x_3=6⟹x_2+5\cdot 2=6⟹x_2=6-10=-4$
3. 最后，解第一个方程：$2x_1-x_2+3x_3=4⟹2x_1-(-4)+3\cdot 2=4⟹2x_1+4+6=4⟹2x_1=4-10=-6⟹x_1=-3$
   因此，解为：
   $$\mathbf{x}=\left[\begin{array}{c}-3\\ -4\\ 2\end{array}\right]$$

再把上一篇和这一篇结合起来

我们看 scipy.linalg.solve_triangular 这句代码是如何通过解三角方程计算标准化残差的。

示例和解释

假设我们有如下矩阵 $A$：
$$\left[\begin{array}{ccc}4& 12& -16\\ 12& 37& -43\\ -16& -43& 98\end{array}\right]$$
我们已经通过 Cholesky 分解将 ( A ) 分解为下三角矩阵 ( L )：
$$L=\left[\begin{array}{ccc}2& 0& 0\\ 6& 1& 0\\ -8& 5& 3\end{array}\right]$$
现在假设我们有一个测量向量：
$$\text{measurement}=\left[\begin{array}{c}2\\ -1\\ 3\end{array}\right]$$

步骤解释

1. 计算差值 ( d )：
   差值 ( d ) 是测量向量与均值向量的差。假设均值向量 ( \mu ) 为：
   $$\mu =\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]$$
   则差值 ( d ) 为：
   $$d=\text{measurement}-\mu =\left[\begin{array}{c}2\\ -1\\ 3\end{array}\right]-\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$$
2. Cholesky 分解：
   我们已经知道 ( L ) 为：
   $$L=\left[\begin{array}{ccc}2& 0& 0\\ 6& 1& 0\\ -8& 5& 3\end{array}\right]$$
3. 解三角方程：
   scipy.linalg.solve_triangular 用于求解三角方程组。具体来说，solve_triangular 函数解决如下方程：
   $$Lz=d$$
   其中 ( d ) 是差值向量，( L ) 是下三角矩阵，( z ) 是标准化残差向量。
   我们用 scipy.linalg.solve_triangular 来解这个方程：

import numpy as np
from scipy.linalg import cholesky, solve_triangular
# 定义矩阵和向量
L = np.array([
[2, 0, 0],
[6, 1, 0],
[-8, 5, 3]
])
d = np.array([1, -1, 1])
# 解三角方程
z = solve_triangular(L, d, lower=True)
print("Standardized residual (z):", z)

结果

Standardized residual (z): [ 0.5        -4.          8.33333333]

具体数值计算

手动求解$$Lz=d$$
$$\left[\begin{array}{ccc}2& 0& 0\\ 6& 1& 0\\ -8& 5& 3\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\\ z_3\end{array}\right]=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$$
我们逐步求解：

1. 第一个方程：
   $$2z_1=1$$
   $$z_1=\frac{1}{2}=0.5$$
2. 第二个方程：
   $$6z_1+z_2=-1$$
   $$6\cdot 0.5+z_2=-1$$
   $$3+z_2=-1$$
   $$z_2=-4$$
3. 第三个方程：
   $$-8z_1+5z_2+3z_3=1$$
   $$-8\cdot 0.5+5\cdot (-4)+3z_3=1$$
   $$-4-20+3z_3=1$$
   $$-24+3z_3=1$$
   $$3z_3=25$$
   $$z_3=\frac{25}{3}\approx 8.33$$
   所以标准化残差向量 ( z ) 是：
   $$z=\left[\begin{array}{c}0.5\\ -4\\ 8.33\end{array}\right]$$

DeepSORT（目标跟踪算法）中的马氏距离详解（很详细）
DeepSORT（目标跟踪算法）中 可以设置阈值进行异常检测或目标跟踪的原因（写了重要步骤）