Hermite矩阵的特征值估计——courant-fischer定理

一、courant-fischer定理（min-max定理）

将hermite矩阵的特征值表示为一系列最优化问题的解。

1. 一个函数$R(x)=\frac{x^{H}Ax}{x^{H}x}$，称为Rayleigh商，A是hermite矩阵
2. ${\lambda }_{min}={\min }_{x\ne 0}R(x)$
3. ${\lambda }_{max}={\max }_{x\ne 0}R(x)$
4. ${\lambda }_k=mi{n}_{dim(U)=k}{\max }_{x\in U,x\ne 0}R(x)$
5. ${\lambda }_k=ma{x}_{dim(U)=n-k+1}{\min }_{x\in U,x\ne 0}R(x)$

该定理的2、3是容易证明和理解的。如果不能深入理解子空间的含义，将难以理解4、5。

首先给出4、5的另外一种表述：
$$\begin{gathered} {\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n,k=n,n-1,\cdots ,1 \\ {\lambda }_k=\underset{w_1,w_2,\cdots ,w_{n-k}\in C^n}{\min }\underset{\genfrac{}{}{0ex}{}{x\ne 0,x\in C^n,}{x\perp w_1,w_2,\cdots ,w_{n-k}}}{\max }R(x) \\ {\lambda }_k=\underset{w_1,w_2,\cdots ,w_{k-1}\in C^n}{\max }\underset{\genfrac{}{}{0ex}{}{x\ne 0,x\in C^n,}{x\perp w_1,w_2,\cdots ,w_{k-1}}}{\min }R(x) \end{gathered}$$
关注4。

1️⃣当k=n时，U是n维复空间$V(C^n)$，当x旋转到和${\lambda }_n$的特征向量共线的时候，${\lambda }_n={\lambda }_{max}$。

2️⃣当k=n-1时，U是n-1维复空间，$U\subset V(C^n)$，这样的子空间有无穷多个（可以想象，三维空间中有无穷多个二维平面）。当这个空间包含了${\lambda }_n$的特征子空间的时候，${\max }_{x\in U,x\ne 0}R(x)={\lambda }_{max}={\lambda }_n$。注意，本定理名叫min-max定理，此时还仅仅只考虑极大那部分。

对于$mi{n}_{dim(U)=k}$，该min符号的含义是，在无穷个n-1维复空间中，要找到一个U，使得以U为可行域的函数${\max }_{x\in U,x\ne 0}R(x)$取得最小值。U的取法就是排除${\lambda }_n$的特征子空间，也就是说${\lambda }_n$的特征向量不属于U，或者说和U的基向量正交。

此时的max部分，由于U不包含${\lambda }_n$的特征子空间，那么 max ⁡ x ∈ U , x ≠ 0 R ( x ) = m a x ( λ ( A ) − { λ n } ) = λ n − 1 \max_{x\in U,x\ne0} R(x)=max(\lambda(A)-\{\lambda_n\})=\lambda_{n-1} maxx∈U,x=0​R(x)=max(λ(A)−{λn​})=λn−1​

3️⃣对于k=n-2，是同样的理解方式，只不过取min的时候，要排除掉${\lambda }_n和{\lambda }_{n-1}$。

关于该定理数学上的证明，可参考特征值的重要定理：Courant-Fischer min-max theorem 极大极小定理

二、韦尔定理（Weyl定理）

对于一个n阶Hermite矩阵A，受到一个n阶Hermite矩阵B的扰动，那么A+B的第k个特征值满足：
$${\lambda }_k(A)+{\lambda }_{min}(B)\le {\lambda }_k(A+B)\le {\lambda }_k(A)+{\lambda }_{max}(B)$$
证明，由min-max定理容易证得。