矩阵的QR分解
GramSchmidt
设存在 B = { x 1 , x 2 , … , x n } \mathcal{B}=\left\{\mathbf{x}_{1},\mathbf{x}_{2},\ldots,\mathbf{x}_{n}\right\} B={x1,x2,…,xn}在施密特正交化过程中
- q 1 = x 1 ∣ ∣ x 1 ∣ ∣ q_1=\frac{x_1}{||x_1||} q1=∣∣x1∣∣x1
- q k = x k − ∑ i = 1 k − 1 < q i , x k > u i ∣ ∣ x k − ∑ i = 1 k − 1 < q i , x k > u i ∣ ∣ q_k=\frac{x_k-\sum_{i=1}^{k-1}\left< q_i,x_k\right>u_i}{||x_k-\sum_{i=1}^{k-1}\left< q_i,x_k\right>u_i||} qk=∣∣xk−∑i=1k−1⟨qi,xk⟩ui∣∣xk−∑i=1k−1⟨qi,xk⟩ui
对于任意一个矩阵 A m × n = { a 1 ∣ a 2 ∣ … ∣ a n } A_{m\times n}=\{a_1|a_2|\dots|a_n\} Am×n={a1∣a2∣…∣an},其行向量线性无关,则存在 A = Q R A=QR A=QR,其 Q m × n = { q 1 ∣ q 2 ∣ … ∣ q n } Q_{m\times n}=\{q_1|q_2|\dots|q_n\} Qm×n={q1∣q2∣…∣qn}矩阵是 R ( A ) R(A) R(A)的一组正交基, R m × m R_{m\times m} Rm×m是一个上三角矩阵,则
R = ( ν 1 q 1 ∗ a 2 q 1 ∗ a 3 ⋯ q 1 ∗ a n 0 ν 2 q 2 ∗ a 3 ⋯ q 2 ∗ a n 0 0 ν 3 ⋯ q 3 ∗ a n ⋮ ⋮ ⋮ ⋱ ⋮ 0 0 0 ⋯ ν n ) \mathbf{R}=\begin{pmatrix}\nu_1&\mathbf{q}_1^*\mathbf{a}_2&\mathbf{q}_1^*\mathbf{a}_3&\cdots&\mathbf{q}_1^*\mathbf{a}_n\\0&\nu_2&\mathbf{q}_2^*\mathbf{a}_3&\cdots&\mathbf{q}_2^*\mathbf{a}_n\\0&0&\nu_3&\cdots&\mathbf{q}_3^*\mathbf{a}_n\\\vdots&\vdots&\vdots&\ddots&\vdots\\0&0&0&\cdots&\nu_n\end{pmatrix} R= ν100⋮0q1∗a2ν20⋮0q1∗a3q2∗a3ν3⋮0⋯⋯⋯⋱⋯q1∗anq2∗anq3∗an⋮νn
其中 v 1 = ∣ ∣ a 1 ∣ ∣ , v k = ∣ ∣ a k − ∑ i = 1 k − 1 < q i , a k > q i ∣ ∣ for k>1 v_1=||a_1||,v_k=||a_k-\sum_{i=1}^{k-1}<q_i,a_k>q_i|| \quad\text{for k>1} v1=∣∣a1∣∣,vk=∣∣ak−∑i=1k−1<qi,ak>qi∣∣for k>1
Householder
酉矩阵:一个复数矩阵 U n × n U_{n\times n} Un×n它的行或列构成一个 C n C^n Cn的正交基,其中 U ∗ U = I , ∣ ∣ U x ∣ ∣ 2 = ∣ ∣ x ∣ ∣ 2 U^*U=I,||Ux||_2=||x||_2 U∗U=I,∣∣Ux∣∣2=∣∣x∣∣2
对于非0向量 U ∈ C n × 1 U \in C^{n\times 1} U∈Cn×1 ,则 U U U的正交投影是 P u = U U ∗ U ∗ U P_u=\frac{UU^*}{U^*U} Pu=U∗UUU∗,其垂直方向的投影是 P u ⊥ = I − U U ∗ U ∗ U P_{u\perp}=I-\frac{UU^*}{U^*U} Pu⊥=I−U∗UUU∗
初等反射( householder 变换)
其中对于 u ⊥ u^{\perp} u⊥ 的初等反射为 R = I − 2 U U ∗ U ∗ U R=I-2\frac{UU^*}{U^*U} R=I−2U∗UUU∗
对于矩阵 A m × n = [ A ∗ 1 ∣ A ∗ 2 ∣ ⋯ ∣ A ∗ n ] \mathbf{A}_{m\times n}=[\mathbf{A}_{*1}|\mathbf{A}_{*2}|\cdots|\mathbf{A}_{*n}] Am×n=[A∗1∣A∗2∣⋯∣A∗n]
构建基本反射 R = I − 2 U U ∗ U ∗ U R=I-2\frac{UU^*}{U^*U} R=I−2U∗UUU∗,其中 u = A ∗ 1 ± μ ∣ ∣ A ∗ 1 ∣ ∣ e 1 , μ = { 1 if x 1 is real , x 1 / ∣ x 1 ∣ if x 1 is not real , u=A_{*1}\pm\mu||A_{*1}||e_1,\quad\left.\mu=\left\{\begin{matrix}1&\text{if }x_1\text{ is real},\\x_1/|x_1|&\text{if }x_1\text{ is not real},\end{matrix}\right.\right. u=A∗1±μ∣∣A∗1∣∣e1,μ={1x1/∣x1∣if x1 is real,if x1 is not real,
根据householder变换可得 R 1 A ∗ 1 = ∓ μ ∥ A ∗ 1 ∥ e 1 = ( t 11 , 0 , ⋯ , 0 ) T \mathbf{R}_1\mathbf{A}_{*1}=\mp\mu\|\mathbf{A}_{*1}\|\mathbf{e}_1=(t_{11},0,\cdots,0)^T R1A∗1=∓μ∥A∗1∥e1=(t11,0,⋯,0)T
所以 R 1 A = [ R 1 A ∗ 1 ∣ R 1 A ∗ 2 ∣ ⋯ ∣ R 1 A ∗ n ] = ( t 11 t 1 T 0 A 2 ) \left.\mathbf{R}_1\mathbf{A}=[\mathbf{R}_1\mathbf{A}_{*1}|\mathbf{R}_1\mathbf{A}_{*2}|\cdots|\mathbf{R}_1\mathbf{A}_{*n}]=\left(\begin{array}{cc}t_{11}&\mathbf{t}_1^T\\\mathbf{0}&\mathbf{A}_2\end{array}\right.\right) R1A=[R1A∗1∣R1A∗2∣⋯∣R1A∗n]=(t110t1TA2),其中 A 2 A_2 A2 是一个 ( m − 1 × n − 1 ) (m-1\times n-1) (m−1×n−1)的矩阵
若同时对 A 2 A_2 A2矩阵进行操作可以得到一个上三角矩阵 ( m = n ) (m=n) (m=n),即 P A = T PA=T PA=T,其中 P P P矩阵为elementary reflector矩阵的乘积, T T T矩阵为上梯形
Givens 旋转
对于正交矩阵 P P P形式如上,表示在平面 ( i , j ) (i,j) (i,j)上旋转,其中 s 2 + c 2 = 1 s^2+c^2=1 s2+c2=1
对于向量 X = { x 1 , x 2 … , x n } T X=\{x_1,x_2\dots,x_n\}^T X={x1,x2…,xn}T, P i j X = { x 1 , x 2 , … , c x i + s x j , … , − s x i + c x j , … , x n } T P_{ij}X=\{x_1,x_2,\dots,cx_i+sx_j,\dots,-sx_i+cx_j,\dots,x_n\}^T PijX={x1,x2,…,cxi+sxj,…,−sxi+cxj,…,xn}T,易知旋转矩阵乘某一个向量,其只有在该旋转平面上的值发生改变,若存在:
c = x i x i 2 + x j 2 , s = x j x i 2 + x j 2 c=\frac{x_i}{\sqrt{x_i^2+x_j^2}},s=\frac{x_j}{\sqrt{x_i^2+x_j^2}} c=xi2+xj2xi,s=xi2+xj2xj
则 P i j X = { x 1 , x 2 , … , x i 2 + x j 2 , … , 0 , … , x n } T P_{ij}X=\{x_1,x_2,\dots,\sqrt{x_i^2+x_j^2},\dots,0,\dots,x_n\}^T PijX={x1,x2,…,xi2+xj2,…,0,…,xn}T
由此可以实现消去向量的第j个值,即存在:
P 12 x = ( x 1 2 + x 2 2 0 x 3 x 4 ⋮ x n ) , P 13 P 12 x = ( x 1 2 + x 2 2 + x 3 2 0 x 4 ⋮ x n ) , … , P 1 n ⋯ P 13 P 12 x = ( ∥ x ∥ 0 0 ⋮ 0 ) . \mathbf P_{12}\mathbf x=\begin{pmatrix}\sqrt{x_1^2+x_2^2}\\0\\x_3\\x_4\\\vdots\\x_n\end{pmatrix},~\mathbf P_{13}\mathbf P_{12}\mathbf x=\begin{pmatrix}\sqrt{x_1^2+x_2^2+x_3^2}\\0\\x_4\\\vdots\\x_n\end{pmatrix},~\ldots,~\mathbf P_{1n}\cdots\mathbf P_{13}\mathbf P_{12}\mathbf x=\begin{pmatrix}\|\mathbf x\|\\0\\0\\\vdots\\0\end{pmatrix}. P12x= x12+x220x3x4⋮xn , P13P12x= x12+x22+x320x4⋮xn , …, P1n⋯P13P12x= ∥x∥00⋮0 .
若 A A A矩阵是非奇异矩阵,则可以利用householder、givens以及Gram-schmidt来产生一个正交矩阵 Q Q Q以及一个上三角矩阵 R R R其对角线上全为正数,可以得到形如 A = Q R A=QR A=QR的形式