范数理论及其应用
- 2.1向量范数及其性质
- 2.2矩阵范数
本系列博文主要总结学习矩阵论的心得笔记,参考数目《矩阵论》–张凯院;整个文章的整理体系参照行书过程。
范数–非负实数,用于衡量线性空间元素(如:向量,矩阵)的大小。凡是满足范数定义三个性质的 实值映射 都可以定义一种范数。最常见的范数:向量的2范数–用于计度量向量的欧式长度。
2.1向量范数及其性质
–>开篇 向量空间 RnR^nRn 中的 向量序列 {x(k)}\{x^{(k)}\}{x(k)} 当 k−>∞k->\inftyk−>∞ 时 每个分量都收敛于一个特定的值,则向量序列{x(k)}\{x^{(k)}\}{x(k)}收敛xxx。差值向量{x(k)−x}\{x^{(k)}-x\}{x(k)−x}在 k−>∞k->\inftyk−>∞ ,应当收敛于零向量。
2.1.1向量范数的定义
VVV是数域KKK上的线性空间(线性空间:满足一定性质的集合),对于任意的x∈Vx \in Vx∈V,如果一个实值函数∣∣x∣∣||x||∣∣x∣∣满足下面三个性质,就说这个实值函数定义了一种向量范数。
1.非负性:当x≠0时,∣∣x∣∣>0,x=0时,∣∣x∣∣=0x \ne0时,||x||>0,x=0时,||x||=0x̸=0时,∣∣x∣∣>0,x=0时,∣∣x∣∣=0
2.其次性:∣∣ax∣∣=∣a∣∣∣x∣∣,(a∈Kx∈V)||ax||=|a| ||x||,(a \in K x \in V)∣∣ax∣∣=∣a∣∣∣x∣∣,(a∈Kx∈V)
3.三角不等式:∣∣x+y∣∣<=∣∣x∣∣+∣∣y∣∣||x+y||<=||x||+||y||∣∣x+y∣∣<=∣∣x∣∣+∣∣y∣∣
要证明一个函数是否定义了一种范数,只要验证是否满足上面三个条件就可以了。
2.1.2性质3可以推导出:三角形任意两边的长度只差 < 第三边的长度:
∣∣∣x∣∣−∣∣y∣∣∣<=∣∣x−y∣∣| ||x||-||y|| |<=||x-y||∣∣∣x∣∣−∣∣y∣∣∣<=∣∣x−y∣∣
结合性质3,将用-y代替y,有
∣∣∣x∣∣−∣∣y∣∣∣<=∣∣x+y∣∣<=∣∣x∣∣+∣∣y∣∣| ||x||-||y|| |<=||x+y||<=||x||+||y||∣∣∣x∣∣−∣∣y∣∣∣<=∣∣x+y∣∣<=∣∣x∣∣+∣∣y∣∣
2.1.3常见的三种向量范数的定义:
1.向量的1范数:∣∣x∣∣=∑∣xi∣||x||=\sum|x_i|∣∣x∣∣=∑∣xi∣×××××××××××××××××元素的绝对值的和
2.向量的2范数:∣∣x∣∣=(∑xi2)12||x||=(\sum x_i^2)^{\frac{1}{2}}∣∣x∣∣=(∑xi2)21 ××××××××××××××元素平方和,再开方,最熟悉的欧式距离
3.向量的∞\infty∞范数:∣∣x∣∣=maxi∣xi∣||x||=\max \limits_{i}|x_i|∣∣x∣∣=imax∣xi∣ ×××××××××××××最大绝对值元素
对于三个定义,不难分别验证满足三条性质,即定义了三个范数。实际上,可以定义无限多种范数。
更一般的 ppp范数的定义(上面三个范数都是p范数的特例):
∣∣x∣∣p=(∑∣xi∣p)1p||x||_p=(\sum |x_i|^p)^{\frac{1}{p}}∣∣x∣∣p=(∑∣xi∣p)p1
2.1.4简单的 范数理解:在二维空间中两个点之间的距离度量方式可以为(1)两个点之间的欧氏距离–直线距离–2范数、(2)两个点之间的直角边和距离–1范数、(3)两个点之间最长直角边距离–无穷范数。
还可能会用到的范数:向量的椭圆范数、函数的积分范数P82
2.1.5向量范数的等价性:有限维线性空间的不同范数是等价的。如果向量序列对于某一范数下是收敛的,那么在其他范数下也是收敛的。
2.2矩阵范数
2.2.1 矩阵范数定义
->定义:A∈Cm∗nA \in C^{m*n}A∈Cm∗n,一个实值函数∣∣A∣∣||A||∣∣A∣∣ 满足以下三个条件,则定义了一个 广义矩阵范数。
1.非负性:当A≠O时,∣∣A∣∣>0;当A=O,∣∣A∣∣=0A \ne O时, ||A||>0;当A=O,||A||=0A̸=O时,∣∣A∣∣>0;当A=O,∣∣A∣∣=0
2.其次性:∣∣αA∣∣=∣α∣∣∣A∣∣,(α∈C)||\alpha A||=|\alpha| ||A||,(\alpha \in C)∣∣αA∣∣=∣α∣∣∣A∣∣,(α∈C)
3,三角不等式:∣∣A+B∣∣<∣∣A∣∣+∣∣B∣∣(B∈Cm∗n)||A+B||<||A||+||B|| (B \in C^{m*n})∣∣A+B∣∣<∣∣A∣∣+∣∣B∣∣(B∈Cm∗n)
在定义矩阵模时,考虑矩阵乘法 因素,就能够定义更常用的矩阵范数,同时满足4个的条件的实值映射∣∣A∣∣||A||∣∣A∣∣为AAA的 矩阵范数。
4 相容性:∣∣AB∣∣<=∣∣A∣∣∗∣∣B∣∣||AB||<=||A||*||B||∣∣AB∣∣<=∣∣A∣∣∗∣∣B∣∣
->矩阵序列极限:当Ak−>AA^k->AAk−>A,会有∣∣Ak∣∣−>∣∣A∣∣||A^k||->||A||∣∣Ak∣∣−>∣∣A∣∣
2.2.2 矩阵F-范数
相容定义:Cm∗nC^{m*n}Cm∗n上矩阵范数∣∣∗∣∣M||*||_M∣∣∗∣∣M 和 Cm与CnC^m与C^nCm与Cn的同类向量范数∣∣∗∣∣V||*||_V∣∣∗∣∣V 相容,当且仅当满足下式子:
∣∣Ax∣∣V<=∣∣AM∣∣×∣∣x∣∣V||Ax||_V<=||A_M||×||x||_V∣∣Ax∣∣V<=∣∣AM∣∣×∣∣x∣∣V
矩阵范数 与 向量范数 的 相容性=》 矩阵F-范数(各个元素平方和,再开方)
∣∣A∣∣F=(∑i=1m∑j=1n∣aij∣2)12=(tr(AHA))12||A||_F=(\sum_{i=1}^{m}\sum_{j=1}^{n}|a_{ij}|^2)^{\frac{1}{2}}=(tr(A^HA))^{\frac{1}{2}}∣∣A∣∣F=(i=1∑mj=1∑n∣aij∣2)21=(tr(AHA))21
以上矩阵范数与向量2范数相容:首先要证明是一个矩阵范数(满足矩阵定义4条性质),其次再证明与向量2范数相容。
依据酉矩阵与F-范数的关系,有推论:和A酉相似的矩阵,其F-范数是相同的。
2.2.3 向量范数 诱导 矩阵范数
∣∣A∣∣=max∣∣x∣∣=1∣∣Ax∣∣||A||=\max\limits_{||x||=1}||Ax||∣∣A∣∣=∣∣x∣∣=1max∣∣Ax∣∣
右边向量范数形式 定义 左式的矩阵范数的形式,对应为:矩阵-1范数,2-范数,无穷-范数。
证明上式定义了一个矩阵范数:有向量范数是其分量的连续函数的性质可知,对于每一个A而言,这个最大值都是可以达到的。也就是说能找到这样一个向量x0x_0x0满足∣∣x0∣∣=1||x_0||=1∣∣x0∣∣=1使得∣∣Ax0∣∣||Ax_0||∣∣Ax0∣∣最大。(p89证明4条性质成立)
方阵 的 诱导矩阵范数 =1,但是方阵的 其他矩阵范数>=1
由定义式导出三种矩阵范数的具体形式:
矩阵1范数-列和范数:∣∣A∣∣1=maxj∑i=1m∣aij∣||A||_1=\max\limits_{j}\sum_{i=1}^m|a_{ij}|∣∣A∣∣1=jmax∑i=1m∣aij∣
矩阵2范数-谱范数:∣∣A∣∣2=λ1(λ1是AHA的最大特征值)||A||_2=\sqrt \lambda_1 (\lambda_1是A^HA 的最大特征值)∣∣A∣∣2=λ1(λ1是AHA的最大特征值)
矩阵无穷范数-行和范数:∣∣A∣∣∞=maxi∑j=1n∣aij∣||A||_\infty=\max\limits_i\sum_{j=1}^n|a_{ij}|∣∣A∣∣∞=imax∑j=1n∣aij∣
2.2.4范数的一些应用
1.矩阵的谱半径 <= 矩阵范数(任意)
矩阵的谱半径(矩阵最大特征值 取绝对值)
ρ(A)=maxi∣λi∣\rho(A)=\max\limits_i|\lambda_i|ρ(A)=imax∣λi∣
ρ(A)<=∣∣A∣∣\rho(A)<=||A||ρ(A)<=∣∣A∣∣
2.矩阵可逆条件:如果矩阵A的某种范数∣∣A∣∣<1||A||<1∣∣A∣∣<1,则矩阵I−AI-AI−A可逆:
∣∣(I−A)−1∣∣<=∣∣I∣∣1−∣∣A∣∣||(I-A)^{-1}||<=\frac{||I||}{1-||A||} ∣∣(I−A)−1∣∣<=1−∣∣A∣∣∣∣I∣∣
当A接近于OOO矩阵时I与(I−A)−1I与(I-A)^{-1}I与(I−A)−1的逼近程度有一个公式:p93
3.逆矩阵的摄动–矩阵存在扰动A 与 原矩阵 两个矩阵逆矩阵之间的关系。
矩阵的条件数:cond(A)=∣∣A∣∣×∣∣A−1∣∣cond(A)=||A||×||A^-1||cond(A)=∣∣A∣∣×∣∣A−1∣∣
一般来说,矩阵的条件数越大,扰动矩阵的逆 与 原矩阵的逆 之间的差距越大。