矩阵论-范数理论及其应用

范数理论及其应用

  • 2.1向量范数及其性质
  • 2.2矩阵范数

本系列博文主要总结学习矩阵论的心得笔记,参考数目《矩阵论》–张凯院;整个文章的整理体系参照行书过程。

范数–非负实数,用于衡量线性空间元素(如:向量,矩阵)的大小。凡是满足范数定义三个性质的 实值映射 都可以定义一种范数。最常见的范数:向量的2范数–用于计度量向量的欧式长度。

2.1向量范数及其性质

–>开篇 向量空间 RnR^nRn 中的 向量序列 {x(k)}\{x^{(k)}\}{x(k)}k−>∞k->\inftyk> 时 每个分量都收敛于一个特定的值,则向量序列{x(k)}\{x^{(k)}\}{x(k)}收敛xxx。差值向量{x(k)−x}\{x^{(k)}-x\}{x(k)x}k−>∞k->\inftyk> ,应当收敛于零向量。

2.1.1向量范数的定义
VVV是数域KKK上的线性空间(线性空间:满足一定性质的集合),对于任意的x∈Vx \in VxV,如果一个实值函数∣∣x∣∣||x||x满足下面三个性质,就说这个实值函数定义了一种向量范数。
1.非负性:当x≠0时,∣∣x∣∣>0,x=0时,∣∣x∣∣=0x \ne0时,||x||>0,x=0时,||x||=0x̸=0x>0,x=0,x=0
2.其次性:∣∣ax∣∣=∣a∣∣∣x∣∣,(a∈Kx∈V)||ax||=|a| ||x||,(a \in K x \in V)ax=ax,(aKxV)
3.三角不等式:∣∣x+y∣∣&lt;=∣∣x∣∣+∣∣y∣∣||x+y||&lt;=||x||+||y||x+y<=x+y

要证明一个函数是否定义了一种范数,只要验证是否满足上面三个条件就可以了。

2.1.2性质3可以推导出:三角形任意两边的长度只差 < 第三边的长度:
∣∣∣x∣∣−∣∣y∣∣∣&lt;=∣∣x−y∣∣| ||x||-||y|| |&lt;=||x-y||xy<=xy

结合性质3,将用-y代替y,有
∣∣∣x∣∣−∣∣y∣∣∣&lt;=∣∣x+y∣∣&lt;=∣∣x∣∣+∣∣y∣∣| ||x||-||y|| |&lt;=||x+y||&lt;=||x||+||y||xy<=x+y<=x+y

2.1.3常见的三种向量范数的定义
1.向量的1范数:∣∣x∣∣=∑∣xi∣||x||=\sum|x_i|x=xi×××××××××××××××××元素的绝对值的和
2.向量的2范数:∣∣x∣∣=(∑xi2)12||x||=(\sum x_i^2)^{\frac{1}{2}}x=(xi2)21 ××××××××××××××元素平方和,再开方,最熟悉的欧式距离
3.向量的∞\infty范数:∣∣x∣∣=max⁡i∣xi∣||x||=\max \limits_{i}|x_i|x=imaxxi ×××××××××××××最大绝对值元素

对于三个定义,不难分别验证满足三条性质,即定义了三个范数。实际上,可以定义无限多种范数。

更一般的 ppp范数的定义(上面三个范数都是p范数的特例):
∣∣x∣∣p=(∑∣xi∣p)1p||x||_p=(\sum |x_i|^p)^{\frac{1}{p}}xp=(xip)p1

2.1.4简单的 范数理解:在二维空间中两个点之间的距离度量方式可以为(1)两个点之间的欧氏距离–直线距离–2范数、(2)两个点之间的直角边和距离–1范数、(3)两个点之间最长直角边距离–无穷范数。

还可能会用到的范数:向量的椭圆范数、函数的积分范数P82

2.1.5向量范数的等价性:有限维线性空间的不同范数是等价的。如果向量序列对于某一范数下是收敛的,那么在其他范数下也是收敛的。

2.2矩阵范数

2.2.1 矩阵范数定义
->定义:A∈Cm∗nA \in C^{m*n}ACmn,一个实值函数∣∣A∣∣||A||A 满足以下三个条件,则定义了一个 广义矩阵范数
1.非负性:当A≠O时,∣∣A∣∣&gt;0;当A=O,∣∣A∣∣=0A \ne O时, ||A||&gt;0;当A=O,||A||=0A̸=O,A>0;A=O,A=0
2.其次性:∣∣αA∣∣=∣α∣∣∣A∣∣,(α∈C)||\alpha A||=|\alpha| ||A||,(\alpha \in C)αA=αA,(αC)
3,三角不等式:∣∣A+B∣∣&lt;∣∣A∣∣+∣∣B∣∣(B∈Cm∗n)||A+B||&lt;||A||+||B|| (B \in C^{m*n})A+B<A+B(BCmn)

在定义矩阵模时,考虑矩阵乘法 因素,就能够定义更常用的矩阵范数,同时满足4个的条件的实值映射∣∣A∣∣||A||AAAA矩阵范数
4 相容性:∣∣AB∣∣&lt;=∣∣A∣∣∗∣∣B∣∣||AB||&lt;=||A||*||B||AB<=AB

->矩阵序列极限:当Ak−&gt;AA^k-&gt;AAk>A,会有∣∣Ak∣∣−&gt;∣∣A∣∣||A^k||-&gt;||A||Ak>A

2.2.2 矩阵F-范数

相容定义:Cm∗nC^{m*n}Cmn上矩阵范数∣∣∗∣∣M||*||_MMCm与CnC^m与C^nCmCn的同类向量范数∣∣∗∣∣V||*||_VV 相容,当且仅当满足下式子:
∣∣Ax∣∣V&lt;=∣∣AM∣∣×∣∣x∣∣V||Ax||_V&lt;=||A_M||×||x||_VAxV<=AM×xV

矩阵范数 与 向量范数 的 相容性=》 矩阵F-范数(各个元素平方和,再开方)

∣∣A∣∣F=(∑i=1m∑j=1n∣aij∣2)12=(tr(AHA))12||A||_F=(\sum_{i=1}^{m}\sum_{j=1}^{n}|a_{ij}|^2)^{\frac{1}{2}}=(tr(A^HA))^{\frac{1}{2}}AF=(i=1mj=1naij2)21=(tr(AHA))21

以上矩阵范数与向量2范数相容:首先要证明是一个矩阵范数(满足矩阵定义4条性质),其次再证明与向量2范数相容。

依据酉矩阵与F-范数的关系,有推论:和A酉相似的矩阵,其F-范数是相同的。

2.2.3 向量范数 诱导 矩阵范数

∣∣A∣∣=max⁡∣∣x∣∣=1∣∣Ax∣∣||A||=\max\limits_{||x||=1}||Ax||A=x=1maxAx

右边向量范数形式 定义 左式的矩阵范数的形式,对应为:矩阵-1范数,2-范数,无穷-范数。

证明上式定义了一个矩阵范数:有向量范数是其分量的连续函数的性质可知,对于每一个A而言,这个最大值都是可以达到的。也就是说能找到这样一个向量x0x_0x0满足∣∣x0∣∣=1||x_0||=1x0=1使得∣∣Ax0∣∣||Ax_0||Ax0最大。(p89证明4条性质成立)

方阵 的 诱导矩阵范数 =1,但是方阵的 其他矩阵范数>=1

由定义式导出三种矩阵范数的具体形式:
矩阵1范数-列和范数:∣∣A∣∣1=max⁡j∑i=1m∣aij∣||A||_1=\max\limits_{j}\sum_{i=1}^m|a_{ij}|A1=jmaxi=1maij

矩阵2范数-谱范数:∣∣A∣∣2=λ1(λ1是AHA的最大特征值)||A||_2=\sqrt \lambda_1 (\lambda_1是A^HA 的最大特征值)A2=λ1(λ1AHA)

矩阵无穷范数-行和范数:∣∣A∣∣∞=max⁡i∑j=1n∣aij∣||A||_\infty=\max\limits_i\sum_{j=1}^n|a_{ij}|A=imaxj=1naij

2.2.4范数的一些应用
1.矩阵的谱半径 <= 矩阵范数(任意)

矩阵的谱半径(矩阵最大特征值 取绝对值)
ρ(A)=max⁡i∣λi∣\rho(A)=\max\limits_i|\lambda_i|ρ(A)=imaxλi

ρ(A)&lt;=∣∣A∣∣\rho(A)&lt;=||A||ρ(A)<=A

2.矩阵可逆条件:如果矩阵A的某种范数∣∣A∣∣&lt;1||A||&lt;1A<1,则矩阵I−AI-AIA可逆:
∣∣(I−A)−1∣∣&lt;=∣∣I∣∣1−∣∣A∣∣||(I-A)^{-1}||&lt;=\frac{||I||}{1-||A||} (IA)1<=1AI

当A接近于OOO矩阵时I与(I−A)−1I与(I-A)^{-1}I(IA)1的逼近程度有一个公式:p93

3.逆矩阵的摄动–矩阵存在扰动A 与 原矩阵 两个矩阵逆矩阵之间的关系。
矩阵的条件数:cond(A)=∣∣A∣∣×∣∣A−1∣∣cond(A)=||A||×||A^-1||cond(A)=A×A1
一般来说,矩阵的条件数越大,扰动矩阵的逆 与 原矩阵的逆 之间的差距越大。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/445214.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大数据学习(09)--spark学习

文章目录目录1.spark介绍1.1 spark介绍1.2 scale介绍1.3 spark和Hadoop比较2.spark生态系统3.spark运行框架3.1 基本概念3.2 架构的设计3.3 spark运行基本流程3.4 spark运行原理3.5 RDD运行原理3.5.1 设计背景3.5.2 RDD概念和特性3.5.3 RDD之间的依赖关系3.5.4 stage的划分3.5.…

探索 Pexpect

概述 通过本系列第一部分 《探索 Pexpect&#xff0c;第 1 部分&#xff1a;剖析 Pexpect 》&#xff08;请参阅参考资料&#xff09;的介绍&#xff0c;相信大家已经对 Pexpect 的用法已经有了比较全面的了解&#xff0c;知道 Pexpect 是个纯 Python 语言实现的模块&#xff…

Python的Pexpect详解 [图片]

Pexpect 是一个用来启动子程序并对其进行自动控制的纯 Python 模块。 Pexpect 可以用来和像 ssh、ftp、passwd、telnet 等命令行程序进行自动交互。继第一部分《探索 Pexpect&#xff0c;第 1 部分&#xff1a;剖析 Pexpect 》介绍了 Pexpect 的基础和如何使用后&#xff0c;本…

关系数据库——sql增删改

数据的插入 插入元祖 --1. 表名后没有指定属性列&#xff1a;表示要插入的是一条完整的元组&#xff0c;且属性列属性与表定义中的顺序一致 insert into student values (201215128, 陈东, 18, 男, IS);--2. 在表明后指定要插入数据的表名及属性列&#xff0c;属性列的顺序可…

机器学习中的聚类方法总结

聚类定义 定义 聚类就是对大量未知标注 的数据集&#xff0c;按数据 的内在相似性将数据集划分为多个类别&#xff0c;使 类别内的数据相似度较大而类别间的数据相 似度较小。是无监督的分类方式。 聚类思想 给定一个有N个对象的数据集&#xff0c;构造数据的k 个簇&#x…

学点数学(1)-随机变量函数变换

随机变量函数变换本文介绍一维随机变量函数变换&#xff0c;参考文献&#xff1a;https://wenku.baidu.com/view/619f74ac3186bceb19e8bbd0.html变换TTT作用于随机变量XXX&#xff0c;产生随机变量YYY. T:X−>Y或者写为yT(x)T:X->Y 或者写为 yT(x)T:X−>Y或者写为yT(x…

关系数据库——关系数据语言

关系 域&#xff1a;一组具有相同数据类型的值的集合&#xff08;即取值范围&#xff09; 笛卡尔积&#xff1a;域上的一种集合运算。结果为一个集合&#xff0c;集合的每一个元素是一个元组&#xff0c;元组的每一个分量来自不同的域。 基数&#xff1a;一个域允许的不同取值…

Python模块(2)-Numpy 简易使用教程

Numpy模块 简易使用教程1.数组创建2.数组基本属性-维度、尺寸、数据类型3.数组访问-索引、切片、迭代4.数组的算术运算-加减乘除、转置求逆、极大极小5.通用函数-sin,cos,exp,sqrtnp.dot与np.matmul的区别6.数组的合并和分割6.1 np.vstack(),np.hstack()6.2 np.stack()7.list与…

机器学习问题总结(01)

文章目录1.请描述推荐系统中协同过滤算法CF的原理2.请描述决策树的原理、过程、终止条件&#xff0c;以及如何防止过拟合2.1决策树生成算法2.2 剪枝处理&#xff08;防止过拟合&#xff09;2.3 停止条件2.4 棵决策树的生成过程2.5 决策树的损失函数3.请描述K-means的原理&#…

pthread_attr_init线程属性

1&#xff0e;线程属性 线程具有属性&#xff0c;用pthread_attr_t表示&#xff0c;在对该结构进行处理之前必须进行初始化&#xff0c;在使用后需要对其去除初始化。我们用pthread_attr_init函数对其初始化&#xff0c;用pthread_attr_destroy对其去除初始化。 1&#xff0e; …

Python实例讲解 -- 解析xml

Xml代码 <?xml version"1.0" encoding"utf-8"?> <info> <intro>信息</intro> <list id001> <head>auto_userone</head> <name>Jordy</name> <number&g…

springboot3——Email

maven导入包&#xff1a; <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-mail</artifactId><version>2.1.6.RELEASE</version></dependency> 参数配置&#xff1a; # MailPrope…

python(22)--面向对象1-封装

python面向对象1面向过程/面向对象2面向对象核心概念-类3类的设计3.1类三要素-类名、属性、方法3.2面向对象基础语法3.2.1查看对象的常用方法3.2.2类定义3.2.3创建类对象3.2.4__init__()方法3.2.5 self参数3.2.6类内置方法和属性_del_()方法--销毁对象_str_()方法--定制化输出对…

机器学习问题总结(02)

文章目录1.stacking模型以及做模型融合的知识1.1 从提交结果中融合1.2 stacking1.3 blending2. 怎样去优化SVM算法模型的&#xff1f;2.1 SMO优化算法2.2 libsvm 和 Liblinear3.现有底层是tensorflow的keras框架&#xff0c;如果现在有一个tensorflow训练好的模型&#xff0c;k…

python对操作系统的目录和文件操作

一、获取当前目录下的特定文件列表>>>import glob,os>>>curdir os.getcwd() #获取当前目录>>>os.chdir(workdir) #设置当前目录>>>dir glob.glob(*.dat) #获取当前目录的dat文件列表>>>os.chdir(curdir) #…

常见漏洞

Cookie without HttpOnly flag set 如果在Cookie上设置了HttpOnly属性&#xff0c;则客户端JavaScript无法读取或设置Cookie的值。 这种措施通过阻止某些客户端攻击&#xff08;例如跨站点脚本&#xff09;&#xff0c;通过阻止它们通过注入的脚本来简单地捕获cookie的值&…

python函数星号参数

2011-09-01 17:35 2人阅读 评论(0) 收藏 编辑 删除 今天有个工作是导出一个函数给脚本用 我自已先要测一下 先要客户端发送一个消息给服务器 看了下C部分的代码,如下 "def onNetMessage(self,playerID, msgName,msgParam):\n" //客户端调用服务器脚本 " …

MachineLearning(3)-流型

流型-manifold在很多机器学习的文章中会见到“嵌入在高维空间的低维流型”这样的字眼&#xff0c;下记录一些重要概念。参考资料&#xff1a;https://blog.csdn.net/sinat_32043495/article/details/789977581.流型 局部具有欧几里得空间性质的空间&#xff08;流型就是一个空间…

C/C++常见面试题(四)

C/C面试题集合四 目录 1、什么是C中的类&#xff1f;如何定义和实例化一个类&#xff1f; 2、请解释C中的继承和多态性。 3、什么是虚函数&#xff1f;为什么在基类中使用虚函数&#xff1f; 4、解释封装、继承和多态的概念&#xff0c;并提供相应的代码示例 5、如何处理内…

机器学习问题总结(03)

文章目录1.struct和class区别&#xff0c;你更倾向用哪个2.kNN&#xff0c;朴素贝叶斯&#xff0c;SVM的优缺点&#xff0c;各种算法优缺点2.1 KNN算法2.2 朴素贝叶斯2.3SVM算法2.4 ANN算法2.5 DT算法3. 10亿个整数&#xff0c;1G内存&#xff0c;O(n)算法&#xff0c;统计只出…