矩阵的奇异值(Singular Values)

矩阵的奇异值(Singular Values)是奇异值分解(SVD)过程中得到的一组重要特征值。它们在许多应用中非常重要,如信号处理、数据压缩和统计学等。以下是对奇异值及其计算和性质的详细解释:

奇异值分解(SVD)

奇异值分解是矩阵分解的一种方法,它将任意一个实数或复数矩阵分解为三个特定矩阵的乘积。具体来说,对于一个 m × n m \times n m×n的矩阵 M \mathbf{M} M,其奇异值分解表示为:

M = U Σ V ⊤ \mathbf{M} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^\top M=V

其中:

  • U \mathbf{U} U是一个 m × m m \times m m×m的正交矩阵,包含了矩阵 M \mathbf{M} M的左奇异向量。
  • Σ \mathbf{\Sigma} Σ是一个 m × n m \times n m×n的对角矩阵,对角线上是矩阵 M \mathbf{M} M的奇异值,其余元素为零。
  • V ⊤ \mathbf{V}^\top V是一个 n × n n \times n n×n的正交矩阵,包含了矩阵 M \mathbf{M} M的右奇异向量。

奇异值的计算

奇异值 σ i \sigma_i σi是矩阵 M \mathbf{M} M的奇异值分解中对角矩阵 Σ \mathbf{\Sigma} Σ的非负对角元素。它们是 M M ⊤ \mathbf{M} \mathbf{M}^\top MM M ⊤ M \mathbf{M}^\top \mathbf{M} MM的非负特征值的平方根。具体来说,如果 M \mathbf{M} M的奇异值为 σ i \sigma_i σi,那么 σ i \sigma_i σi满足以下条件:

M M ⊤ u i = σ i 2 u i \mathbf{M} \mathbf{M}^\top \mathbf{u}_i = \sigma_i^2 \mathbf{u}_i MMui=σi2ui
M ⊤ M v i = σ i 2 v i \mathbf{M}^\top \mathbf{M} \mathbf{v}_i = \sigma_i^2 \mathbf{v}_i MMvi=σi2vi

其中, u i \mathbf{u}_i ui v i \mathbf{v}_i vi分别是 M M ⊤ \mathbf{M} \mathbf{M}^\top MM M ⊤ M \mathbf{M}^\top \mathbf{M} MM的特征向量。

奇异值的性质

  1. 非负性:奇异值总是非负的,即 σ i ≥ 0 \sigma_i \geq 0 σi0
  2. 排列顺序:奇异值通常按降序排列,即 σ 1 ≥ σ 2 ≥ ⋯ ≥ σ min ⁡ ( m , n ) \sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_{\min(m,n)} σ1σ2σmin(m,n)
  3. 数量:一个 m × n m \times n m×n矩阵最多有 min ⁡ ( m , n ) \min(m, n) min(m,n)个奇异值。
  4. 对称性:奇异值是对称矩阵的特征值的绝对值。

奇异值的应用

奇异值在许多领域都有广泛应用,包括但不限于:

  • 矩阵近似:通过截断较小的奇异值,可以得到矩阵的低秩近似,用于数据压缩和降维。
  • 数据压缩:在图像处理和压缩中,保留较大的奇异值可以有效减少数据存储量,同时保持较高的数据质量。
  • 信号处理:奇异值分解用于去噪和信号恢复。
  • 统计学:在主成分分析(PCA)中,奇异值用于确定数据的主成分方向和方差。

通过以上解释,希望能帮助你更好地理解奇异值及其在矩阵分析中的重要性。

好的,让我们通过一个具体的例子来说明奇异值的计算过程。

示例矩阵

考虑一个 2 × 2 2 \times 2 2×2的矩阵 A \mathbf{A} A

A = ( 3 1 1 3 ) \mathbf{A} = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix} A=(3113)

计算奇异值

  1. 计算 A ⊤ A \mathbf{A}^\top \mathbf{A} AA A A ⊤ \mathbf{A} \mathbf{A}^\top AA

首先,计算 A ⊤ A \mathbf{A}^\top \mathbf{A} AA A A ⊤ \mathbf{A} \mathbf{A}^\top AA

A ⊤ A = ( 3 1 1 3 ) ⊤ ( 3 1 1 3 ) = ( 10 6 6 10 ) \mathbf{A}^\top \mathbf{A} = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix}^\top \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix} = \begin{pmatrix} 10 & 6 \\ 6 & 10 \end{pmatrix} AA=(3113)(3113)=(106610)

A A ⊤ = ( 3 1 1 3 ) ( 3 1 1 3 ) ⊤ = ( 10 6 6 10 ) \mathbf{A} \mathbf{A}^\top = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix} \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix}^\top = \begin{pmatrix} 10 & 6 \\ 6 & 10 \end{pmatrix} AA=(3113)(3113)=(106610)

注意到这两个矩阵是相同的。

  1. 求解 A ⊤ A \mathbf{A}^\top \mathbf{A} AA的特征值

接下来,求解 A ⊤ A \mathbf{A}^\top \mathbf{A} AA的特征值。设 A ⊤ A \mathbf{A}^\top \mathbf{A} AA的特征值为 λ \lambda λ,我们需要解特征方程:

det ⁡ ( A ⊤ A − λ I ) = 0 \det(\mathbf{A}^\top \mathbf{A} - \lambda \mathbf{I}) = 0 det(AAλI)=0

即:

det ⁡ ( 10 − λ 6 6 10 − λ ) = 0 \det\begin{pmatrix} 10 - \lambda & 6 \\ 6 & 10 - \lambda \end{pmatrix} = 0 det(10λ6610λ)=0

计算行列式:

( 10 − λ ) 2 − 36 = 0 (10 - \lambda)^2 - 36 = 0 (10λ)236=0

解这个二次方程:

λ 2 − 20 λ + 64 = 0 \lambda^2 - 20\lambda + 64 = 0 λ220λ+64=0

求解得到特征值:

λ = 16 和 λ = 4 \lambda = 16 \quad \text{和} \quad \lambda = 4 λ=16λ=4

  1. 计算奇异值

奇异值是 A \mathbf{A} A的特征值的平方根。因此:

σ 1 = 16 = 4 \sigma_1 = \sqrt{16} = 4 σ1=16 =4

σ 2 = 4 = 2 \sigma_2 = \sqrt{4} = 2 σ2=4 =2

因此,矩阵 A \mathbf{A} A的奇异值为 σ 1 = 4 \sigma_1 = 4 σ1=4 σ 2 = 2 \sigma_2 = 2 σ2=2

奇异值分解

我们可以进一步进行奇异值分解(SVD),将矩阵 A \mathbf{A} A分解为:

A = U Σ V ⊤ \mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^\top A=V

其中:

  • U \mathbf{U} U V \mathbf{V} V是正交矩阵(包含左奇异向量和右奇异向量)。
  • Σ \mathbf{\Sigma} Σ是对角矩阵,包含奇异值。

对于本例中的矩阵 A \mathbf{A} A

Σ = ( 4 0 0 2 ) \mathbf{\Sigma} = \begin{pmatrix} 4 & 0 \\ 0 & 2 \end{pmatrix} Σ=(4002)

计算 U \mathbf{U} U V \mathbf{V} V

左奇异向量 U \mathbf{U} U和右奇异向量 V \mathbf{V} V是通过求解以下方程得到的:

A A ⊤ u i = σ i 2 u i \mathbf{A} \mathbf{A}^\top \mathbf{u}_i = \sigma_i^2 \mathbf{u}_i AAui=σi2ui

A ⊤ A v i = σ i 2 v i \mathbf{A}^\top \mathbf{A} \mathbf{v}_i = \sigma_i^2 \mathbf{v}_i AAvi=σi2vi

我们已知:

A A ⊤ = A ⊤ A = ( 10 6 6 10 ) \mathbf{A} \mathbf{A}^\top = \mathbf{A}^\top \mathbf{A} = \begin{pmatrix} 10 & 6 \\ 6 & 10 \end{pmatrix} AA=AA=(106610)

求解这两个矩阵的特征向量即可得到 U \mathbf{U} U V \mathbf{V} V

通过计算,得到:

u 1 = v 1 = ( 1 2 1 2 ) , u 2 = v 2 = ( − 1 2 1 2 ) \mathbf{u}_1 = \mathbf{v}_1 = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix}, \quad \mathbf{u}_2 = \mathbf{v}_2 = \begin{pmatrix} -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix} u1=v1=(2 12 1),u2=v2=(2 12 1)

因此:

U = V = ( 1 2 − 1 2 1 2 1 2 ) \mathbf{U} = \mathbf{V} = \begin{pmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} U=V=(2 12 12 12 1)

综上,矩阵 A \mathbf{A} A的奇异值分解为:

A = U Σ V ⊤ = ( 1 2 − 1 2 1 2 1 2 ) ( 4 0 0 2 ) ( 1 2 1 2 − 1 2 1 2 ) \mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^\top = \begin{pmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} \begin{pmatrix} 4 & 0 \\ 0 & 2 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} A=V=(2 12 12 12 1)(4002)(2 12 12 12 1)

这就是矩阵 A \mathbf{A} A的奇异值计算和奇异值分解的完整过程。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/36975.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java--常用类

一、StringBuffer 1.1 概述 线程安全的可变字符序列。 一个类似于 String 的字符串缓冲区,但能修改。 但通过某些方法调用可以改变该序列的长度和内容。 1.2 创建对象 ​ public class Demo04 {public static void main(String[] args) {/**构造方法摘要 Stri…

【机器学习】在【PyCharm中的学习】:从【基础到进阶的全面指南】

目录 第一步:基础准备 1.1 Python基础 1.1.1 学习Python的基本语法 变量和数据类型: 1.1.2 控制流 条件语句: 循环语句: 1.1.3 函数和模块 函数: 模块: 1.2 安装PyCharm 1.2.1 下载并安装 第二…

Effective C++ 改善程序与设计的55个具体做法笔记与心得 9

九. 杂项讨论 53. 不用轻忽编译器的警告 请记住: 严肃对待编译器发出的警告信息。努力在你的编译器的最高(最严苛)警告级别下争取“无任何警告”的荣誉。不要过度倚赖编译器的报警能力,因为不同的编译器对待事情的态度并不相同…

为什么接口返回的是二进制流的文件时,前端请求时responseType要设置成‘blob‘

当接口返回的是二进制流的文件时,前端在发起axios请求时需要设置responseType为blob,原因有以下几点 1、数据类型匹配: blob类型能够正确处理二进制数据。如果前端请求不设置responseType,默认情况下,浏览器会尝试解析…

在创意设计领域“刷屏”的人工智能生成内容(AIGC)是什么?

在创意设计领域“刷屏”的人工智能生成内容(AIGC)是什么?这是一个值得深入探讨的话题,它关乎技术的革新、创意的边界以及未来设计行业的走向。随着人工智能技术的飞速发展,AIGC(Artificial Intelligence Ge…

k8s_docker和container的关系和区别

Docker 和 containerd 是容器生态系统中的两个重要组件,它们各自有不同的角色和职责。以下是对它们之间关系和区别的详细解释。 Docker 和 containerd 的关系 Docker: Docker 是一个完整的容器平台,提供了一系列工具来构建、分发和运行容器化…

聚鼎贸易:装饰画行业还有没有前景

在数字化的浪潮中,装饰画行业似乎被边缘化,成为传统与现代较量中的一片瓦砾。然而,透过表面的凋零,我们能够窥见其潜藏的蓬勃生机与无限前景。 随着社会的快速发展,人们对生活品质的追求日益提高。家,作为个…

Spring Cloud OpenFeign基础入门与使用实践总结

官网地址&#xff1a;https://docs.spring.io/spring-cloud-openfeign/docs/current/reference/html/#spring-cloud-feign GitHub地址&#xff1a;https://github.com/spring-cloud/spring-cloud-openfeign 本文SpringCloud版本为&#xff1a; <spring.boot.version>3…

火锅食材配送小程序的作用有什么

火锅店、麻辣烫店、餐厅等对火锅丸子食材的需求量很高&#xff0c;还有普通消费者零售等&#xff0c;市场中或城市里总是有着较为知名的食材店或厂商&#xff0c;通过产品质量、口碑、宣传、老客复购等获得更多生意营收。 线下生意放缓&#xff0c;需要商家拓宽渠道。运用雨科…

2、网上图书订购

完整DDLDML SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS 0;-- ---------------------------- -- Table structure for administarators -- ---------------------------- DROP TABLE IF EXISTS administarators; CREATE TABLE administarators (admin_id int(11) NOT NULL AU…

搜维尔科技:SenseGlove Nova2国内首款支持手掌心力回馈手套开售

《SenseGlove Nova 2》现正全球发行中! 搜维尔科技独家代理最新上市的 SenseGlove Nova 2 是世上首款&#xff0c;也是目前市面上唯一一款提供手掌力回馈的无缐VR力回馈手套&#xff0c;它结合了三种最先进的反馈技术&#xff0c;包括主动反馈、强力反馈及震动反馈&#xff0c…

基于横纵向的混合联邦学习原理分析

近期陆续接触到关于混合联邦学习的概念&#xff0c;但基于横纵向的混合联邦实际的应用案例却几乎没有看到&#xff0c;普遍是一些实验性的课题&#xff0c;因此这一领域知识没有被很好普及。本篇文章的目的&#xff0c;主要是分析讨论关于横纵向混合联邦学习的业务场景、应用架…

nginx: [warn] 20240 worker_connections exceed open file resource limit: 1024

nginx: [warn] 20240 worker_connections exceed open file resource limit: 1024 报错翻译过来就是&#xff1a; nginx&#xff1a;[警告] 20240 worker_connections超出打开文件资源限制&#xff1a;1024 解决方法&#xff1a; 1.查看当前文件打开数量的限制 ulimit -S…

2024软博会

2024年&#xff0c;金秋的十月&#xff0c;青岛国际会展中心迎来了一年一度的科技盛宴——青岛国际软件融合创新博览会&#xff08;简称“青岛软博会”&#xff09;。这场为期三天的展会&#xff0c;不仅吸引了全球软件产业的目光&#xff0c;更成为了展示中国软件产业发展成果…

OpenHarmony南向驱动开发实战-Input

简介 该仓下主要包含Input模块HDI&#xff08;Hardware Driver Interface&#xff09;接口定义及其实现&#xff0c;对上层输入服务提供操作input设备的驱动能力接口&#xff0c;HDI接口主要包括如下三大类&#xff1a; InputManager&#xff1a;管理输入设备&#xff0c;包括…

数据库系统概论(超详解!!!) 第十四节 数据库恢复技术

1.事务的基本概念 1.事务 事务(Transaction)是用户定义的一个数据库操作序列&#xff0c;这些操作要么全做&#xff0c;要么全不做&#xff0c;是一个不可分割的工作单位。 事务和程序是两个概念&#xff0c; 在关系数据库中&#xff0c;一个事务可以是一条SQL语句&#xff…

rockey linux rpm安装mysql 8.4.0

背景介绍&#xff1a; 系统 rockey linux 9.4 mysql 8.4.0 我一开始想在系统上安装5.7的着&#xff0c;因为我有这个包&#xff0c;但是通过rpm安装的时候&#xff0c;到最后一步提示我没有/usbin/chkconfig 这个目录&#xff0c;怀疑是系统的问题&#xff0c;然后想安装chk…

未来先行!MWC 2024 世界移动通信大会盛大开幕!!!

2024MWC上海世界移动通信大会&#xff0c;在上海新国际博览中心&#xff08;SNIEC&#xff09;盛大开幕。 今年&#xff0c;MWC的主办方GSMA&#xff08;全球移动通信系统协会&#xff09;为这届MWC定下了一个主题——“Future First&#xff08;未来先行&#xff09;”。各大…

内网穿透技术

内网穿透&#xff08;NAT traversal&#xff09;是一种技术&#xff0c;用于实现公网与内网之间的通信连接。当内网中的设备无法直接从公网访问时&#xff0c;内网穿透技术可以通过一些手段&#xff0c;让公网上的设备能够穿透到内网中的设备&#xff0c;建立起通信连接。 说白…

盘点7款适合团队使用的知识库工具

作为一名技术爱好者和企业管理者&#xff0c;我深知知识库工具在日常工作中的重要性。 无论是个人笔记管理还是企业知识共享&#xff0c;知识库工具都能极大地提升我们的工作效率和信息管理水平。 根据麦肯锡全球研究院报告显示&#xff0c;使用知识库工具可以帮助个人或者企…