计算机公共课面试常见问题:线性代数篇

目录

1. 特征向量和特征值代表什么含义?                                         

2. 矩阵的秩是什么?满秩代表什么?不满秩呢?                           

3. 奇异值分解是什么?                                                           

4. 正定矩阵是什么?                                                             

5. 相似矩阵是什么?                                                             

6. 什么是线性相关?什么是线性无关?                                      

7. 正交矩阵是什么?                                                             

8.线性空间是什么?                                                               

9.矩阵如何求逆?                                                                  

10.两个矩阵A、B,什么情况下AB = BA                                              

11.什么是矩阵的迹,什么是矩阵分解(奇异值分解)                     


1. 特征向量和特征值代表什么含义?                                         

 一句话解释矩阵可以看作是线性变换,那么特征值就是变换的幅度

特征向量就是变换的方向矩阵的特征向量是这样的向量:矩阵作用于该向量后,向量保持方向不变,进行某一比例的伸缩变换,而这个比例就是特征值。

 因此,特征值与特征向量的关系就是,特征值与特征向量进行数乘操作后所得的向量,和矩阵对该向量进行变换后所得向量相同。

 因此特征值的含义就是和矩阵具有同等变换效果的常数,而特征向量就是与矩阵作用之后能够保持方向不变的向量。

 应用:特征值可以用于奇异值分解(SVD)、主成分分析(PCA)。

2. 矩阵的秩是什么?满秩代表什么?不满秩呢?                           

关于矩阵的秩有很多种理解方式,下面我谈一下在我的学习过程中对矩阵的秩的一些理解。

极大线性无关组的角度出发

将矩阵按列分解为 n 个向量,组成一个向量组,则这个向量组的一个极大线性无关组中包含向量的个数 r 称为矩阵的行秩。同理可定义列秩,可证列秩 = 行秩。

线性方程组的角度出发

我们可以把矩阵构造成一个线性方程组,但是里面可能会有一些重复冗余的方程,那我们把这些没用的方程去掉之后, 后剩下的方程个数就是秩。

线性方程组中真正是干货的方程个数,就是它对应矩阵的秩。

向量空间的角度出发

秩是图像经过矩阵变换之后的空间维度。

比如原始图像是一个二维的,经过一个旋转矩阵进行变换之后,得到的图像是一个二维图形,所以旋转矩阵的秩就是2。而如果通过 [[1, -1], [1, -1]] 这个矩阵进行变换,得到的图像是一条一维直线,所以这个矩阵的秩就是1。

满秩和不满秩

线性方程组的角度出发

满秩解出的是唯一解;不是满秩的话,解出的就是集合了。

向量空间的角度出发

对于一个满秩变换来说,变换之后空间维度保持不变。

对于一个非满秩变换来说,它会把空间压缩到一个更低的维度上。

3. 奇异值分解是什么?                                                           

     SVD 的公式

如果 M 是一个实数域上的 m × n 的矩阵,那么 M 就存在奇异值分解

其中 U 是 m 阶的正交矩阵,V 是 n 阶的正交矩阵,而 Σ 是一个 m × n 的对角矩阵,它对角线上的元素就是奇异值,并且是按照从大到小的顺序排列的。

     SVD 的几何意义

在几何上看,SVD 分解就可以看作是将一个矩阵首先进行旋转,然后拉伸,然后再旋转的的操作。

SVD 的作用

在拿到了矩阵 M 的奇异值分解之后,我们可以把它展开成 $\sigma _i u_i v_i ^T$ 的形式。

其中奇异值 σ 的大小表示它所对应的矩阵在整体展开式当中的重要性,奇异值越大,就越重要。

在很多情况下,前 10%(甚至更少)的奇异值就占到总体的 99% 了,也就是说,我们也可以用 大的前 k 个的奇异值和它所对应的矩阵来近似描述原始矩阵。

SVD 的应用

图像压缩:将原始图像的矩阵进行 SVD 分解,只保留前 k 个 大的奇异值,这样的话就保留了图像的主要信息,从而大大减小图像存储的内存需求。这也可用于图像去噪,因为小的奇异值一般对应着噪声。

   PCA 降维:数据降维。在损失信息较小的情况下,降低数据存储空间,提高后续的机器学习算法速度。同时还能够把真正有用的信息和特征提取出来,便于我们进行分析。

4. 正定矩阵是什么?                                                             

判断方法

求出矩阵的所有特征值,若特征值都是 > 0,则矩阵是正定的。

计算矩阵的各阶顺序主子式,如果各阶顺序主子式都 > 0,则矩阵是正定的。

正定矩阵的应用

每一个二次型都唯一对应一个对称矩阵 A,只要 A 是正定的,那么这个函数的二阶导就是正定的,这就可以得出 f(x) 是一个凸函数,意味着 f(x) 的极值就是极小值,并且是全局的 小

值。这个在优化问题、机器学习是非常有用的性质,它可以避免我们得到了驻点,但不是全局小值的情况。

 如果 A 是半正定的,那么 小值就不唯一;如果 A 是不定的,没有 小值。所以说当 A 不是正定的情况下, 问题就会复杂一些,所以我们希望这个A是正定的,此时 小化 f(x) 的值就等价于求解一个线性方程组,而后者的理论是非常丰富的。

 从系统角度看,如果一个矩阵是正定的,那么我们可以简单理解这个系统拥有全局 小值。而绝大部分问题都可以抽象为解决一个优化问题,如果能证明或者将问题用正定矩阵表示,那么从理论上该问题便拥有全局 优解。而如果拥有全局 优解,我们就能采用很多成熟的方式来求解 优值,这也是机器学习、优化问题 喜欢去研究和解决的情况。

5. 相似矩阵是什么?                                                             

 相似矩阵的定义

设 A, B 都是 n 阶矩阵,如果存在可逆矩阵 P,使得 P^-1^AP = B,那么就说 B 是 A 的相似矩阵,或者说 A 和 B 是相似的。

相似矩阵的理解

我们知道,每一个矩阵实际上是对应于一种线性变换。

对于同一个线性变换,在不同基下进行描述的不同矩阵,彼此之间称为相似矩阵。

 假如说在基 (i, j) 下,向量 x 通过矩阵 A 的线性变换之后得到的新向量为 x'。另一方面,我们也可以先通过一个矩阵 P,把向量 x 换到基 (i', j') 下来表示,这时在新的基下,用来表示上面同一个空间变换的是另一个矩阵 B,它同样也是把向量从x 变换到了 x',只不过是在另一个坐标系下完成的。因为 终我们还是需要在原坐标系下讨论问题,所以这个时候我们再把向量从

(i', j') 这个基再换回到原来的 (i, j),也就是左乘一个 P 的逆矩阵。那么这个就是相似矩阵定义的由来。

在实际使用中,可以尝试把 普通的非对角矩阵 转换为 和它相似的对角矩阵 来进行处理,从而简化我们的计算过程。

6. 什么是线性相关?什么是线性无关?                                      

在一个向量组中,如果其中存在某个向量可以表示成其他向量的线性组合,那就称该向量组线性相关,反之称为线性无关。

通俗地说就是向量组里如果有向量可以被其他向量表示出来,说明它就是多余的,那么此时就是线性相关。

7. 正交矩阵是什么?                                                             

 正交矩阵的定义

如果 n 阶方阵 A 满足

我们就称 A 为正交矩阵。

 正交矩阵的性质

  1. 正交矩阵的每一行都是单位行向量,每一列都是单位列向量。
  2. 正交矩阵的任意两行(列)都是正交的,也就是垂直的。
  3. 正交矩阵的行列式的值为 1 

 

8.线性空间是什么?                                                               

线性空间(Linear Space)是线性代数和数学中的一个概念,通常指的是由向量构成的集合,满足一系列线性性质的数学结构。线性空间也被称为向量空间(Vector Space),它是抽象代数的一部分,用于研究线性关系和线性变换。

 

9.矩阵如何求逆?                                                                  

 

10.两个矩阵A、B,什么情况下AB = BA                                              

如果A,B互逆,则AB=BA

 

在矩阵乘法中,两个矩阵A和B满足A * B = B * A 的情况非常有限。这个等式成立的情况通常是当A和B都是对角矩阵

对角矩阵(Diagonal Matrix):

对角矩阵是指只有主对角线上的元素非零,其他元素都是零的矩阵。

如果两个矩阵A和B都是对角矩阵,并且它们的主对角线上的元素相同,那么A * B = B * A。

这是因为对角矩阵的乘法不受矩阵乘法的交换法则影响,只要主对角线上的元素相同,乘法结果是相同的。

 

11.什么是矩阵的迹,什么是矩阵分解(奇异值分解)                     

矩阵的迹(Trace)

矩阵的迹是指矩阵主对角线上元素的和。如果有一个n x n的矩阵A,其迹记为Tr(A),计算方式如下:

Tr(A) = a₁₁ + a₂₂ + a₃₃ + ... + aₙₙ

其中,a₁₁、a₂₂、a₃₃等表示矩阵A主对角线上的元素。

矩阵的迹在线性代数中具有多种应用,例如计算矩阵的行列式、计算矩阵的特征值等。它还具有一些有趣的性质,例如Tr(A + B) = Tr(A) + Tr(B)和Tr(AB) = Tr(BA),其中A和B是可相乘的矩阵。

矩阵分解(Matrix Decomposition)

矩阵分解是将一个复杂的矩阵拆分成多个较简单矩阵的过程,这些较简单的矩阵通常具有一些特殊的性质,使得它们更容易分析和处理。常见的矩阵分解方法包括:

  1. 奇异值分解(Singular Value Decomposition,SVD):将一个矩阵分解为三个矩阵的乘积,其中一个是正交矩阵,一个是对角矩阵,另一个是正交转置矩阵。SVD在数据降维、图像处理等领域广泛应用。
  2. QR分解:将一个矩阵分解为一个正交矩阵Q和一个上三角矩阵R的乘积。QR分解用于线性回归和小二乘问题的求解。
  3. LU分解:将一个矩阵分解为一个下三角矩阵L和一个上三角矩阵U的乘积。LU分解用于解线性方程组。
  4. 特征值分解(Eigenvalue Decomposition):将一个矩阵分解为一个特征向量矩阵和一个对角矩阵,其中对角矩阵的元素是矩阵的特征值。特征值分解用于寻找矩阵的特征值和特征向量。

这些矩阵分解方法有助于简化复杂矩阵的分析和处理,同时提供了一些重要的数学工具,用于解决线性代数和数值计算中的问题。它们在数据分析、信号处理、机器学习等领域都有广泛的应用。

生活有意思的点就在于未知的某些时刻,你准备去a的时候,可能会遇到b,聊到c,想到d,然后一起去找了e 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/36715.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024上海初中生古诗文大会倒计时4个多月:真题示例和独家解析

现在距离2024年初中生古诗文大会还有4个多月时间,我们继续来看10道选择题真题和详细解析,以下题目截取自我独家制作的在线真题集,都是来自于历届真题,去重、合并后,每道题都有参考答案和解析。 为帮助孩子自测和练习&…

广度优先遍历解决迷宫问题

学习贺利坚老师课程 数据结构例程——迷宫问题(用队列)_数据结构用队列求解迷宫问题-CSDN博客 本人详细解析博客 广度优先遍历解决迷宫问题_迷宫求解c语言深度广度遍历-CSDN博客 版本更新日志 V1.0: 模仿详细解析博客, 基础上, 命名优化, 规范书写, 加上…

改变AI历史的Transformer是如何帮助LLM大模型工作的?看图解密Transformer原理,看不懂算我输!

在过去的几年里,大型语言模型(LLM)的出现,为长达数十年的智能机器构建的探索中带来了巨大的飞跃。 这项基于试图模拟人类大脑的研究技术,也在近几年催生了一个新领域——Generative AI 生成式人工智能,简单理解就是可以 通过模仿…

llama-3 本地化部署实验

国产大模型的API 有限,编写langchain 应用问题很多。使用openai 总是遇到网络问题,尝试使用ollama在本地运行llama-3。结果异常简单。效果不错。llama-3 的推理能力感觉比openai 的GPT-3.5 好。 Ollama 下载 官网:https://ollama.com/downl…

基于GYM环境的DQN简单实现

1. Gym的安装 两种安装方式: https://zhuanlan.zhihu.com/p/483132488 注意:Gym版本太新了,有些APIs不兼容,可以考虑低版本的Gym pip install gym0.19.0 2. 基于CartPole-v0项目 参考: DQN代码逐行详解-CSDN博…

武汉凯迪正大—漆包圆线软化击穿试验仪 漆包线检测仪器

产品功能 武汉凯迪正大电气有限公司生产KDZD-JC软化击穿试验仪用于检测3.00mm及以下漆包线在热状态下漆膜软化后的绝缘性能,根据设定的预热温度、试验时间、仪器自动完成对试样的预加热、加负荷、加试验电压,达到试验时间或试样被击穿时即卸负荷&#x…

基于ARM的通用的Qt移植思路

文章目录 实验环境介绍一、确认Qt版本二、确认交叉编译工具链三、配置Qt3.1、修改qmake.conf3.2、创建autoConfig.sh配置文件 四、编译安装Qt五、移植Qt安装目录六、配置Qt creator6.1、配置qmake6.2、配置GCC编译器6.3、配置G编译器6.4、配置编译器套件6.5、创建应用 七、总结…

【Linux杂货铺】Linux学习之路:期末总结篇1

第一章 什么是Linux? Linux 是 UNIX 操作系统的一个克隆;它由林纳斯 本纳第克特 托瓦兹从零开始编写,并在网络上众多松散的黑客团队的帮助下得以发展和完善;它遵从可移植操作系统接口(POSIX)标准和单一 UNIX 规范…

PLC数据采集案例

--------天津三石峰科技案例分享 项目介绍 项目背景 本项目为天津某钢铁集团下数字化改造项目,主要解决天津大型钢厂加氢站数字化改造过程中遇到的数据采集需求。项目难点PLC已经在运行了,需要采集里面数据,不修改程序,不影响P…

智能农业技术:物联网、无人机与机器人引领的绿色革命

在这个信息化与智能化并行的时代,农业——这个最古老的人类产业,正经历一场前所未有的科技变革。物联网(IoT)、无人机(UAV)和机器人技术的深度融合,正逐步构建起一个高效、精准、可持续的现代农…

博物馆环境监测系统:实际操作中的文物守护者

在博物馆的静谧空间中,每一件文物都承载着历史的重量和文化的精髓。为了确保文物的安全与完整,博物馆环境监测系统应运而生,它如同一位细心的守护者,时刻关注着文物的“健康”状况。本文将从实际操作的角度出发,探讨如…

百度ueditor如何修改图片的保存位置

背景 编辑器的保存图片是设置有默认规则的,但是服务器上一般会把图片路径设置为软连接,所以我就需要更改编辑器保存图片的路径,要不然,每次有新的部署,上一次上传的图片就会失效。先来看看编辑器默认的保存路径吧&…

大数据之MYSQL基础知识总结:

一.sql语言语法特点: 1.对关键字的大小写不敏感 2.sql语句可以单行或者多行书写,以分行结束 3. 注释:-- 这是注释 , #这是注释 , 多行注释 :/*第一行 第二行 */ 二. 数据库分类: 1.关系型数据库&#xff0…

MoneyPrinterPlus:AI自动短视频生成工具-微软云配置详解

MoneyPrinterPlus可以使用大模型自动生成短视频,我们可以借助Azure提供的语音服务来实现语音合成和语音识别的功能。 Azure的语音服务应该是我用过的效果最好的服务了,微软还得是微软。 很多小伙伴可能不知道应该如何配置,这里给大家提供一…

软考架构师考试内容

软考系统架构设计师考试是中国计算机技术与软件专业技术资格(水平)考试(简称软考)中的一项高级资格考试,旨在评估考生是否具备系统架构设计的能力。根据提供的参考资料,考试内容主要包括以下几个方面&#…

Git怎么下载并且使用?

Git是一个分布式版本控制系统,可以记录和管理项目的变更。 下载Git: 打开Git的官方网站:https://git-scm.com/downloads根据你使用的操作系统选择对应的下载链接。如果你使用的是Windows,点击“Windows”按钮;如果你…

基于盲信号处理的声音分离——最小化增益的ICA算法

基于最小化增益的ICA算法的算法是依据混合信号经过盲信号分离会产生一定的噪声,为了使得分离后的信号与原信号的比值最小时,叫做增益最小。当增益越小时,分离后噪声越小,分离信号越接近原信号,分离算法的效果越好。这是…

激励视频广告的eCPM更高,每天的展示频次有限制吗?

在APP发展初期,由于DUA量级有限,所需的广告资源比较少,往往接入1-2家广告平台就能满足APP用户每日需要的广告展示量。而随着APP用户规模的扩大、广告场景的不断丰富,开发者要提升APP整体广告变现收益,一是可以尽可能多…

uView 2.0:uni-app生态的利剑出鞘,引领UI框架新纪元

引言 随着移动互联网的快速发展,跨平台应用开发成为了开发者们关注的焦点。uni-app,一个基于Vue.js的跨平台应用开发框架,因其高效、易用的特性而广受欢迎。在uni-app的生态系统中,UI框架的选择对于开发者而言至关重要。今天&…

云安全是全球组织最优先考虑的问题

关注公众号网络研究观,阅读内容全文。 随着越来越多的数据泄露和应用程序蔓延使防御变得更加复杂,云安全已成为全球组织关注的重点。 这是泰雷兹对全球 3,000 名 IT 安全专业人士进行的一项调查的结果,调查发现三分之一的受访者将云安全列为…