线性代数|机器学习-P5特征值和特征向量

文章目录

  • 1. 特征值和特征向量
    • 1.1 特征向量
    • 1.2 向量分解
  • 2. 矩阵相似
    • 2.1 特征值求解法-相似
    • 2.2 特殊特征值
    • 2.3 反对称矩阵
  • 3.对称矩阵

1. 特征值和特征向量

1.1 特征向量

假设有一个n行n列的方阵A,有 n 个不相同的特征值为 λ \lambda λ,特征向量为 x 1 , x 2 , ⋯ , x n x_1,x_2,\cdots,x_n x1,x2,,xn.等式如下:
A x i = λ i x i , i = 1 , ⋯ , n → A 2 x = λ 2 x \begin{equation} Ax_i=\lambda_ix_i,i=1,\cdots,n\rightarrow A^2x=\lambda^2x \end{equation} Axi=λixi,i=1,,nA2x=λ2x

  • 特征向量的好处在于,对于向量x来说, A x = λ x Ax=\lambda x Ax=λx,通过左乘矩阵A,还是不改变向量的方向,只是按照 λ \lambda λ倍进行缩放。
    A k x = λ k x \begin{equation} A^kx=\lambda^kx \end{equation} Akx=λkx
  • 对于微分方程来说
    d u d t = A u , e A t = e λ t \begin{equation} \frac{\mathrm{d}u}{\mathrm{d}t}=Au,\mathrm{e}^{At}=\mathrm{e}^{\lambda t} \end{equation} dtdu=AueAt=eλt
  • 通解表示如下:
    u ( t ) = S e Λ t S − 1 u ( 0 ) = e A t u ( 0 ) \begin{equation} u(t)=Se^{\Lambda t} S^{-1} u(0)=e^{At}u(0) \end{equation} u(t)=SeΛtS1u(0)=eAtu(0)

1.2 向量分解

假设矩阵A有n个线性无关的特征向量,那么对于任意矩阵v来说,可以分解为特征向量的线性组合
v = c 1 x 1 + c 2 x 2 + ⋯ + c n x n \begin{equation} v=c_1x_1+c_2x_2+\cdots+c_nx_n \end{equation} v=c1x1+c2x2++cnxn

  • 两边同时乘以 A k , A k x = λ k x A^k,A^{k}x=\lambda^kx Ak,Akx=λkx:
    A k v = c 1 λ 1 k x 1 + c 2 λ 2 k x 2 + ⋯ + c n λ n k x n \begin{equation} A^{k}v=c_1\lambda_1^{k}x_1+c_2\lambda_2^{k}x_2+\cdots+c_n\lambda_n^{k}x_n \end{equation} Akv=c1λ1kx1+c2λ2kx2++cnλnkxn
  • 特征向量在差分方程上的应用
    u k + 1 = A u k → u k = A k u 0 = λ k x u 0 \begin{equation} u_{k+1}=Au_k\rightarrow u_k=A^ku_0=\lambda^kxu_0 \end{equation} uk+1=Aukuk=Aku0=λkxu0

2. 矩阵相似

2.1 特征值求解法-相似

假设我们有两个矩阵A,B如果存在一个可逆矩阵M,满足如下关系,可推出A相似于B
B = M − 1 A M → B ∼ A → A 和 B 有相同的特征值 \begin{equation} B=M^{-1}AM\rightarrow B\sim A\rightarrow A和B有相同的特征值 \end{equation} B=M1AMBAAB有相同的特征值

  • 假设矩阵A的特征值为 λ \lambda λ,特征向量为x,
    ∣ B − λ I ∣ = ∣ M − 1 A M − λ I ∣ = ∣ M − 1 A M − M − 1 λ M ∣ = ∣ M − 1 ∣ ∣ A − λ I ∣ ∣ M ∣ = ∣ A − λ I ∣ \begin{equation} |B-\lambda I|=|M^{-1}AM-\lambda I|=|M^{-1}AM-M^{-1}\lambda M|=|M^{-1}||A-\lambda I||M|=|A-\lambda I| \end{equation} BλI=M1AMλI=M1AMM1λM=M1∣∣AλI∣∣M=AλI
  • 所以可得如下:
    B ∼ A ⇒ λ A = λ B \begin{equation} B \sim A \Rightarrow \lambda_A=\lambda_B \end{equation} BAλA=λB
  • Matlab中如何求解特征值
    对于给定的矩阵A来说,我们用一个可逆矩阵 M 1 M_1 M1右乘矩阵A,左乘 M 1 − 1 M_1^{-1} M11,使得矩阵A逐渐变成上三角矩阵,通过不断地左右乘 M 1 , M 2 M1,M2 M1,M2,最后得到一个上三角矩阵B,这样我们就通过相似的形式得到主对角线上的特征值了。
    B = ( M n ⋯ M 2 M 1 ) − 1 A ( M n ⋯ M 2 M 1 ) → B U p T r i a n g l e ∼ A → A 和 B 有相同的特征值 \begin{equation} B={(M_n\cdots M_2M_1)}^{-1}A{(M_n\cdots M_2M_1)}\rightarrow B_{UpTriangle}\sim A\rightarrow A和B有相同的特征值 \end{equation} B=(MnM2M1)1A(MnM2M1)BUpTriangleAAB有相同的特征值

2.2 特殊特征值

假设我们有两个矩阵A,B,令AB的特征值为 λ A B \lambda_{AB} λAB,特征向量为x,令BA的特征值为 λ B A \lambda_{BA} λBA,证明 λ A B = λ B A \lambda_{AB}=\lambda_{BA} λAB=λBA

  • 根据定义可得:
    A B x = λ A B x \begin{equation} ABx=\lambda_{AB}x \end{equation} ABx=λABx
  • 两边同时乘以B可得:
    B A B x = λ A B B x → ( B A ) ( B x ) = λ A B ( B x ) → λ A B = λ B A \begin{equation} BABx=\lambda_{AB}Bx\rightarrow (BA)(Bx)=\lambda_{AB}(Bx)\rightarrow \lambda_{AB}=\lambda_{BA} \end{equation} BABx=λABBx(BA)(Bx)=λAB(Bx)λAB=λBA

2.3 反对称矩阵

假设我们有一个矩阵A表示如下:
A = [ 0 1 − 1 0 ] → A T = − A \begin{equation} A=\begin{bmatrix} 0&1\\\\ -1&0 \end{bmatrix}\rightarrow A^T=-A \end{equation} A= 0110 AT=A

  • 矩阵A实现的功能是将向量x顺时针旋转90°。
    在这里插入图片描述
  • 求矩阵A的特征值和特征向量如下:
    λ 1 = i , v 1 = [ 1 i ] ; λ 2 = − i , v 1 = [ 1 − i ] ; S = [ 1 1 i − i ] ; Λ = [ i 0 0 − i ] ; \begin{equation} \lambda_1=i,v_1=\begin{bmatrix}1\\\\i\end{bmatrix};\lambda_2=-i,v_1=\begin{bmatrix}1\\\\-i\end{bmatrix};S=\begin{bmatrix}1&1\\\\i&-i\end{bmatrix};\Lambda=\begin{bmatrix}i&0\\\\0&-i\end{bmatrix}; \end{equation} λ1=i,v1= 1i ;λ2=i,v1= 1i ;S= 1i1i ;Λ= i00i ;
  • 分解A如下:
    A = S Λ S − 1 ⇒ [ 0 1 − 1 0 ] = [ 1 1 i − i ] [ i 0 0 − i ] [ 1 1 i − i ] − 1 ; \begin{equation} A=S\Lambda S^{-1}\Rightarrow \begin{bmatrix}0&1\\\\-1&0\end{bmatrix}=\begin{bmatrix}1&1\\\\i&-i\end{bmatrix}\begin{bmatrix}i&0\\\\0&-i\end{bmatrix}\begin{bmatrix}1&1\\\\i&-i\end{bmatrix}^{-1}; \end{equation} A=SΛS1 0110 = 1i1i i00i 1i1i 1;

3.对称矩阵

对称矩阵具有实数特征值和正交的特征向量。我们定义矩阵A如下:
A = [ 0 1 1 0 ] → λ 1 = 1 , v 1 = [ 1 1 ] ; λ 2 = − 1 , v 2 = [ − 1 1 ] ; \begin{equation} A=\begin{bmatrix}0&1\\\\1&0\end{bmatrix}\rightarrow \lambda_1=1,v_1=\begin{bmatrix}1\\\\1\end{bmatrix};\lambda_2=-1,v_2=\begin{bmatrix}-1\\\\1\end{bmatrix}; \end{equation} A= 0110 λ1=1,v1= 11 ;λ2=1,v2= 11 ;

  • 可得如下:
    A = S Λ S − 1 → [ 0 1 1 0 ] = [ 1 1 1 − 1 ] [ 1 0 0 − 1 ] [ 1 1 1 − 1 ] − 1 \begin{equation} A=S\Lambda S^{-1}\rightarrow \begin{bmatrix}0&1\\\\1&0\end{bmatrix}= \begin{bmatrix}1&1\\\\1&-1\end{bmatrix}\begin{bmatrix}1&0\\\\0&-1\end{bmatrix}\begin{bmatrix}1&1\\\\1&-1\end{bmatrix}^{-1} \end{equation} A=SΛS1 0110 = 1111 1001 1111 1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/21774.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(2022,扩散模型,评分函数,数据流形的内在维度,SVD)使用扩散模型估计数据流形的维度

Your diffusion model secretly knows the dimension of the data manifold 公和众和号:EDPJ(进 Q 交流群:922230617 或加 VX:CV_EDPJ 进 V 交流群) 目录 0. 摘要 1. 引言 2. 相关工作 3. 背景:基于评…

【YOLOv5/v7改进系列】引入Slimneck-GSConv

一、导言 GSConv旨在平衡模型的准确度与速度,针对自动驾驶车辆中目标检测任务设计。从类脑研究中得到的直观理解是,具有更多神经元的模型能够获得更强的非线性表达能力。但是,不容忽视的是生物大脑处理信息的强大能力和低能耗远远超过计算机…

二、Nginx目录结构与基本运行原理

目录 一、目录结构 二、运行原理 一、目录结构 我们使用tree 命令查看nginx的目录。如果tree 命令失效,需要安装tree工具 [rootlocalhost local]# yum install -y tree[rootlocalhost /]# tree /usr/local/nginx /usr/local/nginx ├── client_body_temp # PO…

C语言 | Leetcode C语言题解之第129题求根节点到叶节点数字之和

题目: 题解: int sumNumbers(struct TreeNode* root) {if (root NULL) {return 0;}int sum 0;struct TreeNode* nodeQueue[2000];int numQueue[2000];int leftQueue 0, rightQueue 0;nodeQueue[rightQueue] root;numQueue[rightQueue] root->v…

Vue——初识组件

文章目录 前言页面的构成何为组件编写组件组件嵌套注册 效果展示 前言 在官方文档中,对组件的知识点做了一个很全面的说明。本篇博客主要写一个自己的案例讲解。 vue 官方文档 组件基础 页面的构成 说到组件之前,先大致说明下vue中页面的构成要素。 在…

手写数据集minist基于pytorch分类学习

1.Mnist数据集介绍 1.1 基本介绍 Mnist数据集可以算是学习深度学习最常用到的了。这个数据集包含70000张手写数字图片,分别是60000张训练图片和10000张测试图片,训练集由来自250个不同人手写的数字构成,一般来自高中生,一半来自工…

MTU相关随笔

一、MTU的概念 MTU(最大传输单元):用来通知对方所能接受数据服务单元的最大尺寸,说明发送方能够接受的有效载荷大小。MTU是包或帧的最大长度,一般以字节记,如果过大在碰到路由器时会被拒绝转发&#xff0c…

SpringBoot项目本地运行正常,jar包运行时前端报错403:No mapping for......

SpringBoot项目本地运行正常,jar包运行时前端报错403:No mapping for… 提示:在部署jar包到云服务器上之前,一定要在本地运行jar包,查看前端代码是否运行正常,若报错的话可以节省很多时间 方式:…

友顺科技(UTC)分立器件与集成IC产品选型和应用

友顺科技股份有限公司成立于1990年,是全球领先的集成电路与功率半导体厂商 ,集团总部位于台北,生产基地位于福州、厦门。 友顺科技具有完整模拟组件产品线,其中类比IC涵盖各种稳压器、PWM控制IC, 放大器、比较器、逻辑IC、Voltage Translato…

基于飞腾 D2000 8 核+ 32G DDR+板载 6 千兆电口+ 4 千兆光口高性能网络安全主板

第一章、产品介绍 1.1 产品概述 XM-D2000GW是一款基于飞腾 D2000 8 核X100 桥片高性能网络安全主板,D2000 为飞腾首款支持 8 核桌面平 台处理器,支持双通道 DDR4-2666 内存,芯片内置国密 SM2/SM3/SM4/SM9 加速引擎,支持单精度、双…

gitee和github的协同

假设gitee上zhaodezan有一个开发库,但是从andeyeluguo上拉取最新的(从github上同步过来最新的) git remote add dbgpt_in_gitee https://gitee.com/andeyeluguo/DB-GPT.git remote -v git pull --rebase dbgpt_in_gitee main 有冲突可能需要…

【调试笔记-20240603-Linux-在 OpenWrt-23.05 上运行 ipkg-build 生成. ipk 安装包】

调试笔记-系列文章目录 调试笔记-20240603-Linux-在 OpenWrt-23.05 上运行 ipkg-build 生成. ipk 安装包 文章目录 调试笔记-系列文章目录调试笔记-20240603-Linux-在 OpenWrt-23.05 上运行 ipkg-build 生成. ipk 安装包 前言一、调试环境操作系统:Windows 10 专业…

Android11 AudioTrack和Track建立联系

应用程序创建AudioTrack时,导致AudioFlinger在播放线程中,创建Track和其对应。那它们之间是通过什么来建立联系传递数据的?答案是共享内存。 创建Track时,导致其父类TrackBase的构造函数被调用 //frameworks/av/services/audiofl…

数字化时代还需要传统智慧图书馆吗

尽管以电子阅览室代表的数字化时代带来了许多便利和创新,但传统智慧图书馆依然具有重要的价值和意义。以下是一些原因: 1. 保存历史文化:传统智慧图书馆是保存历史文化遗产的重要载体,收藏了许多珍贵的古籍、手稿和纸质图书&#…

基于 Amazon EC2 快速部署 Stable Diffusion WebUI + chilloutmax 模型

自2023年以来,AI绘图已经从兴趣娱乐逐渐步入实际应用,在众多的模型中,作为闪耀的一颗明星,Stable diffusion已经成为当前最多人使用且效果最好的开源AI绘图软件之一。Stable Diffusion Web UI 是由AUTOMATIC1111 开发的基于 Stabl…

vue-cl-service不同环境运行/build配置

概述 在项目开发过程中,同一个项目在开发、测试、灰度、生产可能需要不同的配置信息,所以如果能根据环境的不同来设置参数很重要。 vue项目的vue-cl-service插件也支持不同环境的不同参数配置和打包。 实现 新建不同环境配置文件 vue项目中的配置文件以…

面向对象程序设计之从C到C++的初步了解

1. C语言 1. C的发展 C是从C语言发展演变而来的,首先是一个更好的C引入了类的机制,最初的C被称为“带类的C”1983年正式取名为C 从1989年开始C语言的标准化工作 于1994年制定了ANSIC标准草案 于1998年11月被国际标准化组织(ISO)批准为国际标准&#xf…

Ubuntu系统安装

目录 安装准备 安装步骤 虚拟机配置 系统安装 安装准备 Ubuntu系统镜像,虚拟机环境 虚拟机环境 使用的虚拟机软件为VMware Workstation 系统镜像 阿里镜像站:阿里巴巴开源镜像站-OPSX镜像站-阿里云开发者社区 (aliyun.com)https://developer.aliyun.com…

记一次使用mysql存储过程时,游标取值为空问题

call modify_collation(num,count_num) > 1146 - Table test.table_name doesnt exist > 时间: 0.009s 我在使用mysql存储过程时,打印时游标取值为空,报错找不到表。我的过程语句是这样的: drop procedure if exists modify_collation…

Redis中大Key与热Key的解决方案

原文地址:https://mp.weixin.qq.com/s/13p2VCmqC4oc85h37YoBcg 在工作中Redis已经成为必备的一款高性能的缓存数据库,但是在实际的使用过程中,我们常常会遇到两个常见的问题,也就是文章标题所说的大 key与热 key。 一、定义 1.1…