线性代数|机器学习-P16矩阵A的导数

1. 概述

这节课的主题是定义矩阵A是关于时间t的 A ( t ) A(t) A(t),在已知 d A ( t ) d t \frac{\mathrm{d}A(t)}{\mathrm{d}t} dtdA(t)的情况下,求解 d A − 1 ( t ) d t , d λ ( t ) d t , d σ ( t ) d t \frac{\mathrm{d}A^{-1}(t)}{\mathrm{d}t},\frac{\mathrm{d}\lambda(t)}{\mathrm{d}t},\frac{\mathrm{d}\sigma(t)}{\mathrm{d}t} dtdA1(t),dtdλ(t),dtdσ(t)
d A ( t ) d t → d A − 1 ( t ) d t , d λ ( t ) d t , d σ ( t ) d t \begin{equation} \frac{\mathrm{d}A(t)}{\mathrm{d}t}\rightarrow \frac{\mathrm{d}A^{-1}(t)}{\mathrm{d}t},\frac{\mathrm{d}\lambda(t)}{\mathrm{d}t},\frac{\mathrm{d}\sigma(t)}{\mathrm{d}t} \end{equation} dtdA(t)dtdA1(t),dtdλ(t),dtdσ(t)

2. 求 d A − 1 ( t ) d t \frac{\mathrm{d}A^{-1}(t)}{\mathrm{d}t} dtdA1(t)

关于矩阵 A − 1 , B − 1 A^{-1},B^{-1} A1,B1,可以得到如下公式:
B − 1 − A − 1 = B − 1 ( A − B ) A − 1 \begin{equation} B^{-1}-A^{-1}=B^{-1}(A-B)A^{-1} \end{equation} B1A1=B1(AB)A1

  • 我们定义 B = A + Δ A B=A+\Delta A B=A+ΔA,则上述公式变换如下:
    Δ A − 1 = ( A + Δ A ) − 1 ( − Δ A ) A − 1 \begin{equation} \Delta A^{-1}=(A+\Delta A)^{-1}(-\Delta A)A^{-1} \end{equation} ΔA1=(A+ΔA)1(ΔA)A1
  • Δ A → 0 \Delta A \rightarrow 0 ΔA0时, ( A + Δ A ) − 1 = A − 1 (A+\Delta A)^{-1}=A^{-1} (A+ΔA)1=A1,两边同时除以 Δ t \Delta t Δt,则公式整理可得:
    Δ A − 1 Δ t = − A − 1 ( Δ A ) Δ t A − 1 \begin{equation} \frac{\Delta A^{-1}}{\Delta t}=-A^{-1}\frac{(\Delta A)}{\Delta t}A^{-1} \end{equation} ΔtΔA1=A1Δt(ΔA)A1
  • 则可得如下:
    d A − 1 d t = − A − 1 d A d t A − 1 \begin{equation} \frac{\mathrm d A^{-1}}{\mathrm d t}=-A^{-1}\frac{\mathrm d A}{\mathrm d t}A^{-1} \end{equation} dtdA1=A1dtdAA1

3. 求 d λ ( t ) d t \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t} dtdλ(t)

3.1 A 和 A T A^T AT有相同的特征值

求解特征值方程如下,将等式转置可得:
∣ A − λ I ∣ = 0 → ∣ A T − λ I T ∣ = ∣ A T − λ I ∣ = ∣ A − λ I ∣ \begin{equation} |A-\lambda I|=0\rightarrow |A^T-\lambda I^T|=|A^T-\lambda I|=|A-\lambda I| \end{equation} AλI=0ATλIT=ATλI=AλI
所以可得A与 A T A^T AT有相同的特征值,我们定义矩阵A的特征值为 λ \lambda λ时的特征向量为x, A x = λ x Ax=\lambda x Ax=λx,矩阵 A T A^T AT的特征值为 μ \mu μ时的特征向量为y , A T y = μ y A^Ty=\mu y ATy=μy
A x = λ x , A T y = μ y → y T A = μ y T \begin{equation} Ax=\lambda x,A^Ty=\mu y\rightarrow y^TA=\mu y^T \end{equation} Ax=λx,ATy=μyyTA=μyT

  • 等式乘以 y T y^T yT可得:
    y T A x = λ y T x → μ y T x = λ y T x → ( μ − λ ) y T x = 0 \begin{equation} y^TAx=\lambda y^Tx\rightarrow\mu y^Tx=\lambda y^Tx\rightarrow (\mu-\lambda)y^Tx=0 \end{equation} yTAx=λyTxμyTx=λyTx(μλ)yTx=0
  • 为了保证上式对于任意 μ − λ \mu-\lambda μλ成立,只能得到如下
    μ ≠ λ → y T x = 0 \begin{equation} \mu\neq \lambda\rightarrow y^Tx=0 \end{equation} μ=λyTx=0
  • 那当 μ = λ \mu=\lambda μ=λ时, y T x = ? ? ? y^Tx=??? yTx=???呢?

3.2 特征向量单位化

我们知道,对于矩阵A来说,我们能够得到如下公式
A [ x 1 x 2 ⋯ x n ] = [ x 1 x 2 ⋯ x n ] [ λ 1 λ 2 ⋱ λ n ] → A = X Λ X − 1 \begin{equation} A\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}=\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}\begin{bmatrix}\lambda_1\\\\&\lambda_2\\\\&&\ddots\\\\&&&\lambda_n\end{bmatrix}\rightarrow A=X\Lambda X^{-1} \end{equation} A[x1x2xn]=[x1x2xn] λ1λ2λn A=XΛX1

  • 那么我们可得 A 2 A^2 A2为:
    A 2 = X Λ X − 1 X Λ X − 1 \begin{equation} A^2=X\Lambda X^{-1}X\Lambda X^{-1} \end{equation} A2=XΛX1XΛX1
  • 如果X列向量不单位化,假设 x i T x i = c i x_i^Tx_i=c_i xiTxi=ci,那么可得:
    X T X = [ x 1 T x 2 T ⋮ x n T ] [ x 1 x 2 ⋯ x n ] = [ c 1 c 2 ⋱ c n ] \begin{equation} X^TX=\begin{bmatrix}x_1^T\\\\x_2^T\\\\\vdots\\\\x_n^T\end{bmatrix}\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}=\begin{bmatrix}c_1\\\\&c_2\\\\&&\ddots\\\\&&&c_n\end{bmatrix} \end{equation} XTX= x1Tx2TxnT [x1x2xn]= c1c2cn
  • 那么这样在求 A 2 A^2 A2时,就无法得到如下:
    A 2 ≠ X Λ 2 X − 1 \begin{equation} A^2\neq X\Lambda^2 X^{-1} \end{equation} A2=XΛ2X1
  • 所以为了能够方便计算,我们一般会单位化向量 x i x_i xi,得到如下:
    X T X = I , X − 1 = X T , x T x = 1 , A = X Λ X T , A x = λ x \begin{equation} X^TX=I,X^{-1}=X^T,x^Tx=1,A=X\Lambda X^T,Ax=\lambda x \end{equation} XTX=I,X1=XT,xTx=1,A=XΛXT,Ax=λx
  • 同理可得关于 A T A^T AT表示如下:
    y T A = λ y T , A = Y Λ Y T \begin{equation} y^TA=\lambda y^T,A=Y\Lambda Y^T \end{equation} yTA=λyT,A=YΛYT
  • 那么 A 2 A^2 A2 可得如下:
    A 2 = X Λ X T Y Λ Y T \begin{equation} A^2=X\Lambda X^TY\Lambda Y^T \end{equation} A2=XΛXTYΛYT
  • 为了要得到 A 2 = X Λ 2 Y T A^2=X\Lambda^2 Y^T A2=XΛ2YT,我们希望得到 X T Y = I X^TY=I XTY=I
    X T Y = Y T X = I \begin{equation} X^TY=Y^TX=I \end{equation} XTY=YTX=I
  • 可得如下:
    μ = λ → y T x = 1 , μ ≠ λ → y T x = 0 \begin{equation} \mu=\lambda\rightarrow y^Tx=1,\mu\ne\lambda\rightarrow y^Tx=0 \end{equation} μ=λyTx=1,μ=λyTx=0

3.3 求 λ ( t ) \lambda(t) λ(t)

关于矩阵A可得如下:
A ( t ) x ( t ) = λ ( t ) x ( t ) , y T ( t ) A ( t ) = λ ( t ) y T ( t ) , y T ( t ) x ( t ) = 1 \begin{equation} A(t)x(t)=\lambda(t)x(t),y^T(t)A(t)=\lambda(t)y^T(t),y^T(t)x(t)=1 \end{equation} A(t)x(t)=λ(t)x(t),yT(t)A(t)=λ(t)yT(t),yT(t)x(t)=1

  • 等式两边乘以 y T ( t ) y^T(t) yT(t)可得:
    y T ( t ) A ( t ) x ( t ) = λ ( t ) y T ( t ) x ( t ) = λ ( t ) \begin{equation} y^T(t)A(t)x(t)=\lambda(t)y^T(t)x(t)=\lambda(t) \end{equation} yT(t)A(t)x(t)=λ(t)yT(t)x(t)=λ(t)
  • 整理可得如下:
    λ ( t ) = y T ( t ) A ( t ) x ( t ) \begin{equation} \lambda(t)=y^T(t)A(t)x(t) \end{equation} λ(t)=yT(t)A(t)x(t)
  • 两边关于t求导可得:
    d λ ( t ) d t = d y T ( t ) d t A ( t ) x ( t ) + y T ( t ) d A ( t ) d t x ( t ) + y T ( t ) A ( t ) d x ( t ) d t \begin{equation} \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t}=\frac{\mathrm{d}y^T(t)}{\mathrm{d}t}A(t)x(t)+y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t)+y^T(t)A(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t} \end{equation} dtdλ(t)=dtdyT(t)A(t)x(t)+yT(t)dtdA(t)x(t)+yT(t)A(t)dtdx(t)
  • 由公式可得 A ( t ) x ( t ) = λ ( t ) x ( t ) , y T ( t ) A ( t ) = λ ( t ) y T ( t ) A(t)x(t)=\lambda(t)x(t),y^T(t)A(t)=\lambda(t)y^T(t) A(t)x(t)=λ(t)x(t),yT(t)A(t)=λ(t)yT(t)整理后可得:
    d λ ( t ) d t = d y T ( t ) d t λ ( t ) x ( t ) + y T ( t ) d A ( t ) d t x ( t ) + λ ( t ) y T ( t ) d x ( t ) d t \begin{equation} \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t}=\frac{\mathrm{d}y^T(t)}{\mathrm{d}t}\lambda(t)x(t)+y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t)+\lambda(t)y^T(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t} \end{equation} dtdλ(t)=dtdyT(t)λ(t)x(t)+yT(t)dtdA(t)x(t)+λ(t)yT(t)dtdx(t)
  • 第1,3项合并整理可得:
    d λ ( t ) d t = λ ( t ) [ d y T ( t ) d t x ( t ) + y T ( t ) d x ( t ) d t ] + y T ( t ) d A ( t ) d t x ( t ) \begin{equation} \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t}=\lambda(t)[\frac{\mathrm{d}y^T(t)}{\mathrm{d}t}x(t)+y^T(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t}]+y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t) \end{equation} dtdλ(t)=λ(t)[dtdyT(t)x(t)+yT(t)dtdx(t)]+yT(t)dtdA(t)x(t)
  • 我们知道 y T ( t ) x ( t ) = 1 y^T(t)x(t)=1 yT(t)x(t)=1,两边求导可得:
    d y T ( t ) d t x ( t ) + y T ( t ) d x ( t ) d t = 0 \begin{equation} \frac{\mathrm{d}y^T(t)}{\mathrm{d}t}x(t)+y^T(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t}=0 \end{equation} dtdyT(t)x(t)+yT(t)dtdx(t)=0
  • 代入后可得:
    d λ ( t ) d t = y T ( t ) d A ( t ) d t x ( t ) \begin{equation} \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t}=y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t) \end{equation} dtdλ(t)=yT(t)dtdA(t)x(t)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/31036.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

芯片验证7个月经验总结

1.芯片验证的工作相对软件开发的工作来说,容错率是要低不少的,主要体现在debug的时间上,软件编译几分钟就可以了,芯片仿真短则几十分钟,长的要几小时甚至几天,如果靠编译去发现问题 效率会非常低&#xff0…

Nature正刊!亚利桑那大学博士生陈舒立一作兼通讯最新成果!揭示亚马逊雨林干旱响应的生物地理学机制

2024年6月19日,国际知名学术期刊《Nature》发表了一项美国亚利桑那大学Scott Saleska教授团队的最新成果“Amazon forest biogeography predicts resilience and vulnerability to drought”。通过将森林样地调查数据与遥感观测相结合系统揭示了亚马逊雨林干旱响应的…

网络编程(六)TCP并发服务器

文章目录 (一)概念(二)TCP并发服务器(三)使用多线程实现TCP并发服务器1. 思路2. 注意点3. 代码实现 (四)使用多进程实现TCP并发服务器1. 思路2. 注意点3. 代码实现4. 关于子进程结束…

2)如何去构建记忆宫殿辅助记忆

构建记忆宫殿 记忆方式构建记忆宫殿后记 记忆方式 记忆方法多种多样,旨在帮助人们更有效地编码、储存和回忆信息。以下是一些常用和有效的记忆方法: 1.联想记忆法:通过将新信息与已知信息或图像进行创意性联想来加深记忆。例如,将…

机器学习——RNN、LSTM

RNN 特点:输入层是层层相关联的,输入包括上一个隐藏层的输出h1和外界输入x2,然后融合一个张量,通过全连接得到h2,重复 优点:结构简单,参数总量少,在短序列任务上性能好 缺点&#x…

姿态识别论文复现(一)安装包+下载数据

Lite-HRNet:轻量级高分辨率网络 简介:高分辨率网络Lite-HRNet,用于人体姿态估计 环境配置:该代码是在 Ubuntu 16.04 上使用 python 3.6 开发的。需要 NVIDIA GPU。使用 8 个 NVIDIA V100 GPU 卡进行开发和测试。其他平台或 GPU …

CheckPoint 防火墙 CVE-2024-24919 VPN 漏洞修复说明

1. 漏洞说明 在 2024 年 5 月 27 日进行安全更新后,Check Point 的专门工作组将继续调查未经授权访问我们客户使用的 VPN 产品的企图。 2024 年 5 月 28 日,我们在远程访问 VPN 社区和移动访问软件刀片中使用 IPsec VPN 的安全网关中发现了一个漏洞 (…

搜维尔科技:「案例」NBA新科冠军与Xsens运动捕捉的缘分

北京时间昨日,凯尔特人在主场106比88击败独行侠,以总比分4比1获胜,夺得队史第18冠,超越湖人队(17冠)成为历史上夺冠次数最多的球队。凯尔特人队上一次夺冠还是在2007-2008赛季。 凯尔特人队主力Jayson Tat…

Api Post快速上手教程

Apipost快速上手教程可以按照以下步骤进行: 一、准备工作 访问Apipost官网下载并安装Apipost客户端,或者选择使用其Web端版本。注册并登录Apipost账号,以便更好地管理和使用你的项目。官网:Apipost-API 文档、设计、调试、自动化…

Day1:基础语法

今日目标:理解什么是变量、掌握常用的数据类型、学会数据类型转换 一、JavaScript 介绍 1. JavaScript 基础知识 主要讲解 :JavaScript 是什么、书写位置、注释、结束符、输入和输出语法、字面量。 1.1 JavaScript 是什么 是一种运行在客户端(浏览器…

Python数据科学 | 是时候跟Conda说再见了

本文来源公众号“Python数据科学”,仅用于学术分享,侵权删,干货满满。 原文链接:是时候跟Conda说再见了 1 简介 conda作为Python数据科学领域的常用软件,是对Python环境及相关依赖进行管理的经典工具,通…

ChatGPT提效:告别CRUD

前言 随着AIGC的发展以及大语言模型的成熟,各种AI应用眼花缭乱,以至于我们看到各种新奇的应用都会产生焦虑,我有一天会不会被淘汰?且看后文分析。AIGC的发展与逐渐成熟已经是无可逆转的局势,既然我们打不过为何不加入…

在 macOS 上安装 Docker

在 macOS 上安装 Docker 可以通过以下步骤完成: 1. 检查系统要求 确保你的 macOS 版本符合 Docker 的系统要求。Docker Desktop for Mac 需要 macOS 10.15 或更高版本。 2. 下载 Docker Desktop 打开你的浏览器,访问 Docker 官方网站。点击“Downloa…

java的有参构造方法

java的有参构造方法和无参构造方法类似,区别是构造方法名称里后面跟着一个括号,括号里是参数的定义 示例代码如下 class student4{private String name;private int age;public student4(String n,int a) {namen;agea;System.out.println("调用了…

软件构造 | Equality in ADT and OOP

软件构造 | Equality in ADT and OOP 🧇1 Three ways to regard equality 1.1 Using AF to define the equality ADT是对数据的抽象, 体现为一组对数据的操作 抽象函数AF:内部表示→抽象表示 基于抽象函数AF定义ADT的等价操作&#xff0…

vscode结合GitHub Copilot编码

已集成工具 Azure Data StudioJetBrains IDEsVim/NeovimVisual StudioVisual Studio Code 目录 GitHub Copilot & Visual Studio Code 前提条件 Getting code suggestions Showing alternative suggestions Showing multiple suggestions in a new tab Accepting pa…

海南聚广众达电子商务咨询有限公司可信吗?

在数字化浪潮席卷全球的今天,电商行业已成为推动经济增长的重要力量。而在这个领域中,海南聚广众达电子商务咨询有限公司凭借其专业、精准的服务,在抖音电商领域独树一帜,成为行业的佼佼者。 海南聚广众达电子商务咨询有限公司自…

07-appium常用操作

一、press_keycode 1)方法说明 press_keycode方法是appium的键盘相关函数,可以实现键盘的相关操作,比如返回、按键、音量调节等等。也可以使用keyevent方法,功能与press_keycode方法类似。 # KeyCode:各种操作对应的…

【fastapi】定时任务管理

在FastApi框架搭建的WBE系统中如何实现定时任务的管理? Python中常见的定时任务框架包括Celery、APScheduler和Huey。以下是每个框架的简单对比和示例代码。 1.Celery: 分布式任务队列,适合处理长时间运行的任务。 # 安装celery # pip install celery# …

【Axure教程】移动端多选图片上传

在移动端应用中,提供多选图片上传功能对于用户体验和功能性具有重要意义,尤其是在像微信、微博等社交媒体平台上。 例如用户可以快速上传多张图片进行分享,发布相册或创建图文并茂的动态;卖家可以一次性上传多个产品图片&#xf…