矩阵向量求导

本系列主要参考文献为维基百科的Matrix Caculas和张贤达的《矩阵分析与应用》。

一、求导定义与求导布局

1. 矩阵向量求导引入

在这里插入图片描述

2. 矩阵向量求导定义

在这里插入图片描述

3. 矩阵向量求导布局

在这里插入图片描述
具体总结如下:
在这里插入图片描述

4. 矩阵向量求导基础总结

有了矩阵向量求导的定义和默认布局,我们后续就可以对上表中的5种矩阵向量求导过程进行一些常见的求导推导总结求导方法,并讨论向量求导的链式法则。

二、矩阵向量求导之定义法

本小节讨论下标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。

对于本文中的标量对向量或矩阵求导这两种情况,如前文所说,以分母布局为默认布局。向量对向量求导,以分子布局为默认布局。如遇到其他文章中的求导结果和本文不同,请先确认使用的求导布局是否一样。另外,由于机器学习中向量或矩阵对标量求导的场景很少见,本系列不会单独讨论这两种求导过程。

1. 用定义法求解标量对向量求导

在这里插入图片描述

2. 标量对向量求导的一些基本法则

在这里插入图片描述

3. 用定义法求解标量对矩阵求导

在这里插入图片描述

4.用定义法求解向量对向量求导

在这里插入图片描述

5. 定义法矩阵向量求导的局限

使用定义法虽然已经求出一些简单的向量矩阵求导的结果,但是对于复杂的求导式子,则中间运算会很复杂,同时求导出的结果排列也是很头痛的。下一篇我们讨论使使用矩阵微分和迹函数的方法来求解矩阵向量求导。

三、矩阵向量求导之微分法

本文的标量对向量的求导,以及标量对矩阵的求导使用分母布局。如果遇到其他资料求导结果不同,请先确认布局是否一样。

1. 矩阵微分

在这里插入图片描述

2. 矩阵微分的性质

在这里插入图片描述

3. 使用微分法求解矩阵向量求导

在这里插入图片描述

4. 迹函数对向量矩阵求导

在这里插入图片描述

5. 微分法求导小结

使用矩阵微分,可以在不对向量或矩阵中的某一元素单独求导再拼接,因此会比较方便,当然熟练使用的前提是对上面矩阵微分的性质,以及迹函数的性质熟练运用。

还有一些场景,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。如果我们可以利用一些常用的简单求导结果,再使用链式求导法则,则会非常的方便。因此下一篇我们讨论向量矩阵求导的链式法则。

四、矩阵向量求导链式法则

上面讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。需要一些简洁的方法。

本文我们讨论矩阵向量求导链式法则,使用该法则很多时候可以帮我们快速求出导数结果。

本文的标量对向量的求导,标量对矩阵的求导使用分母布局, 向量对向量的求导使用分子布局。如果遇到其他资料求导结果不同,请先确认布局是否一样。

1. 向量对向量求导的链式法则

在这里插入图片描述

2. 标量对多个向量的链式求导法则

在这里插入图片描述

3. 标量对多个矩阵的链式求导法则

在这里插入图片描述

4. 矩阵向量求导小结

矩阵向量求导在前面我们讨论三种方法,定义法,微分法和链式求导法。在同等情况下,优先考虑链式求导法,尤其是第三节的四个结论。其次选择微分法、在没有好的求导方法的时候使用定义法是最后的保底方案。

基本上大家看了系列里这四篇后对矩阵向量求导就已经很熟悉了,对于机器学习中出现的矩阵向量求导问题已足够。这里还没有讲到的是矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这三种形式,如果大家只是关注机器学习的优化问题,不涉及其他应用数学问题的,可以不关注。

五、矩阵对矩阵的求导

本文所有求导布局以分母布局为准,为了适配矩阵对矩阵的求导,本文向量对向量的求导也以分母布局为准,这和前面的文章不同,需要注意。

本篇主要参考了张贤达的《矩阵分析与应用》和长躯鬼侠的矩阵求导术

1. 矩阵对矩阵求导的定义

在这里插入图片描述

2. 矩阵对矩阵求导的微分法

在这里插入图片描述

3. 矩阵对矩阵求导实例

在这里插入图片描述

4. 矩阵对矩阵求导小结

由于矩阵对矩阵求导的结果包含克罗内克积,因此和之前我们讲到的其他类型的矩阵求导很不同,在机器学习算法优化中中,我们一般不在推导的时候使用矩阵对矩阵的求导,除非只是做定性的分析。如果遇到矩阵对矩阵的求导不好绕过,一般可以使用(四) 矩阵向量求导链式法则中第三节最后的几个链式法则公式来避免。

https://www.cnblogs.com/pinard/p/10750718.html
https://www.cnblogs.com/pinard/archive/2004/01/13/10773942.html
https://www.cnblogs.com/pinard/archive/2004/01/13/10791506.html
https://www.cnblogs.com/pinard/archive/2004/01/13/10825264.html
https://www.cnblogs.com/pinard/archive/2004/01/13/10930902.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/345787.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

多媒体计算机属于哪种教学,多媒体计算机属于哪种教学媒体(???)。

摘要:高处触电发生,多媒行抢护理救与应就地进,及时抢救为使。算机属于我国率为电网的额定频。教学火电一般量表流量厂中采用差压测量式流。...高处触电发生,多媒行抢护理救与应就地进,及时抢救为使。械的固定在擦近转部…

【渝粤题库】国家开放大学2021春1020国际私法题目

教育 教育 试卷代号: 1020 2021年春季学期期末统一考试 国际私法 试题 2021年7月 一、单项选择题(每题2分,共20分,每题只有一项答案正确,请将正确答案的序号填在括号内) 1.下列哪个选项不属于国际私法的渊…

导数的四则运算和复合函数的求导

1. 常用初等函数的求导公式 2. 函数的四则运算求导简单可记为 3. 反函数求导法则 https://www.sohu.com/a/233597731_507476

【渝粤题库】国家开放大学2021春1026西方经济学(本)题目

教育 教育 试卷代号: 1026 2021年春季学期期末统一考试 西方经济学(本) 试题 2021年7月 一、单项选择题(在下列各题的备选答案中选择一个正确的,并将其序号字母填入题后的括号里。每题2分,共30分&#xf…

rest spring_Spring REST:异常处理卷。 1个

rest spring目录 Spring REST:异常处理卷。 1个 Spring REST:异常处理卷。 2 Spring REST:异常处理卷。 3 大家好,是时候继续在我的博客中发布新文章了。 因此,我很高兴地宣布,我计划撰写一些技术性的系…

英特尔服务器主板型号参数对照表,Intel主板芯片组参数速查表(201805版)

2018年5月6日更新注:以上主板频率是intel的规范,而实际工厂在制造的时候,可以让主板支持到更高的频率,这称为内存频率的OC支持。2016年底,intel200系列芯片组发布了,主要有:Z270、H270、B250三款…

【渝粤题库】国家开放大学2021春1044合同法题目

教育 教育 试卷代号: 1044 2021年春季学期期末统一考试 合同法 试题 2021年7月 注意事项 一、将你的学号、姓名及分校(工作站)名称填写在答题纸的规定栏内。考试结束后,把试卷和答题纸放在桌上。试卷和答题纸均不得带出考场。监…

AWS共享资源的警告

最近,我一直在发布一个新版本,与往常一样,通过将DNS记录切换为指向以前的“备用”组的负载平衡器来利用蓝绿色部署 。 但是在切换DNS之前,我检查了新启动版本的日志并发现了一些奇怪的现象– Web框架(Spring MVC&#…

【渝粤题库】国家开放大学2021春1069中央银行理论与实务答案

教育 教育 试卷代号:1069 2021年春季学期期末统一考试 中央银行理论与实务 试题答案及评分标准 (供参考) 2021年7月 一、单项选择题(在下列各题的备选答案中选择一个正确的,并将其序号字母填入题中的括号里。每小题3…

schur补(schur complement)

1. schur补的定义及性质 2. schur补的应用 2.1 在矩阵方程求解中的应用 2. 概率论和统计学中的应用 https://blog.csdn.net/itnerd/article/details/83385817

oppo r17听筒测试软件,【OPPOR17评测】ColorOS变智能 OPPO R17堪称生活小秘书(全文)_OPPO R17(6GB RAM/全网通)_手机评测-中关村在线...

近两年来,手机的全面屏设计不是美人尖就是刘海屏,这两种设计虽然可以扩大屏占比,但是缺少设计的美感。这时候,OPPO R17终于为我们带来了即有较高的屏占比又优雅的全面屏设计——水滴屏,让摄像头向水滴一样“垂涎欲滴”…

【渝粤题库】国家开放大学2021春1078复变函数题目

教育 教育 试卷代号:1078 2021年春季学期期末统一考试 复变函数 试题 2021年7月 一、单项选择题(本题共20分,每小题4分) 1.若zxiy,则|z|2( ). A.x2-y2 B.y2-x2 C.zz D.x2y2 2.函数f(z) |z|2在( ). A.复平面解析 B.上…

【渝粤题库】国家开放大学2021春1089现代教育思想题目

教育 教育 试卷代号: 1089 2021年春季学期期末统一考试 现代教育思想 试题(开卷) 2021年7月 注意事项 一、将你的学号、姓名及分校(工作站)名称填写在答题纸的规定栏内。考试结束后,把试卷和答题纸放在桌…

图之DFS与BFS的复杂度分析

1. BFS的复杂度分析 vvv为图的顶点数,EEE为边数。 BFS是一种借用队列来存储的过程,分层查找,优先考虑距离出发点近的点。无论是在邻接表还是邻接矩阵中存储,都需要借助一个辅助队列,vvv个顶点均需入队,最坏…

计算机模拟定点突变,分子模拟对接和定点突变提高10β–去乙酰巴卡亭-华南农业大学学报.PDF...

分子模拟对接和定点突变提高10β–去乙酰巴卡亭-华南农业大学学报华南农业大学学报 2018, 39(5): 87-92Journal of South China Agricultural University doi: 10.7671/j.issn.1001-411X.2018.05.013欧阳萍兰, 黄佳俊, 林淑玲, 等. 分子模拟对接和定点突变提高10β–去乙酰巴卡…

【渝粤题库】国家开放大学2021春1121健康教育与健康促进题目

教育 教育 试卷代号: 1121 2021年春季学期期末统一考试 健康教育与健康促进 试题 2021年7月 一、单项选择题(每题2分,共40分) 1.高血压病的家族聚集现象体现了影响健康的( )。 A.生物学因素 B.环境因素 C.生态学因素 D.卫生保健…

【渝粤题库】国家开放大学2021春1018国际公法题目

教育 教育 试卷代号: 1018 2021年春季学期期末统一考试 国际公法 试题 2021年7月 一、单项选择题(每题1分,共10分,每题只有一项答案正确,请将正确答案的序号填在括号内) 1.关于国际法的效力依据问题&…

别克gl8服务器返回数据为空,老司机教学:别克GL8商务车总线控制系统故障解决...

别克GL8(参数|图片)商务车原自动变速箱出现严重故障更换自动变速箱后,不能启动车辆。检查原因,接通电源后档位灯不亮,发动机故障灯亮,防盗指示灯亮,不能启动车辆。用别克车型诊断仪TECH2检查,发现访问不了通过串行数据总线连接传输的各个模块。 检测故障与解决:1、CLASS-2串行数…

【渝粤题库】国家开放大学2021春1021劳动与社会保障法题目

教育 教育 试卷代号: 1021 2021年春季学期期末统一考试 劳动与社会保障法(本) 试题 2021年7月 一、单项选择题(每小题1分,共10分。在每小题的四个备选答案中,选出一个正确的答案,请将正确答案…

spring 注释的作用_Spring的@Primary注释在起作用

spring 注释的作用Spring是一个永不停息的框架。 这是因为它提供了许多不同的解决方案,使我们(开发人员)无需编写数百万行代码即可完成我们的任务。 取而代之的是,我们能够以更具可读性,更标准化的方式进行操作。 在这…