二阶矩阵转置怎么求_矩阵求导术(下)

点击上方“Datawhale”,选择“星标”公众号

第一时间获取价值内容

fbc50e37758b09bf38a4331f05629833.gif

本文承接上篇 https://zhuanlan.zhihu.com/p/24709748,来讲矩阵对矩阵的求导术。使用小写字母x表示标量,粗体小写字母表示列向量,大写字母X表示矩阵。矩阵对矩阵的求导采用了向量化的思路,常应用于二阶方法求解优化问题。首先来琢磨一下定义。矩阵对矩阵的导数,需要什么样的定义?第一,矩阵对矩阵的导数应包含所有mnpq个偏导数,从而不损失信息;第二,导数与微分有简明的联系,因为在计算导数和应用中需要这个联系;第三,导数有简明的从整体出发的算法。我们先定义向量对向量的导数;再定义矩阵的(按列优先)向量化,并定义矩阵F对矩阵X的导数。导数与微分有联系。几点说明如下:
  1. 按此定义,标量对矩阵的导数是向量,与上篇的定义不兼容,不过二者容易相互转换。为避免混淆,用记号表示上篇定义的矩阵,则有。虽然本篇的技术可以用于标量对矩阵求导这种特殊情况,但使用上篇中的技术更方便。读者可以通过上篇中的算例试验两种方法的等价转换。
  2. 标量对矩阵的二阶导数,又称Hessian矩阵,定义为,是对称矩阵。对向量或矩阵求导都可以得到Hessian矩阵,但从矩阵 f出发更方便。
  3. ,求导时矩阵被向量化,弊端是这在一定程度破坏了矩阵的结构,会导致结果变得形式复杂;好处是多元微积分中关于梯度、Hessian矩阵的结论可以沿用过来,只需将矩阵向量化。例如优化问题中,牛顿法的更新,满足。
  4. 在资料中,矩阵对矩阵的导数还有其它定义,比如,它能兼容上篇中的标量对矩阵导数的定义,但微分与导数的联系(dF等于中每个子块分别与dX做内积)不够简明,不便于计算和应用。
然后来建立运算法则。仍然要利用导数与微分的联系,求微分的方法与上篇相同,而从微分得到导数需要一些向量化的技巧:
  1. 线性:。
  2. 矩阵乘法:,其中表示Kronecker积,与的Kronecker积是。此式证明见张贤达《矩阵分析与应用》第107-108页。
  3. 转置:,A是矩阵,其中是交换矩阵(commutation matrix)。
  4. 逐元素乘法:,其中是用A的元素(按列优先)排成的对角阵。
观察一下可以断言,若矩阵函数F是矩阵X经加减乘法、行列式、逆、逐元素函数等运算构成,则使用相应的运算法则对F求微分,再做向量化并使用技巧将其它项交换至左侧,即能得到导数。再谈一谈复合:假设已求得,而Y是X的函数,如何求呢?从导数与微分的联系入手,,可以推出链式法则。和标量对矩阵的导数相比,矩阵对矩阵的导数形式更加复杂,从不同角度出发常会得到形式不同的结果。有一些Kronecker积和交换矩阵相关的恒等式,可用来做等价变形:
  1. 。可以对求导来证明,一方面,直接求导得到;另一方面,引入,有, ,用链式法则得到。
  2. ,A是m×n矩阵,B是p×q矩阵。可以对做向量化来证明,一方面,;另一方面,。

接下来演示一些算例。

例1:,是矩阵,求。:先求微分:,再做向量化,使用矩阵乘法的技巧,注意在dX右侧添加单位阵:,对照导数与微分的联系得到。特例:如果退化为向量, ,则根据向量的导数与微分的关系 ,得到 。例2:,是矩阵,求和。:使用上篇中的技术可求得。为求,先求微分:,再做向量化,使用转置和矩阵乘法的技巧,对照导数与微分的联系,得到,注意它是对称矩阵。在X是对称矩阵时,可简化为。例3:,是,是,是矩阵,为逐元素函数,求。

:先求微分:,再做向量化,使用矩阵乘法的技巧:,再用逐元素乘法的技巧:,再用矩阵乘法的技巧:,对照导数与微分的联系得到。

例4【一元logistic回归】:。其中是取值0或1的标量,,是向量。:使用上篇中的技术可求得,其中为sigmoid函数。为求,先求微分:,其中为sigmoid函数的导数,对照导数与微分的联系,得到。推广:样本, , ,,求和。有两种方法,方法一:先对每个样本求导,然后相加;方法二:定义矩阵,向量,将l写成矩阵形式,进而可以求得。例5【多元logistic回归】:,求和。:上篇例3中已求得。为求,先求微分:定义,,这里需要化简去掉逐元素乘法,第一项中,第二项中,故有,其中,代入有,做向量化并使用矩阵乘法的技巧,得到。最后做个总结。我们发展了从整体出发的矩阵求导的技术,导数与微分的联系是计算的枢纽,标量对矩阵的导数与微分的联系是,先对f求微分,再使用迹技巧可求得导数,特别地,标量对向量的导数与微分的联系是;矩阵对矩阵的导数与微分的联系是,先对F求微分,再使用向量化的技巧可求得导数,特别地,向量对向量的导数与微分的联系是。参考资料:
  1. 张贤达. 矩阵分析与应用. 清华大学出版社有限公司, 2004.
  2. Fackler, Paul L. "Notes on matrix calculus." North Carolina State University(2005).
  3. Petersen, Kaare Brandt, and Michael Syskind Pedersen. "The matrix cookbook." Technical University of Denmark 7 (2008): 15.
  4. HU, Pili. "Matrix Calculus: Derivation and Simple Application." (2012).
87cc00b5f884aaca721ed22861813af7.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/427356.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

洛谷-DFS-1019-单词接龙-个人AC题解和公共AC题解笔记

学习内容: 预处理万能头文件string的使用 话不多说,直奔主题 本人AC代码 #include<iostream> #include<cstdio> #include<cstring> using namespace std; #define MAXN 21 #define MAXLENGTH 21 int n; int length,max_length; char words[MAXN][MAXLEN…

c语言中x的n次方怎么表示_线性代数的本质及其在人工智能中的应用

线性代数是 AI 专家必须掌握的知识&#xff0c;这已不再是个秘密。如果不掌握应用数学这个领域&#xff0c;你永远就只能是「门外汉」。当然&#xff0c;学习线性代数道阻且长。数学&#xff0c;尤其是线性代数常与枯燥、复杂和毫无意义的事物联系起来。不过你还可以另辟蹊径。…

js之箭头函数

原文 ES6标准新增了一种新的函数&#xff1a;Arrow Function&#xff08;箭头函数&#xff09;。 为什么叫Arrow Function&#xff1f;因为它的定义用的就是一个箭头&#xff1a; x > x * x 上面的箭头函数相当于&#xff1a; function (x) {return x * x; } 箭头函数相当于…

android开发蓝牙是否可见开关_如何从后台开启android蓝牙的可见性以及始终保持可见性...

最近工作中遇到一个特殊的需求&#xff0c;要求代码能够从后台开机android手机蓝牙的可见性。而framework提供了一种打开可见性的操作&#xff0c;就是通过向用户弹出一个提示框&#xff0c;来询问是否允许开启可见性。而且限制了最长时间为300秒&#xff0c;代码如下&#xff…

洛谷-DFS-1101-单词方阵-个人AC题解及公共题解的笔记

先上自己AC代码(博主这个代码修改过多次,只因代码长度过长) #include<bits/stdc.h> using namespace std; #define MAXN 102 int flag; int n; int next1[8][2]{{1,0},{0,1},{-1,0},{0,-1},{1,1},{1,-1},{-1,1},{-1,-1}}; char map1[MAXN][MAXN],map2[MAXN][MAXN]; cons…

django 实现电子支付功能

思路&#xff1a;调用第三方支付 API 接口实现支付功能。本来想用支付宝来实现第三方网站的支付功能的&#xff0c;但是在实际操作中发现支付宝没有 Python 接口&#xff0c;网上虽然有他人二次封装的的 Python 接口&#xff0c;但是对我这个小白白来说上手还是有点难度&#x…

android中怎么保存checkbox中的checked属性_第二十四天HTML中的form表单

form表单用于收集用户信息&#xff0c;如&#xff1a;登录、注册等场景&#xff1b;所有要提交的数据都必须放在form标签中action&#xff1a;提交地址、动作&#xff0c;与input标签中typy标签的submit属性相关联。 &#xff0c;提交地址是action的地址method:提交方法&#x…

Python中曲率与弯曲的转换_1000R曲率更具沉浸感!三星T55曲面显示器评测

在曲面屏的设计上&#xff0c;三星一直在突破极限&#xff0c;比如在2017年推出的49英寸超宽带鱼屏C49HG90&#xff0c;引来众人围观&#xff0c;非常震撼。而在曲率方面&#xff0c;我们常见的有1800R和1500R&#xff0c;但是三星并不满足&#xff0c;于日前推出了一款曲率达到…

树的遍历-Preorde Traversal,Inorder Traversal,Postoder Traversal

上代码(创建树,先序,中序,后序) #include<bits/stdc.h> using namespace std; typedef struct TreeNode *BinTree; struct TreeNode {BinTree left,right;int value; }; BinTree CreateTree() {BinTree T;int value;cin>>value;if(value0) //如果输入0,则创…

opencv resize_opencv-python库基础操作(一)

点赞再看&#xff0c;养成习惯&#xff01;点赞再看&#xff0c;养成习惯&#xff01;点赞再看&#xff0c;养成习惯&#xff01;opencv-python库基础操作0.安装opencv-pythonpip install opencv-python进行下载并安装不过在python中导入opencv库的时候需要"import cv2&qu…

Page object设计模式

网上看了很多文章&#xff0c;充斥了大量代码。理解起来不容易&#xff0c;在此就我的理解谈谈PageObject设计模式到底是什么东西。 所谓的Page object模式&#xff0c;主要是编写不同层级的脚本&#xff0c;然后一层一层的继承来完成对web测试过程进行分解。 首先&#xff1a;…

百旺智能编码_【百旺】票字版开票软件操作指南已为您备好,请查阅!

为确保小规模纳税人继续享受税收优惠政策&#xff0c;请广大用户及时对开票软件进行升级~按照国家税务总局要求&#xff0c;从增值税发票税控开票软件五月补丁开始&#xff0c;将停止对增值税发票税控开票软件(税控盘版)“税”字版(以下简称“税”字版)的软件升级更新服务&…

洛谷-图的遍历-P2661-信息传递

#include <iostream> #include <cstdio> using namespace std; const int N 200010; int n, fa[N], ans 0x3f3f3f3f; int get (int x, int &cnt) { //cnt记录环的长度 cnt ;if (fa[x] x) return x;else return get(fa[x], cnt); } int main () {scanf("…

mysql binlog 备份_做好mysql运维,必须熟练掌握备份和恢复,实战一次不行多来几次...

原文&#xff1a;https://www.toutiao.com/i6855460778359816715/平台&#xff1a;头条作者&#xff1a;程序员不就是0和1一、 备份恢复策略进行备份或恢复操作时需要考虑一些因素&#xff1a;1、确定要备份的表的存储引擎是事务型还是非事务型&#xff0c;两种不同的存储引擎备…

在过程中要正式批准可交付成果_干货!软考高项项目管理知识体系5大过程组47个过程...

现在应该很多小伙伴都在紧张的复习软考中&#xff0c;为了让大家更加高效的复习&#xff0c;今天给大家分享软考高级信息系统项目管理师的考试重点&#xff0c;项目管理知识体系的5大过程组47个过程。考高项的朋友都知道&#xff0c;47个过程是非常重要的&#xff0c;必须要理解…

jquery每次动态加载dom,绑定事件会多一次,

jquery绑定事件,每次动态加载dom,绑定的事件会加1,比如动态加载dom5次,点那个点击事件会弹出5次 解决办法就是在每次绑定之前解绑定. $(.seek-footer .btn1).off(click); // 先解绑 $(.seek-footer .btn1).on(click,function () {}) 再绑定 转载于:https://www.cnblogs.com/ybi…

洛谷P3119

省选难度啊啊啊 经评论区的朋友提醒&#xff0c;代码已订正 先说一下该题思路: 首先,这题并非是求最短路,而是求最长路(最长路常用算法一般是拓扑排序,而我这个蒟蒻还没有学会QAQ) 但是这一题既然标签是连通图,那么肯定要用tarjan,考虑到缩点之后每个缩点都具有一定数量的点数,…

android 组件化_Android 组件化路由框架设计(仿Arouter)

前言在组件化开发中一个必须要面对的问题就是组件间页面跳转&#xff0c;实现的方法有很多&#xff0c;简单的可以通过反射获取&#xff0c;但是比较耗费性能&#xff0c;也可以通过隐式跳转&#xff0c;但是随着页面的增多&#xff0c;过滤条件会随之增多&#xff0c;后期维护…

1668智能下数教程视频_你需要的教程合集更新

最近又收集了一波网络安全资源&#xff0c;在文章最底部。花了将近一天时间整理&#xff0c;只求各位小哥哥能点个在看&#xff0c;分享给身边的朋友。网络安全 --职业发展(渗透的最底部)2019网络安全初识与职业发展https://pan.baidu.com/s/1CAzO8IWxzBj-bOZlJ2eFVg 提取码&am…

关于java中nextline读取空白行的问题

最近在做java作业, 发现了一个问题, 就是nextline其实会接收缓冲区的\r, 使得在程序运行时nextline像是跳过了一样, 其实不然, 它只是读取了上一个enter时的\r, 如我的如下功能代码 public void run() {Scanner scan new Scanner(System.in);int ord, book_order;int flag 0;…