牛顿法, Jacobian矩阵 和 Hessian矩阵

牛顿法

主要有两方面的应用:

  1. 求方程的根;
  2. 求解最优化方法;

为什么要用牛顿法求方程的根?

问题很多,牛顿法 是什么?目前还没有讲清楚,没关系,先直观理解为 牛顿法是一种迭代求解方法(Newton童鞋定义的方法)。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

扩展到最优化问题

这里的最优化 是指非线性最优化,解非线性最优化的方法有很多,比如 梯度下降法、共轭梯度法、变尺度法和步长加速法 等,这里我们只讲 牛顿法。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
其中H是hessian矩阵, 定义见上.

高维情况依然可以用牛顿迭代求解, 但是问题是Hessian矩阵引入的复杂性, 使得牛顿迭代求解的难度大大增加, 但是已经有了解决这个问题的办法就是Quasi-Newton method, 不再直接计算hessian矩阵, 而是每一步的时候使用梯度向量更新hessian矩阵的近似.

牛顿法 与 Hessian矩阵的关系

在这里插入图片描述
拟牛顿法 只需要用到一阶导数,不需要计算Hessian矩阵 以及逆矩阵。
总体来讲,拟牛顿法 都是用来解决 牛顿法 本身的 复杂计算、难以收敛、局部最小值等问题。

Jacobian

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇:伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日-1851年2月18日)命名.

雅可比矩阵

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.
在这里插入图片描述
在这里插入图片描述
把多维输入函数的二阶导数合并成一个矩阵时,把这个矩阵称为 Hessian矩阵。

Hessian矩阵

Hessian矩阵等价于 梯度 的Jacobian矩阵。
在这里插入图片描述
在这里插入图片描述

Jacobian矩阵 和 Hessian矩阵在优化中的应用

在这里插入图片描述
Jacobian矩阵
在这里插入图片描述
Hessian矩阵
在这里插入图片描述

http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/
https://zhuanlan.zhihu.com/p/67521774
https://blog.csdn.net/linolzhang/article/details/60151623

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/345868.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[渝粤题库]陕西师范大学《幼儿保健学》作业

《幼儿保健学》作业 单选题 1、人一生总共( )块腕骨。 A 6 B 7 C 8 D 9 2、营养学中常用的能量单位是( )。 A 千卡 B 焦耳 C 瓦特 …

微型计算机组装实验报告虚拟,计算机硬件的组装实验报告.doc

计算机硬件的组装实验报告.doc计 算 机 硬 件 的 组 装 实验时间3月30日晚600-900 学号 姓名 一、实验目的1.加深对理论知识的理解,提高实际动手能力;2.了解计算机的主要部件,理解各部件的功能,了解微型机的各项技术指标和参数。3…

[渝粤教育】陕西师范大学《教育社会学》作业

《教育社会学》作业 一、 单项选择题 1.从研究对象上讲,教育社会学探究的主要是 A.广义教育 B.中观教育 C.狭义教育 D.社会教育 2.教育社会对自身以外的其他社会现象所发生的功能是 …

奇异矩阵,非奇异矩阵,伪逆矩阵

奇异矩阵就是Singular Matrix 的中文翻译。 Singular 就是唯一的,可以想成是单身狗,所以他没有对象 逆矩阵。 Non-singular的非奇异矩阵就是Couple 有逆矩阵。 奇异矩阵 奇异矩阵是线性代数的概念,就是对应的行列式等于0的矩阵。 奇异矩阵…

ActiveMQ性能测试

我们使用ActiveMQ作为消息传递层–发送大量需要低延迟的消息。 通常它可以正常工作,但是在某些情况下我们遇到了性能问题。 在花了太多时间测试我们的基础架构之后,我想我已经学到了有关ActiveMQ的一些有趣的东西:它可能真的很慢。 尽管一般…

计算机网络严楠,安徽工程大学

安徽工程大学是一所以工为主的省属多科性高等院校,是安徽省高校综合改革首批试点院校、安徽省系统推进全面创新改革试验高校创新自主权改革试点单位,入选教育部新工科研究与实践项目。 学校办学历史始于1935年创设的安徽私立内思高级工校,历经…

渝粤教育 陕西师范大学 《JAVA程序设计》作业

《JAVA程序设计》作业 一、选择题 编译HelloWorld.java的正确命令是: java HelloWorld.class B)java HelloWorld.java C)javac HelloWorld.java正确运行HelloWorld.java的正确命令是: java HelloWorld B)javac HelloWorld.java C&#…

垃圾收集算法,垃圾收集器_垃圾收集器准则和提示

垃圾收集算法,垃圾收集器这些是我需要调整GC时通常会看到的一些准则和技巧。 主要由以下两本书组成,而根据我的经验却很少: Java性能 JBoss AS 5性能调优 希望它们对在那里的其他人有用! 垃圾收集器 XX:AggressiveOpts将HotSpot内部布尔变…

【渝粤题库】陕西师范大学 《道德教育案例研究》作业

《道德教育案例研究》作业 一、单选题 1.“在集体中进行教育的原则”是教育家(      )首先提出的 。  A 、马卡连柯   B 、赞科夫   C 、苏霍姆林斯基   D、 加里宁 2.现代德育在德育方法上(      &#xff0…

小自考计算机专业代码,自学考试有关专业分类及其代码

(摘自考委21号文件:高等教育自学考试专业及课程代码)专科:一级学科二级学科专 业工学08管理工程类0822计算机信息管理082207, 管理工程082201,工业外贸082203, 技术监督管理082204,建筑经济管理082209&…

3SAT问题

3-Satisfiability (3Sat) https://samjjx.github.io/2019/03/14/3sat2ds/

渝粤教育 陕西师范大学 《证券投资学[专升本]》作业

《证券投资学[专升本]》作业 一、名词解释 1.股份有限 2.股票 3.利润表(损益表) 4.市盈率 5. 公司债 6.股票现货交易 7.应收账款周转率 8.移动平均线 二、单选题 1、进入证券市场进行证券买卖的各类投资者即…

Java,JavaFX的流利设计风格文本字段和密码字段

我刚刚发布了Java版本4.5 ,JavaFX主题JMetro 。 此版本为“文本字段”和“密码字段”添加了新样式。 和往常一样,受到Fluent Design的启发。 在这篇文章中,我将详细介绍这个新版本。 JMetro版本4.5 就像我在简介中所说的那样,JM…

渝粤题库 陕西师范大学 《危机管理》作业

《危机管理》作业 一、填空题 1.文化冲突的两种类型是( )和( )。 2.日本危机处理专家泷泽正雄认为危机的定义是( ) 。 3.突发事件强调的是(…

零空间,Markov‘s inequality, Chebyshev Chernoff Bound, Union Bound

0. 零空间 零空间是在线性映射(即矩阵)的背景下出现的,指:像为零的原像空间,即{x| Ax0}。 在数学中,一个算子 A 的零空间是方程 Av 0 的所有解 v 的集合。它也叫做 A 的核,核空间。如果算子是…

渝粤教育 陕西师范大学 《学前儿童健康教育》作业

《学前儿童健康教育》作业 一、名词解释题 1.生活教育 2.体育运动的量力性原则 3.提名法 4.健康行为 5.整体健康理论 6.体育运动的保护性原则 7.合理膳食 8.学前儿童体育 …

prd展示html文件,prd目的.html

PRD目的$axure.utils.getTransparentGifPath function() { return resources/images/transparent.gif; };$axure.utils.getOtherPath function() { return resources/Other.html; };$axure.utils.getReloadPath function() { return resources/reload.html; };业务优先于需求…

渝粤教育 陕西师范大学 《初级微观经济学》作业

《初级微观经济学》作业 一、填空题 1.微观经济学的研究对象是————————————。 2.需求曲线向————倾斜,表明商品的价格与供给量成————变动。 3.支持价格是政府为了扶植某一行业的生产而规定的该行业产品的——————。 4.>1…

连续、偏导数、可微

1 连续的含义 通俗来说,用笔作画,不提笔画出来的曲线就是连续的: 1.1 没有缝隙 我们对连续的函数曲线的直观感受是没有缝隙: 1.2 另一层含义 2 可微的含义 可微可导的几何意义 对于一元函数,可微的几何意义是该点处存在切…

陕西师范大学 渝粤教育 《学前儿童数学教育》作业

《学前儿童数学教育》作业 一、填空题 1、学前儿童时间概念发展的一般特点是( )( )( )( )。 2、幼儿学习排序的方法有( )( &…