优化器--牛顿法总结

 

 

---这里记录下一些关于牛顿法来作为优化器的个人笔记 :)

关于牛顿法,先不说其中的概念,来简单看一个例子? 不用计算器,如何手动开一个值的平方根,比如计算{sqrt(a) | a=4 } ? 不用程序和代码如何求?

  ----比较简单有木有,直接上用公式来套就好了.

      xt = ( xt-1 + ( a / xt-1 ) ) / 2

      我们看 sqrt(4) 这个值的区间在1<=sqrt(4)<=4里,写成这种形式吧[1,4],我们令x0 = 1,

      x = ( 1 + (4/1))/2 = 5/2 =2.5

      x = (2.5 + (4/2.5))/2 = 2.05

      x = (2.05 + ( 4 /2.05 ))/2 = 2.0006 

        .....

    于是我们就求出x的近似值为2

那么这个公式是如何得来的呢?

  这个公式其实是依据牛顿法得来的?牛顿法长成什么样子呢?

     就是长成这个样子,我们发现这个样子和我们的SGD还是很像的,这两者的区别记录在后面吧~。

而牛顿迭代法,这个公式其实就是泰勒级数展开的前几项 f(x),并使得f(x) =0,求解后的结果,而泰勒级数是采用无限项的来等价表示一个函数,比如:

,那牛顿法采用的是泰勒级数的前几项 -- 有限的项,来近似表示一个函数f(x).

那么如何上面这个公式是如何通过牛顿法得到的呢?

  上面的题,我们将其转换车更加通用的一些,比如改为如何求解sqrt(a)? 

 ------这又等价于sqrt(a)=x  转换成-->  x^2 = a , (a 属于实数域),  进一步转换成--->f(x) = x^2 -a =0

我们知道 f(x) = x^2 - a =0 ,因为只要求某一个点的值,所以我们只需要知道这个点的切线就可以了, 由此我们依据泰勒级数定义,对其进行一阶展开,可以知道 f(x) ~g(x) =  f(x0) + f ' (x0)*(x - x0),我们令g(x)=0

于是我们就得到了 x = x0 - f(x0) / f '(x0);

  然后我们再次化解这个公式:

        x = x0 - (x0^2 - a / 2x0 )  = (x0^2 + a) /2x0  = (x0 + a/x0)/2

      这样我们就得到了最开始的那个公式了。

但是我们在用牛顿法作为优化器的时候,是要求极小值的啊? 那么如何快速的求出极小值呢?

   我们知道一阶导,为曲线切线方向,二阶导为切线的切线方向回想一下SGD法,SGD只是在一阶导上,进行权值更新,基本上就是处于求切线方向,前进一个步长,然后再矫正,再求当前点的切线,再矫正:

  

 

这种方式就会出现绿线的情况,那么牛顿法就給出另一种思路: 我们再沿着切线方向走的时候,不必按照固定的步长走动,我们可以依据切线的变化率来动态调整行走的步子,于是就有了这个公式:

 当二阶导趋近于0的时候,说明一阶导有极小值,那么此时就应该让它接近这个极小值,而loss函数为凸函数 ,f’(x)趋近极小值的时候,f(x)就也就可以快速的接近极小值,而不出现大幅度摇摆,就出现了红色那条线.

一般来说,对于那种高阶多项式采用牛顿法效果会比SGD好些.

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/280484.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在命令提示符输出c语言代码_您可以在Windows命令提示符中更改输出缓冲区的大小吗?...

在命令提示符输出c语言代码If you are someone who loves using the Windows Command Prompt, you may have found yourself curious as to why the screen output buffer has such a ‘large’ default size. Can you change it to a smaller (or even larger) size? Today’…

django23:BS4/kindeditor上传图片

BS4 Beautiful Soup&#xff0c;Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。 安装 pip3 install beautifulsoup4 使用 from bs4 import BeautifulSoup#html_doc为网页内容 soup Be…

设计模式——————观察者模式

工厂模式分为简单工厂&#xff0c;工厂和抽象工厂&#xff0c;三种工厂的实现是越来越复杂的。 观察者模式 本质上就是一种订阅/发布的模型&#xff0c;从逻辑上来说就是一对多的依赖关系。 什么意思呢&#xff1f;好比是一群守卫盯着一个囚犯&#xff0c;只要囚犯一有异动&…

SNMP简介

SNMP简介介绍SNMP的定义、目的、版本演进以及受益。 定义简单网络管理协议SNMP&#xff08;Simple Network Management Protocol&#xff09;是广泛应用于TCP/IP网络的网络管理标准协议。SNMP提供了一种通过运行网络管理软件的中心计算机&#xff08;即网络管理工作站&#xff…

详解vue生命周期及每个阶段适合进行的操作

VUE生命周期的四个阶段 create 创建 -------- 创建vue实例并初始化mount 挂载 -------- 把vue实例和视图进行关联update 更新 ------- 监听数据与视图的变化destroy销毁 ------- 销毁实例生命周期 --- 钩子函数 vue为上面的4个大的阶段提供了一个可编程的接口&#xff0c;我们可…

.Net 7 新编译器 ILC 简析

楔子&#xff1a;这个新编译器的全称是ILCompiler。是之前CoreRT项目合并过来的&#xff0c;在.Net 7成熟&#xff0c;并且可以产业化应用。本质&#xff1a;ILC编译器的本质除了构建CLR的所拥有的主要功能&#xff0c;还包含了对LLVM这种意图取代GCC编译器的操作&#xff0c;对…

mac 防止 下载 睡眠_如何暂时防止Mac进入睡眠状态

mac 防止 下载 睡眠Let’s say you start a big download, then go to bed. When you wake up, you realize your Mac went to sleep before finishing its job. Isn’t there some way to stop this? 假设您开始进行大量下载&#xff0c;然后上床睡觉。 当您醒来时&#xff0…

ubuntu安装chrome driver

首先下载Chrome Driver&#xff08;Firefox Driver的安装与该步骤相同&#xff09; 链接&#xff1a; http://chromedriver.storage.googleapis.com/index.html 接下来在控制台&#xff08;terminal&#xff09;上操作一下红色字体的指令&#xff1a; Install Unzipsudo apt-ge…

深入理解Spring异常处理

宜信技术学院1.前言相信我们每个人在SpringMVC开发中&#xff0c;都遇到这样的问题&#xff1a;当我们的代码正常运行时&#xff0c;返回的数据是我们预期格式&#xff0c;比如json或xml形式&#xff0c;但是一旦出现了异常&#xff08;比如&#xff1a;NPE或者数组越界等等&am…

基于React开发范式的思考:写在Lesx发布之际

例子&#xff1a;lesx-example webpack loader: lesx-loader 一些背景 现在前端框架已经呈现出React、Angular、Vue三足鼎立的局势&#xff0c;对于三者的对比以及技术选型的思考与争论也被讨论了非常多&#xff0c;比如知乎上的这个问题&#xff1a;react.js,angular.js,vue.j…

mac共享单个磁盘_如何与您的所有设备共享酒店的单个Wi-Fi连接

mac共享单个磁盘Many hotels still limit you to one or two Wi-Fi devices per room–a frustrating limitation, especially when traveling with someone else. Connection restrictions can apply anywhere you have to log into a Wi-Fi network via a portal instead of …

Python FastApi:快速建立docker容器/挂载共享文件夹/导入导出

一、目的 a.快速把原有fastapi代码部署到docker&#xff0c;让docker在server运行。 b.不涉及docker深入设置。 c.使用python第三方lib少或简单。 二、步骤 ps:请提前安装docker 1.新建Dockerfile&#xff0c;放入到项目根目录 a.Dockerfile没有后缀. b.准备好requireme…

PHP-FPM 与 Nginx 的通信机制总结

PHP-FPM 介绍 CGI 协议与 FastCGI 协议 每种动态语言&#xff08; PHP,Python 等&#xff09;的代码文件需要通过对应的解析器才能被服务器识别&#xff0c;而 CGI 协议就是用来使解释器与服务器可以互相通信。PHP 文件在服务器上的解析需要用到 PHP 解释器&#xff0c;再加上对…

Android——监听事件总结

各种监听事件 1.按钮 Button&#xff08;1&#xff09;点击监听btn_1.setOnClickListener(new View.OnClickListener() { &#xff08;2&#xff09;长按监听btn_1.setOnLongClickListener(new View.OnLongClickListener() { 2.单选框 RadioGroupradio_gp.setOnCheckedChangeLi…

ChatGPT 大智近妖,从宇宙人生到手搓光刻机,从哄女朋友到写年终总结我们聊得非常开心,反而让人越来越忧心...

都说 ChatGPT 要干掉程序员&#xff0c;清理搜索引擎&#xff0c;取代Stack Overflow&#xff0c;还能消灭人类&#xff0c;这些有些言过其实了。ChatGPT 的定位是一个人工智能助理&#xff0c;它说&#xff0c;它的主要目的是通过回答用户的问题&#xff0c;为用户提供帮助。在…

如何在Windows Defender中安排扫描

Windows Defender automatically performs background scans during your PC’s idle moments, but doesn’t include an easy way to schedule a full scan. There is a way to do it, though. Windows Defender在PC空闲时自动执行后台扫描&#xff0c;但是没有包括安排完整扫…

复习深入笔记02:魔法方法/cookie,session,token/异常

魔法方法 对象生成 1.先调用__new__方法&#xff0c;生成空对象。控制对象生成。 2.当执行“对象类名&#xff08;namelqz&#xff09;”&#xff0c;触发类的__init__()

比特熊故事汇独家 | .NET 感恩专场

点击上方蓝字关注我们&#xff08;本文阅读时间&#xff1a;15分钟)大家好&#xff01;我是爱吃、爱玩、更爱学习技术&#xff0c;IT界新晋小红人&#xff0c;开发者的好朋友——比特熊&#xff01;比特熊&#xff1a;本期故事汇是.NET专场&#xff0c;今天一次性邀请到DOTNET领…

Ubuntu Core 给物联网提供更多安全支持

开发四年只会写业务代码&#xff0c;分布式高并发都不会还做程序员&#xff1f; Canonical 是 Ubuntu 的一个桌面环境&#xff0c;该公司目前在云服务业务赚到了钱。因为 Ubuntu Core 为嵌入式设备带来了 Ubuntu 18.04 长期支持(LTS)代码库。Ubuntu Core 的镜像大小为 260MB&…