深度学习-梯度下降算法-NLP(五)

梯度下降算法

  • 深度学习中梯度下降算法简介
    • 找极小值问题
      • 数学上求最小值
      • 梯度
      • 梯度下降算法
    • 找极小值问题在深度学习流程中
      • 深度学习整体流程图
      • 求解损失函数的目标
      • 权重的更新

深度学习中梯度下降算法简介

找极小值问题

引子: 我们训练一个人工智能模型,简单点说,就是根据数据,调整模型的参数,使模型预测的值和我们数据的值一样。但一开始肯定不一样,所以我们引入损失函数,用它来计算,还差多少;差多少我们求出来,我们怎么调整原有模型里面的参数呢?

哎! 调整原有模型的参数目的就是为了使得预测的值和要求值一样嘛,是不是求一个模型参数可以使得计算出的预测值和要求值之间的差距最小呢?===》这就是找极小值问题

所以本质上就是求损失函数的极小值。

数学上求最小值

在这里插入图片描述
拆解示意:
目标: 找到合适的x值,使得f(x)最小。
逻辑

1.任取一点x0,计算在这一点的导数值f(x0)
2.根据导数的正负,决定x0应当调大还是调小;导数为正,那么就调小x;因为增大,y也会增大;导数为负,增大x
3.迭代进行1,2步直到导数为0;或者导数变号了。
什么情况下导数为变号?
那就函数的值,之前在减小,现在在增大了,所以导数就会编号,那么最小值就在其中(救赎之道,就在其中)

梯度

梯度: 可以直接理解就是导数,只是在深度学习中,通常不是一个导数,即对多元函数进去求导。
在这里插入图片描述
举个例子:
一元函数:

原函数:y=5x^2
导函数:y= 10x
即在x=1时,导数值为10

多元函数

三元函数:y=2x^2 + 6z^2 + 7m^3
导函数(即对三个未知数进行偏导求解):y={4x,12z,21m^2}
在[1,1,1]处的梯度为[4,12,21];并且梯度是个向量

都是对函数进行求导,可以用导数去理解梯度

梯度下降算法

释义: 梯度下降算法就是计算出模型在输入数据的梯度,然后通过学习率对模型原有的权重参数进行更新的一个逻辑,其中使用的算法有多类,我们会介绍到
在这里插入图片描述

找极小值问题在深度学习流程中

深度学习整体流程图

如下示意图即为深度学习的流程图,其中找极小值问题价值就对应着损失函数–>优化器–>模型
在这里插入图片描述

求解损失函数的目标

1.损失函数越小,模型越好
2.学习的目标就是损失函数最小化
3.模型的权重影响损失函数
4.通过梯度下降来找最优权重

权重的更新

更新的逻辑

1.根据输入的x与模型当前的权重,计算预测值y1
2.根据y1和y使用loss函数算计loss
3.根据loss计算模型的权重的梯度
4.使用梯度和学习率,根据优化器来调整模型的权重

更新的方式:

1.所有的样本一起计算梯度(累加)Gradient descent
2.每次使用一个样本计算梯度 Stochastic gradient descent
3.每次使用n个样本计算梯度(累加)Mini-batch gradient descent

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/42073.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

磁致伸缩液位计原理和特点

工作原理 磁致伸缩液位计的工作原理基于磁性材料在外部磁场作用下的尺寸变化来进行液位测量。该液位计主要由电子变送器、浮球(浮子)、探测杆(测杆)三部分组成。在磁致伸缩液位计的传感器测杆外配有一浮子,此浮子可以…

【SpringCloud应用框架】Nacos服务配置中心

第四章 Spring Cloud Alibaba Nacos之服务配置中心 文章目录 一、基础配置二、新建子项目1.pom文件2.YML配置3.启动类4.业务类5.Nacos配置规则 三、Nacos平台创建配置操作四、自动配置更新五、测试 一、基础配置 Nacos不仅仅可以作为注册中心来使用,同时它支持作为…

【环境准备】 Vue环境搭建

文章目录 前言vue-cli 安装创建项目3.0、以下3.0 、以上 前言 书接上回《NodeJs(压缩包版本)安装与配置》,安装完了NodeJs,接下来就要配置vue的环境了。 vue-cli 安装 安装vue-cli输入如下命令 #(安装的是最新版) npm install …

观察者模式(Observer Pattern)

观察者模式(Observer Pattern) 定义 观察者模式定义了一种一对多的依赖关系,让多个观察者对象同时监听某一个主题对象。这个主题对象在状态发生变化时,会通知所有观察者对象,使它们能够自动更新自己。别名&#xff1…

鼠标宏怎么设置?6款鼠标自动点击器强推,游戏玩家专用!(2024全)

随着电子游戏和日常应用的不断发展,我们经常会遇到一些重复性的任务或操作。而在这种情况下,鼠标宏以其自动化的特点成为了许多玩家和使用者的利器之一。如果你正在寻找如何设置鼠标宏来简化操作并提高效率,那么你来对地方了。在本文中&#…

【Java]认识泛型

包装类 在Java中,由于基本类型不是继承自Object,为了在泛型代码中可以支持基本类型,Java给每个基本类型都对应了一个包装类型。 除了 Integer 和 Character, 其余基本类型的包装类都是首字母大写。 泛型 泛型是在JDK1.5引入的…

ASAN排查程序中内存问题使用总结

简介 谷歌有一系列Sanitizer工具,可用于排查程序中内存相关的问题。常用的Sanitizer工具包括: Address Sanitizer(ASan):用于检测内存使用错误。Leak Sanitizer(LSan):用于检测内存…

【9-2:RPC设计】

RPC 1. 基础1.1 定义&特点1.2 具体实现框架1.3 应用场景2. RPC的关键技术点&一次调用rpc流程2.1 RPC流程流程两个网络模块如何连接的呢?其它特性RPC优势2.2 序列化技术序列化方式PRC如何选择序列化框架考虑因素2.3 应用层的通信协议-http什么是IO操作系统的IO模型有哪…

数据结构第14节 加权图

加权图是在图论中一种更为复杂的图结构,它扩展了无向图和有向图的概念,通过给图中的边附加一个数值来表示边的某种属性,如成本、距离、容量或相似度等。这个数值被称为边的“权重”。 定义 加权图可以被形式化地定义为一个三元组 ( G (V, …

Vortex GPGPU的硬件设计和代码结构分析

文章目录 前言一、GPGPU是什么?1.1 GPU和GPGPU之间的差异1.2 GPU和CPU之间的集成方式1.3 GPU包含什么(列举和VMIPS向量体系结构的差异) 二、Vortex GPGPU是什么?2.1 Vortex GPGPU的技术边界和验证环境2.2 Vortex GPGPU的指令集设计…

安卓稳定性之crash详解

目录 前言一、Crash 的基本原理二、Crash 分析思路三、实例分析四、预防措施五、参考链接 前言 在开发和测试 Android 应用程序时,遇到应用程序崩溃是很常见的情况。 Android 崩溃指的是应用程序因为异常或错误而无法正常执行,并且导致应用强制关闭。 一…

p11函数和递归

递归与迭代 求n的阶乘。&#xff08;不考虑溢出&#xff09; int Fac1(int n) {int i0;int ret1;for(i1;i<n;i){ret*i;}return ret; } int main(){//求n的阶乘int n0;int ret0;scanf("%d",&n);retFac1(n);printf("%d\n",ret);return 0; } int Fac…

什么是激光导航和视觉导航技术

激光导航和视觉导航技术是现代导航系统中的两种重要技术&#xff0c;它们在多个领域&#xff0c;如扫地机器人、无人机、机器人导航等中都有广泛应用。以下是对这两种技术的详细介绍&#xff1a; 一、激光导航技术 1. 定义与原理 激光导航技术是一种利用激光束进行精确测量和…

ChatGPT:||是短路运算符,那么|、、是什么?

ChatGPT&#xff1a;||是短路运算符&#xff0c;那么|、&、&&是什么? 在Java中&#xff0c;逻辑运算符&&和||是短路逻辑运算符&#xff0c;而&和|是非短路逻辑运算符。 && 和 || 是短路逻辑运算符。当使用这些运算符时&#xff0c;如果第一个…

解决 Docker 容器镜像拉取难题:全面指南

一、引言 在使用 Docker 容器的过程中&#xff0c;经常会遇到镜像拉取慢甚至无法下载的问题&#xff0c;这给开发和部署工作带来了不小的困扰。本文将深入探讨这一问题的原因&#xff0c;并提供多种有效的解决方案。 二、问题原因分析 网络限制 本地网络带宽不足或存在网络拥…

unity知识点 专项四 一文彻底说清楚(锚点(anchor)、中心点(pivot)、位置(position)之间的关系)

一 概述 想要使UI控件在屏幕中达到正确的显示效果&#xff0c;比如自适应屏幕尺寸、固定边距等等&#xff0c;首先要理清楚几个基本概念和设置&#xff1a;锚点(anchor)、中心点(pivot)、位置(position)、UI缩放模式、父物件的transform设置 二 Anchor、Pivot与Position 2…

网络连接线相关问题

问题1&#xff1b; 直通线为什么两头都是T568B&#xff1f;是否可以两台T5568A&#xff1f;或者任意线序&#xff0c;只需两头一致&#xff1f; 不行&#xff0c;施工规范规定。&#xff08;原因&#xff1b;网线最长距离100m&#xff0c;实际用起来要把网线包管&#xff0c;走…

【分布式系统】Filebeat+Kafka+ELK 的服务部署

目录 一.实验准备 二.配置部署 Filebeat 三.配置Logstash 四.验证 一.实验准备 结合之前的博客中的实验 主机名ip地址主要软件es01192.168.80.101ElasticSearches02192.168.80.102ElasticSearches03192.168.80.103ElasticSearch、Kibananginx01192.168.80.104nginx、Logs…

iperf3: error - unable to connect to server: No route to host

1.确认iperf3版本是否统一。 2.确认防火墙是否关闭。 关闭防火墙 : systemctl stop firewalld 查看防火墙状态: systemctl status firewalld 3.重新建起链接

Java进阶----接口interface

接口 接口概述 接口是一种规范&#xff0c;使用接口就代表着要在程序中制定规范. 制定规范可以给不同类型的事物定义功能&#xff0c;例如&#xff1a; 利用接口&#xff0c;给飞机、小鸟制定飞行规范&#xff0c;让其都具备飞行的功能&#xff1b;利用接口&#xff0c;给鼠…