深度学习之微积分预备知识点

极限(Limit)

  • 定义:表示某一点处函数趋近于某一特定值的过程,一般记为 \lim_{x \to a}f(x) =L

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式eq?%5Clim_%7Bx%20%5Cto%20a%7D%20f%28x%29 表示 x 趋向 a 时 f(x) 的极限。
知识点口诀解释
极限的存在左右极限需相等左极限等于右极限,极限才存在
极限求值小数接近分母带分子分母消掉无关,最后代入极限值
无限极限无穷大趋向无穷多x 趋向无穷大时,函数会无界
常数极限常数极限还是常常数不随 x 变化,其极限为常数本身

总结

  • 极限是“左等于右”,常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

           对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为eq?%5Cfrac%7B%5Cmathrm%7Bdf%28x%29%29%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

  • 公式eq?%5Cfrac%7Bdy%7D%7Bdx%7D%20%3D%20%5Clim_%7B%5CDelta%20x%20%5Cto%200%7D%20%5Cfrac%7B%5CDelta%20y%7D%7B%5CDelta%20x%7D
知识点口诀解释
导数定义式变化速率瞬间看导数即函数在某点的变化率
斜率斜率即导数曲线的导数等于该点处切线的斜率
导数存在条件连续光滑无跳变函数在该点必须连续且光滑

总结

  • 导数看斜率,曲线随点变。


微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。

  • 公式eq?dy%20%3D%20f%27%28x%29%20dx,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

  • 知识点口诀解释
    微分近似小变大差线性算微分表示函数的增量,是导数的线性近似
    一阶微分导数导差就是微分微分与导数等价于线性变化

    总结

  • 微分近似小变大,导差线性接着算。

  • 导数表示变化率微分表示变化量

偏导数(Partial Derivative)

  • 定义:偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式符号eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D 来表示多元函数eq?z%20%3D%20f%28x%2Cy%29 ,关于x的偏导数 即:eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D%20%3D%20%5Clim_%7Bh%20%5Cto%200%7D%5Cfrac%7Bf%28x+h%2Cy%29-f%28x%2Cy%29%7D%7Bh%7D
知识点口诀解释
偏导数看谁变化锁其他偏导数只看一个变量,其他变量保持不变
偏导数几何意义高维斜率看切面在多维空间中,偏导数表示函数沿某轴的斜率
计算方法变量固定逐个求对每个变量分别求导

总结

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义:梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量符号是eq?%5Ctriangledown
  • 公式: 对函数 eq?z%20%3D%20f%28x%2Cy%29%3Dx%5E2%20+%20y%5E2 来说,其梯度向量是  eq?%5Ctriangledown%20f%28x%2Cy%29%20%3D%20%282x%2C2y%29

    梯度下降算法中,参数更新公式为   eq?%5Ctheta%20_%7Bt+1%7D%20%3D%5Ctheta_%7Bt%7D%20-%20%5Ceta%20%5Ctriangledown%20_%7B%5Ctheta%7DJ%28%5Ctheta_%7Bt%7D%29

知识点口诀解释
梯度定义快速上升靠梯度梯度表示函数变化最快的方向
梯度计算多维偏导排成队梯度是各个偏导数排列成的向量
梯度方向梯度方向最快升梯度方向表示函数上升最快的方向

总结

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下  eq?%5Cfrac%7B%5Cmathrm%7Bd%7Dz%20%7D%7B%5Cmathrm%7Bd%7D%20y%7D%20*%20%5Cfrac%7B%5Cmathrm%7Bd%7Dy%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子

有函数   eq?f%28x%29%20%3D%20x%5E2  和  eq?g%28x%29%20%3D%20x+1, 计算  eq?h%28x%29%20%3D%20f%28g%28x%29%29%20%3D%20%28x+1%29%5E2  的导数,可得

eq?h%27%28x%29%20%3D%20f%27%28g%28x%29%29*g%27%28x%29%20%5C%5C%20%5C%20%3D%202%28x+1%29*1%20%5C%5C%20%5C%20%3D%202x%20+2

  • 公式eq?%5Cfrac%7B%5Cmathrm%7Bd%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7Df%28g%28x%29%29%20%3Df%27%28g%28x%29%29*g%27%28x%29
知识点口诀解释
链式法则内外分导再相乘外层函数的导数乘以内层函数的导数
链式求导应用多层复合层层解对于多层复合函数,逐层求导

总结

  • 链式分内外,逐层导相乘。


记忆口诀

  • 极限:“左等于右,常数不变小数带”,极限需要左右一致,小数极限直接代入。
  • 导数:“导数看斜率,曲线随点变”,导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:“微分近似小变大,导差线性接着算”,微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:“偏导锁定一变量,高维斜率看切面”,多变量函数中只看一个变量的变化,其余固定。
  • 梯度:“梯度导快升,排队各偏导”,梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:“链式分内外,逐层导相乘”,链式法则用于复合函数的求导,逐层求导并相乘。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/54085.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言 | Leetcode C语言题解之第412题Fizz Buzz

题目&#xff1a; 题解&#xff1a; /*** Note: The returned array must be malloced, assume caller calls free().*/ char ** fizzBuzz(int n, int* returnSize) {/*定义字符串数组*/char **answer (char**)malloc(sizeof(char*)*n);for(int i 1;i<n;i){/*分配单个字符串…

React学习day06-异步操作、ReactRouter的概念及简单使用

13、续 &#xff08;8&#xff09;异步状态操作 1&#xff09;在子仓库中 ①创建仓库 ②解构需要的方法 ③安装axios ④封装并导出请求 ⑤在reducer中为newsList赋值 ⑥获取并导出reducer函数 2&#xff09;在入口文件index.js中&#xff0c;注入 3&#xff09;在App.js中&a…

根据NVeloDocx Word模板引擎生成Word(六-结束)

前面几篇已经把E6开发平台配套的Word模版隐藏NVeloDocx的基础用法介绍了一遍&#xff0c;这些基础用法基本上可以完全覆盖实际业务的绝大部分需求。所以我们这一篇就介绍一些边边角角的内容&#xff0c;给本系列来一个首尾。 本篇的主要内容有&#xff1a; 1、汇总计算&#…

【四】k8s部署 TDengine集群

k8s部署 TDengine集群 目录 k8s部署 TDengine集群 一、在 Kubernetes 上部署 TDengine 集群 第一步&#xff1a;创建命名空间 第二步&#xff1a;从yaml创建有状态服务 StatefulSet 第三步&#xff1a;配置 Service 服务 二、集群测试 一、在 Kubernetes 上部署 TDengine…

实习期间git的分枝管理以及最常用的命令

各位找工作实习的友友在工作之前一定要把git的相关知识掌握呀&#xff0c;我实现期间被leader说过关于git规范的相关问题了 目前已更新系列&#xff1a; 当前&#xff1a;:实习期间git的分枝管理以及最常用的命令 Redis高级-----持久化AOF、RDB原理 Redis高级---面试总结5种…

Android SPN/PLMN 显示逻辑简介

功能描述 当设备驻网后(运营商网络),会在状态栏、锁屏界面、下拉控制中心显示运营商的名称。 此名称来源有两种: 1、SPN(Service Provider Name) 2、PLMN (Public Land Mobile Name) 功能AOSP默认逻辑SPN提供SIM卡的运营商名称预置在SIM EF中,SIM卡发行运营商名称…

微软九月补丁星期二发现了 79 个漏洞

微软将在2024 年 9 月补丁星期二修复 79 个漏洞。 微软有证据表明&#xff0c;发布的四个漏洞被野外利用和/或公开披露&#xff1b;所有四个漏洞均已在CISA KEV上列出。微软还在修补四个关键的远程代码执行 (RCE) 漏洞。 不同寻常的是&#xff0c;微软本月尚未修补任何浏览器…

AI替代插画师跟设计师?不用焦虑!

一个固定的工作流&#xff0c; 一个训练好的lora模型 输入一段提示词 二三十秒的时间&#xff0c;就能生成一张精致美观有韵味的中秋国风插画 这张不喜欢&#xff0c;改下提示词重新生成一张不一样的。还是二十几秒 同样的插画&#xff0c;你用手绘&#xff0c;从起稿到上…

【Unity】为脚本添加头部注释

1 前言 默认创建的脚本头部是没有注释的&#xff0c;有时候我们想要在创建脚本时在脚本内容的最前面加上一个注释来标注脚本的相关信息&#xff0c;比如创建者、创建时间、描述等等。那么提供有两种实现方式。 2 方法 2.1 修改Unity的脚本Script 打开Unity Hub&#xff0c;找…

【Linux进程】Linux Shell编程实战:构建简易脚本示例与技巧详解

&#x1f4dd;个人主页&#x1f339;&#xff1a;Eternity._ ⏩收录专栏⏪&#xff1a;Linux “ 登神长阶 ” &#x1f921;往期回顾&#x1f921;&#xff1a;暂无 &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; ❀Linux进程 &#x1f4d2;1. 获取输入&…

俄罗斯方块——C语言实践(Dev-Cpp)

目录 1、创建项目(尽量不使用中文路径) 2、项目复制 3、项目配置 ​1、调整编译器 2、在配置窗口选择参数标签 3、添加头文件路径和库文件路径 4、代码实现 4.1、main.c 4.2、draw.h 4.3、draw.c 4.4、shape.h 4.5、shape.c 4.6、board.h 4.7、board.c 4.8、cont…

iOS - TestFlight使用

做的项目需要给外部人员演示&#xff0c;但是不方便获取对方设备的UDID&#xff0c;于是采用TestFlight 的方式邀请外部测试人员的方式给对方安装测试App&#xff0c;如果方便获取对方设备的UDID&#xff0c;可以使用蒲公英 1.在Xcode中Archive完成后上传App Store Connect之前…

数据结构(2):LinkedList和链表[2]

我们在上一篇文章中着重讨论了单链表的实现。其中我们要注意单链表进行遍历时一步一步走的思想。那么这篇文章我们将继续讨论链表的更多内容&#xff0c;那就让我们开始吧。 1.经典单链表算法题 我们将通过几个经典的题对单链表进行进一步的认识。 (1)反转链表 206. 反转链…

clip论文阅读(Learning Transferable Visual Models From Natural Language Supervision)

目录 摘要训练pre-train model的过程将pre-train model应用于下游任务应用&#xff08;待更新&#xff09; 论文/项目地址&#xff1a;https://github.com/OpenAI/CLIP 提供了clip的pre-trained model的权重&#xff0c;也可安装使用pre-trained model 摘要 使用标签标注的图…

C++过生日(我给我自己做的生日礼物)

&#x1f680;欢迎互三&#x1f449;&#xff1a;程序猿方梓燚 &#x1f48e;&#x1f48e; &#x1f680;关注博主&#xff0c;后期持续更新系列文章 &#x1f680;如果有错误感谢请大家批评指出&#xff0c;及时修改 &#x1f680;感谢大家点赞&#x1f44d;收藏⭐评论✍ 引言…

电脑开机速度慢怎么解决?

电脑开机速度慢怎么解决&#xff1f;电脑开机速度慢的原因可以是多方面的&#xff0c;以下是一些常见的原因&#xff1a; 启动项过多&#xff1a; 许多软件在系统启动时会自动启动&#xff0c;导致启动项过多&#xff0c;从而延长了开机时间。过时的驱动程序&#xff1a; 设备…

wpf触发与模板的使用示例:批量生产工具

批量生产工具 <Window x:Class"WpfM20UpdateFW.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d"http://schemas.microsoft.com/expressio…

2024年Java后端学习路线

思维导图&#xff1a; 必备知识&#xff1a; Java基础 JavaWeb 数据库&#xff1a;MySql&#xff0c;Redis 开发中间件&#xff1a;Maven &#xff0c;Git &#xff0c;Docker&#xff0c;RabbitMQ 开发框架&#xff1a;SSM&#xff0c;spring boot&#xff0c;mybatis-plus、s…

十一、DMSP/OLS、NPP/VIIRS等夜间灯光数据之GDP空间化——新方法理论介绍

一、前言 之前的空间理论方法是将第一产业GDP和第二、三产业GDP分开,第一产业GDP和耕地面积进行反演,第二、三产业GDP和夜间灯光指数进行拟合,或者干脆不划分产业,就是第一、二、三产业gdp数据和夜间灯指数拟合。之前给大家介绍都是这种,那么现在很多文献提出一种新的做法…

JVM 运行时数据区域

目录 前言 程序计数器 java虚拟机栈 本地方法栈 java堆 方法区 运行时常量池 前言 首先, java程序在被加载在内存中运行的时候, 会把他自己管理的内存划分为若干个不同的数据区域, 就比如你是一个你是一个快递员, 一堆快递过来需要你分拣, 这个时候, 你就需要根据投放的目…