深度学习之梯度下降算法

梯度下降算法

  • 梯度下降算法
    • 数学公式
      • 结果
  • 梯度下降算法存在的问题
  • 随机梯度下降算法

梯度下降算法

数学公式

在这里插入图片描述
在这里插入图片描述

这里案例是用梯度下降算法,来计算 y = w * x
先计算出梯度,再进行梯度的更新

import numpy as np
import matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0, 4.0]
y_data = [2.0, 4.0, 6.0, 8.0]mse_list= []
w_list = []w = 1.0 #注意:这里设初始权重为1.0
def forward(x):return w*x
def const(xs, ys):const = 0for x, y in zip(xs, ys):y_pred = forward(x)const += (y_pred - y)**2return const/ len(xs)def gradient(xs, ys):grad  = 0for x, y in zip(xs, ys):grad += 2 * x * (w * x - y)return grad / len(xs)print('Predict (befortraining)',4,forward(4))#100轮
for epoch in range(100):const_val = const(x_data, y_data) #损失值,为了绘图,才算他grad_val = gradient(x_data, y_data) # gradient函数求梯度值w = w - 0.01 * grad_val#这里学习率取的 0.01,要尽量小mse_list.append(const_val)print('Epoch:', epoch, 'w=', w, 'cost=', const_val)
print('Predict(after training)', 4, forward(4))#绘图
w_list = np.arange(0, 100, 1)
plt.plot(w_list, mse_list)
plt.xlabel("epoch")
plt.ylabel("mse")
plt.show()

结果

Predict (befortraining) 4 4.0
Epoch: 0 w= 1.15 cost= 7.5
Epoch: 1 w= 1.2774999999999999 cost= 5.418750000000001
Epoch: 2 w= 1.385875 cost= 3.9150468750000016
Epoch: 3 w= 1.47799375 cost= 2.828621367187501
Epoch: 4 w= 1.5562946874999999 cost= 2.0436789377929685
Epoch: 5 w= 1.6228504843749998 cost= 1.4765580325554204
Epoch: 6 w= 1.6794229117187498 cost= 1.0668131785212922
Epoch: 7 w= 1.7275094749609374 cost= 0.7707725214816338
Epoch: 8 w= 1.7683830537167968 cost= 0.55688314677048
Epoch: 9 w= 1.8031255956592773 cost= 0.40234807354167157
Epoch: 10 w= 1.8326567563103857 cost= 0.29069648313385765
Epoch: 11 w= 1.857758242863828 cost= 0.21002820906421227
Epoch: 12 w= 1.8790945064342537 cost= 0.15174538104889318
Epoch: 13 w= 1.8972303304691156 cost= 0.10963603780782546
Epoch: 14 w= 1.9126457808987483 cost= 0.07921203731615392
Epoch: 15 w= 1.925748913763936 cost= 0.05723069696092115
Epoch: 16 w= 1.9368865766993457 cost= 0.041349178554265495
Epoch: 17 w= 1.9463535901944438 cost= 0.02987478150545676
Epoch: 18 w= 1.9544005516652772 cost= 0.021584529637692605
Epoch: 19 w= 1.9612404689154856 cost= 0.015594822663232907
Epoch: 20 w= 1.9670543985781628 cost= 0.011267259374185785
Epoch: 21 w= 1.9719962387914383 cost= 0.00814059489784921
Epoch: 22 w= 1.9761968029727226 cost= 0.0058815798136960945
Epoch: 23 w= 1.9797672825268142 cost= 0.004249441415395416
Epoch: 24 w= 1.9828021901477921 cost= 0.0030702214226231784
Epoch: 25 w= 1.9853818616256234 cost= 0.0022182349778452353
Epoch: 26 w= 1.9875745823817799 cost= 0.0016026747714931776
Epoch: 27 w= 1.989438395024513 cost= 0.0011579325224038112
Epoch: 28 w= 1.991022635770836 cost= 0.0008366062474367442
Epoch: 29 w= 1.9923692404052107 cost= 0.0006044480137730437
Epoch: 30 w= 1.993513854344429 cost= 0.0004367136899510165
Epoch: 31 w= 1.9944867761927647 cost= 0.00031552564098961234
Epoch: 32 w= 1.99531375976385 cost= 0.00022796727561499308
Epoch: 33 w= 1.9960166957992724 cost= 0.0001647063566318346
Epoch: 34 w= 1.9966141914293816 cost= 0.00011900034266650408
Epoch: 35 w= 1.9971220627149744 cost= 8.597774757655033e-05
Epoch: 36 w= 1.9975537533077283 cost= 6.211892262405537e-05
Epoch: 37 w= 1.9979206903115692 cost= 4.488092159587483e-05
Epoch: 38 w= 1.9982325867648338 cost= 3.242646585301842e-05
Epoch: 39 w= 1.9984976987501089 cost= 2.3428121578803835e-05
Epoch: 40 w= 1.9987230439375925 cost= 1.692681784068377e-05
Epoch: 41 w= 1.9989145873469536 cost= 1.2229625889894448e-05
Epoch: 42 w= 1.9990773992449105 cost= 8.835904705448865e-06
Epoch: 43 w= 1.999215789358174 cost= 6.383941149688757e-06
Epoch: 44 w= 1.9993334209544478 cost= 4.612397480649774e-06
Epoch: 45 w= 1.9994334078112805 cost= 3.33245717977035e-06
Epoch: 46 w= 1.9995183966395884 cost= 2.4077003123843227e-06
Epoch: 47 w= 1.9995906371436503 cost= 1.7395634756983151e-06
Epoch: 48 w= 1.9996520415721026 cost= 1.2568346111911193e-06
Epoch: 49 w= 1.9997042353362873 cost= 9.080630065859313e-07
Epoch: 50 w= 1.9997486000358442 cost= 6.560755222580743e-07
Epoch: 51 w= 1.9997863100304676 cost= 4.7401456483160105e-07
Epoch: 52 w= 1.9998183635258975 cost= 3.4247552309066444e-07
Epoch: 53 w= 1.999845608997013 cost= 2.4743856543302625e-07
Epoch: 54 w= 1.999868767647461 cost= 1.7877436352529204e-07
Epoch: 55 w= 1.9998884525003418 cost= 1.2916447764716773e-07
Epoch: 56 w= 1.9999051846252904 cost= 9.332133510001552e-08
Epoch: 57 w= 1.999919406931497 cost= 6.742466460983543e-08
Epoch: 58 w= 1.9999314958917724 cost= 4.8714320180508126e-08
Epoch: 59 w= 1.9999417715080066 cost= 3.5196096330379474e-08
Epoch: 60 w= 1.9999505057818057 cost= 2.542917959872535e-08
Epoch: 61 w= 1.999957929914535 cost= 1.8372582260029613e-08
Epoch: 62 w= 1.9999642404273548 cost= 1.327419068279643e-08
Epoch: 63 w= 1.9999696043632516 cost= 9.590602768272778e-09
Epoch: 64 w= 1.9999741637087638 cost= 6.929210500056835e-09
Epoch: 65 w= 1.9999780391524493 cost= 5.006354586314298e-09
Epoch: 66 w= 1.999981333279582 cost= 3.617091188568193e-09
Epoch: 67 w= 1.9999841332876447 cost= 2.6133483837386546e-09
Epoch: 68 w= 1.999986513294498 cost= 1.888144207242458e-09
Epoch: 69 w= 1.9999885363003234 cost= 1.3641841897252644e-09
Epoch: 70 w= 1.999990255855275 cost= 9.856230770713489e-10
Epoch: 71 w= 1.9999917174769837 cost= 7.121126731808042e-10
Epoch: 72 w= 1.9999929598554362 cost= 5.145014063749241e-10
Epoch: 73 w= 1.9999940158771208 cost= 3.7172726609486193e-10
Epoch: 74 w= 1.9999949134955526 cost= 2.6857294975413565e-10
Epoch: 75 w= 1.9999956764712197 cost= 1.9404395619846422e-10
Epoch: 76 w= 1.9999963250005368 cost= 1.4019675835727846e-10
Epoch: 77 w= 1.9999968762504563 cost= 1.0129215790946163e-10
Epoch: 78 w= 1.9999973448128878 cost= 7.318358408922187e-11
Epoch: 79 w= 1.9999977430909546 cost= 5.2875139505922e-11
Epoch: 80 w= 1.9999980816273113 cost= 3.820228829502065e-11
Epoch: 81 w= 1.9999983693832146 cost= 2.7601153294430312e-11
Epoch: 82 w= 1.9999986139757324 cost= 1.994183325506297e-11
Epoch: 83 w= 1.9999988218793725 cost= 1.4407974526944569e-11
Epoch: 84 w= 1.9999989985974667 cost= 1.0409761596639575e-11
Epoch: 85 w= 1.9999991488078466 cost= 7.521052753355296e-12
Epoch: 86 w= 1.9999992764866696 cost= 5.43396061571672e-12
Epoch: 87 w= 1.9999993850136693 cost= 3.926036544289031e-12
Epoch: 88 w= 1.999999477261619 cost= 2.8365614029723025e-12
Epoch: 89 w= 1.9999995556723762 cost= 2.0494156128291866e-12
Epoch: 90 w= 1.9999996223215197 cost= 1.480702779721521e-12
Epoch: 91 w= 1.9999996789732917 cost= 1.0698077583047718e-12
Epoch: 92 w= 1.999999727127298 cost= 7.729361059472377e-13
Epoch: 93 w= 1.9999997680582033 cost= 5.584463360924549e-13
Epoch: 94 w= 1.9999998028494728 cost= 4.034774778538369e-13
Epoch: 95 w= 1.9999998324220518 cost= 2.915124779890719e-13
Epoch: 96 w= 1.999999857558744 cost= 2.1061776543919866e-13
Epoch: 97 w= 1.9999998789249325 cost= 1.521713353234463e-13
Epoch: 98 w= 1.9999998970861925 cost= 1.0994378986595627e-13
Epoch: 99 w= 1.9999999125232637 cost= 7.943438830326513e-14
Predict(after training) 4 7.999999650093055

在这里插入图片描述

横坐标表示训练的轮数,纵坐标为损失值,通过图分析,随着训练轮数的增加,损失值逐渐减少,趋于0(可能会不等于0)

梯度下降算法存在的问题

使用梯度下降算法,如果遇到鞍点(总体梯度和为0的点),那么就会导致w = w - 学习率 * w中,w 不会改变就导致w不能够继续更新,为了解决这个问题,就提出了随机梯度下降算法,随机选取一组(x, y)作为梯度下降的依据

随机梯度下降算法

随机梯度下降

#随机梯度算法import numpy as np
import matplotlib.pyplot as pltx_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]w=1.0def forward(x):return w*x#计算MSE
def cost(xs, ys):cost = 0for x, y in zip(xs, ys):y_pred = forward(x)cost += (y_pred - y)**2return cost / len(xs)def gradient(xs, ys):grad = 0for x, y in zip(xs, ys):grad  += 2*w*(w*x-y)return grad/len(xs)mse_list = []for epoch in range(100):cost_val = cost(x_data, y_data) #绘图才绘制grad_val = gradient(x_data, y_data) #计算梯度w -= 0.01*grad_valmse_list.append(cost_val)print('Epoch:', epoch, 'w=', w, 'cost=', cost_val)
print('Predict(after training)', 4, forward(4))w_list = np.arange(0, 100, 1)
plt.plot(w_list, mse_list)
plt.ylabel('cost')
plt.xlabel('times')
plt.show()

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/684173.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024 前端面试题(GPT回答 + 示例代码 + 解释)No.21 - No.40

本文题目来源于全网收集,答案来源于 ChatGPT 和 博主(的小部分……) 格式:题目 h3 回答 text 参考大佬博客补充 text 示例代码 code 解释 quote 补充 quote 上一篇链接:2024 前端面试题(GPT回答 示例…

深度学习领域的最新前沿:2024年的关键突破与趋势

文章目录 导言01 深度学习的基本原理和算法1.1 神经网络(Neural Networks)1.2 前馈神经网络(Feedforward Neural Network)1.3 反向传播算法(Backpropagation)1.4 激活函数(Activation Function&…

基于HTML5实现动态烟花秀效果(含音效和文字)实战

目录 前言 一、烟花秀效果功能分解 1、功能分解 2、界面分解 二、HTML功能实现 1、html界面设计 2、背景音乐和燃放触发 3、燃放控制 4、对联展示 5、脚本引用即文本展示 三、脚本调用及实现 1、烟花燃放 2、燃放响应 3、烟花canvas创建 4、燃放声音控制 5、实际…

五个编程原则:Rob Pike‘s 5 Rules of Programming

原文 https://users.ece.utexas.edu/~adnan/pike.html Rob Pike’s 5 Rules of Programming Rule 1. You can’t tell where a program is going to spend its time. Bottlenecks occur in surprising places, so don’t try to second guess and put in a speed hack until y…

用函数实现乘法口诀表

用函数实现乘法口诀表 实现一个函数,打印乘法口诀表,口诀表的行数和列数自己指定 如:输入9,输出99口诀表,输出12,输出1212的乘法口诀表。 思路: 1. 设计函数原型,不需要返回值&…

开源图形库Thor Vector Graphics:Paint类, Result、 CompositeMethod、 BlendMethod 枚举类型

0. 简介 开源图形库Thor Vector Graphics的Paint类是一个用于绘制图形的API类,提供了各种功能来控制绘制对象的外观和行为。所属头文件:thorvg.h 1. 成员函数与使用方法 Result rotate(float degree) noexcept:设置对象的旋转角度。 使用方…

idea基础配置

配置jre 【file】->【Project Structure】 设置SDK设置Language level 【Settings】->【Build,Execution,Deployment】->【Compiler】->【Java Compiler】设置Project bytecode version: 配置maven 【Settings】->【Build,Execution,Deployment】…

25届Javaer在2023的打怪升级之路

开头说一下基本信息:25届Java,二本,科班 刚刚结束第二段实习,回家过年准备春招,浅浅记录一下过去的一年 开始的原因: 虽然很不想回忆,但是走上Java的道路还是和前女友有些关系。 在今年年初…

搜索引擎枚举

我们可以利用Google 语法搜索子域名,例如要搜索百度旗下的子域名就可以 使用 “site:baidu.com” 语法,如图1-5所示。 Google 新闻 购物 地图 我料的31,400.000条结集(用B时0.17秒) 百度知道全球最大中文互动问答平台 hitps /izhidao baidu…

vue3 之 商城项目—结算模块

路由配置 chekout/index.vue <script setup> const checkInfo {} // 订单对象 const curAddress {} // 地址对象 </script> <template><div class"xtx-pay-checkout-page"><div class"container"><div class"w…

医院三基怎么搜题答案? #学习方法#学习方法#微信

在大学生的学习过程中&#xff0c;遇到难题和疑惑是常有的事情。然而&#xff0c;随着互联网的普及和技术的发展&#xff0c;搜题和学习软件成为了大学生们解决问题的利器。今天&#xff0c;我将向大家推荐几款备受大学生喜爱的搜题和学习软件&#xff0c;帮助我们更好地应对学…

分层钱包HD钱包

bc1 开头的通常指的是比特币&#xff08;Bitcoin&#xff09;的地址&#xff0c;这种格式遵循了比特币改进提案BIP 0173中定义的Bech32编码格式。Bech32地址也被称为"SegWit"地址&#xff0c;它们支持Segregated Witness功能&#xff0c;这是比特币网络为了提高区块链…

新冠:2022和2024两次新冠感染的对比

第一次 2022年底第一次放开管控&#xff0c;95%以上的人都感染了一次奥密克戎 症状 第一天&#xff1a;流涕&#xff0c;咽痛。 第二天&#xff1a;高烧40度&#xff0c;全身疼痛&#xff0c;动不了。没有胃口&#xff0c;头晕想吐。 吃了白加黑退烧药&#xff0c;清开灵颗粒…

python系统学习Day2

section3 python Foudamentals part one&#xff1a;data types and variables 数据类型&#xff1a;整数、浮点数、字符串、布尔值、空值 #整型&#xff0c;没有大小限制 >>>9 / 3 #3.0 >>>10 // 3 #3 地板除 >>>10 % 3 #1 取余#浮点型&#xff…

现阶段适用于 单一架构 还是 分布式架构 ?

单体架构&#xff1a; 优势&#xff1a;简单直接&#xff0c;易于理解和开发&#xff0c;适用于小型应用或刚刚开始的项目。劣势&#xff1a;扩展性受限&#xff0c;只能通过增加服务器的数量来提高处理能力&#xff1b;所有模块都部署在一个单独的服务器或容器中&#xff0c;…

Linux实用指令

Linux实用指令 1.指定运行级别 运行级别说明&#xff1a; 0 &#xff1a;关机 1 &#xff1a;单用户【找回丢失密码】 2&#xff1a;多用户状态没有网络服务 3&#xff1a;多用户状态有网络服务 4&#xff1a;系统未使用保留给用户 5&#xff1a;图形界面 6&#xff1a;系统重…

MySQL5.7升级到MySQL8.0的最佳实践分享

一、前言 事出必有因&#xff0c;在这个月的某个项目中&#xff0c;我们面临了一项重要任务&#xff0c;即每年一次的等保测评整改。这次测评的重点是Mysql的一些高危漏洞&#xff0c;客户要求我们无论如何必须解决这些漏洞。尽管我们感到无奈&#xff0c;但为了满足客户的要求…

Apache 神禹(shenyu)源码阅读(三)——被网关路由的后端服务 Client 向 Admin 注册的数据传输(Client端)

前言 在真正测试 Divide 插件时&#xff0c;想要知道后端服务&#xff08;以下称为 Client&#xff09;是如何将自己的信息注册到管理台&#xff08;以下称为 Client&#xff09;。这里后端服务用的是 shenyu 自带的 http 的例子&#xff0c;项目名字为 shenyu-examples-http。…

vue3的双向数据绑定原理和响应式原理以及和vue2响应式的区别

1.vue3的双向数据绑定原理是什么 响应式系统&#xff1a;Vue3的响应式系统是基于ES6的Proxy对象实现的。在初始化Vue实例时&#xff0c;Vue会对数据对象进行递归地遍历&#xff0c;将每个属性都转换为getter和setter。当属性被读取时&#xff0c;会触发getter函数&#xff0c;…

Android 13.0 SystemUI下拉状态栏定制二 锁屏页面横竖屏解锁图标置顶显示功能实现

1.前言 在13.0的系统rom定制化开发中,在关于systemui的锁屏页面功能定制中,由于在平板横屏锁屏功能中,时钟显示的很大,并且是在左旁边居中显示的, 由于需要和竖屏显示一样,所以就需要用到小时钟显示,然后同样需要居中,所以就来分析下相关的源码,来实现具体的功能 如图…