《昇思 25 天学习打卡营第 6 天 | 函数式自动微分 》

《昇思 25 天学习打卡营第 6 天 | 函数式自动微分 》

活动地址:https://xihe.mindspore.cn/events/mindspore-training-camp
签名:Sam9029


函数式自动微分

自动微分是深度学习中的一个核心概念,它允许我们自动计算模型参数的梯度,从而进行参数更新。在本章节中

将通过MindSpore框架来探索自动微分的原理和应用。

在MindSpore中,自动微分主要通过函数式编程范式来实现。这意味着我们可以通过定义函数来表达数学运算,然后利用MindSpore提供的gradvalue_and_grad接口来获取梯度。

代码示例

首先,我们定义一个简单的单层线性变换模型:

import mindspore
from mindspore import nn, ops
from mindspore import Tensor, Parameterx = ops.ones(5, mindspore.float32)  # 输入张量
y = ops.zeros(3, mindspore.float32)  # 期望输出
w = Parameter(Tensor(np.random.randn(5, 3), mindspore.float32), name='w')  # 权重
b = Parameter(Tensor(np.random.randn(3), mindspore.float32), name='b')  # 偏置

接下来,我们定义计算损失的函数:

def function(x, y, w, b):z = ops.matmul(x, w) + b  # 正向传播loss = ops.binary_cross_entropy_with_logits(z, y)  # 计算损失return loss

使用grad函数计算梯度:

grad_fn = mindspore.grad(function, (2, 3))  # 对w和b求导
grads = grad_fn(x, y, w, b)  # 计算梯度
print(grads)  # 打印梯度

思考与讲解

在上述代码中,我们首先创建了输入数据x和期望输出y,以及模型参数wb。通过Parameter类包装参数,使其成为可训练的参数。

function函数中,我们实现了模型的正向传播过程,并计算了损失。通过grad函数,我们能够自动获取模型参数对损失的梯度,这是自动微分的魔力所在。

Stop Gradient

在某些情况下,我们可能不希望某个中间结果z对最终的梯度计算产生影响。这时,我们可以使用stop_gradient操作来截断梯度的传播:

def function_stop_gradient(x, y, w, b):z = ops.matmul(x, w) + bloss = ops.binary_cross_entropy_with_logits(z, y)return loss, ops.stop_gradient(z)

stop_gradient操作在深度学习中非常有用,尤其是在处理循环神经网络或者需要控制梯度流动的场景中。

神经网络梯度计算

在面向对象编程范式下,我们可以通过继承nn.Cell来构建神经网络模型。以下是一个简单的单层线性网络示例:

class Network(nn.Cell):def init(self):super().init()self.w = wself.b = bdef construct(self, x):z = ops.matmul(x, self.w) + self.breturn z

在构建模型和损失函数后,我们可以通过value_and_grad接口来实现反向传播:

model = Network()
loss_fn = nn.BCEWithLogitsLoss()
forward_fn = lambda x, y: loss_fn(model(x), y)
grad_fn = mindspore.value_and_grad(forward_fn, None, weights=model.trainable_params())
loss, grads = grad_fn(x, y)
print(grads)  # 打印梯度

通过面向对象的方式构建模型,我们可以更清晰地组织和管理模型的参数和行为。value_and_grad接口的使用,让我们能够方便地实现反向传播和梯度更新。

自动微分是深度学习框架中的一个强大工具,它简化了梯度计算的过程,使得我们能够专注于模型的设计和优化。通过MindSpore框架的学习和实践,我对自动微分有了更深入的理解。随着学习的深入,我相信我能够更好地应用这些知识来解决实际问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/35129.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

云计算 | 期末梳理(下)

1.模运算 2. 拓展欧几里得算法 3.扩散和混淆、攻击的分类 香农的贡献:定义了理论安全性,提出扩散和混淆原则,奠定了密码学的理论基础。扩散:将每一位明文尽可能地散布到多个输出密文中去,以更隐蔽明文数字的统计特性。混淆:使密文的统计特性与明文密钥之间的关系尽量复杂…

深入解析直播带货系统源码:短视频商城APP开发全攻略

本篇文章,小编将深入解析直播带货系统的源码,并为开发短视频商城APP提供全攻略,助力开发者打造高效、稳定的带货平台。 一、直播带货系统概述 直播带货系统主要由直播模块、商品管理模块、订单处理模块、用户管理模块、以及支付模块等组成。…

Ubuntu20.04使用Samba

目录 一、Samba介绍 Samba 的主要功能 二、启动samba 三、主机操作 四、Ubuntu与windows系统中文件互联 五、修改samba路径 一、Samba介绍 Samba 是一个开源软件套件,用于在 Linux 和 Unix 系统上实现 SMB(Server Message Block)协议…

速卖通自养号测评:安全高效的推广手段

在速卖通平台上,卖家们常常寻求各种方法来提升商品的曝光、转化率和店铺权重。其中,自养号测评作为一种低成本、高回报的推广方式,备受关注。然而,若操作不当,也可能带来风险。以下是如何安全有效地进行自养号测评的指…

VS Code 使用 Makefile 运行 CPP项目

Installing the MinGW-w64 toolchainCMake Toolsmakelist.txt报错 1报错 2报错 3生成了 Makefile ,如何使用 make 命令 Installing the MinGW-w64 toolchain 参见文档 将 GCC 与 MinGW 结合使用 CMake Tools 参见文档 Linux 上的 CMake 工具入门 CMake 的使用 …

关于Pycharm右下角不显示解释器interpreter的问题解决

关于Pycharm右下角不显示解释器interpreter的问题 在安装新的Pycharm后,发现右下角的 interpreter 的选型消失了: 觉得还挺不习惯的,于是网上找解决办法,无果。 自己摸索了一番后,发现解决办法如下: 勾…

37岁,被裁员,失业三个月,被面试官嫌弃“太水”:就这也叫10年以上工作经验?

今年部门要招两个自动化测试,这几个月我面试了几十位候选人。发现一个很奇怪的现象,面试中一问到元素定位、框架api、脚本编写之类的,很多候选人都对答如流。但是一问到实际项目,比如“项目中UI自动化和接口自动化如何搭配使用&am…

电商平台家电以旧换新销售额增长超80%

记者近日从国家发展和改革委员会举办的新闻发布会上获悉,今年1—5月份,主要电商平台家电以旧换新销售额增长超过80%,以旧换新成为推动家电消费增长的重要因素。 今年3月,国务院印发了《推动大规模设备更新和消费品以旧换新行动方…

天花板国际幼儿园是怎样的?一起来听听天津惠灵顿幼儿园园长分享

上周,天津惠灵顿幼儿园举行了精彩的毕业典礼。一如往常,这是一个回顾过去、展望未来的机会。这届毕业班有一些孩子是四年前园长加入惠灵顿学校的时入园的。他们从小小班启航,在这所天津国际幼儿园开始了他们的惠灵顿之旅。四年来,…

java基于ssm+jsp 班级同学录网站

1前台首页功能模块 班级同学录网站,在前台首页可以查看首页、公告信息、校友风采、论坛信息、我的、跳转到后台、客服等内容,如图1所示。 图1前台首页功能界面图 用户注册,在用户注册页面可以填写用户名、姓名、头像、性别、手机号码、邮箱等…

[leetcode]unique-paths 不同路径

. - 力扣&#xff08;LeetCode&#xff09; class Solution { public:int uniquePaths(int m, int n) {vector<vector<int>> f(m, vector<int>(n));for (int i 0; i < m; i) {f[i][0] 1;}for (int j 0; j < n; j) {f[0][j] 1;}for (int i 1; i &l…

站在巨人的肩膀上 C语言理解和简单练习(包含指针前的简单内容)

1.格式化的输入/输出 1.1printf函数 printf函数你需要了解的就是转换说明&#xff0c;转换说明的作用是将内存中的二进制转换成你所需要的格式入%d就是将内存中存储的变量的二进制转化为十进制并打印出来&#xff0c;同时我们可以在%X的转换说明对精度和最小字段宽度的指定&a…

根据模型log文件画loss曲线

根据模型log文件画loss曲线 思想&#xff1a;使用Python的matplotlib库来绘制loss曲线。首先需要解析log文件&#xff0c;提取出每个epoch对应的loss值&#xff0c;然后再进行绘制。 import re import matplotlib.pyplot as plt# 初始化数据列表 epochs [] losses []# 读取…

1000. 合并石头的最低成本

Problem: 1000. 合并石头的最低成本 文章目录 思路解题方法复杂度Code 思路 这道题目的核心在于理解合并石头的过程和寻找最优策略。给定一个数组 stones 表示石堆&#xff0c;以及一个整数 k 表示每次可以合并的石堆数量&#xff0c;目标是找到将所有石堆合并成一个石堆的最小…

ORA-6544[pevm_peruws_callback-1][604] is caused (Doc ID 2638095.1)

ORA-6544[pevm_peruws_callback-1][604] is caused (Doc ID 2638095.1)​编辑To Bottom In this Document Symptoms Cause Solution References Applies to: Oracle Database - Enterprise Edition - Version 12.2.0.1 and later Information in this document applies to an…

嵌入式工具:VI、GCC、GDB、makefile

目录 1.Vi 2.gcc 3 gdb 4.makefile 参考 1.Vi VI 是一种编辑器,有很多版本。它有三种工作模式:编辑模式(启动时默认的模式)、插入模式(按下i或a键即可进入)、最后一行模式(又叫命令模式)。 1.1 最后一行模式常用命令 W:保存文件; q:退出; q!:强行退出不保…

C++并发之环形队列(ring,queue)

目录 1 概述2 实现3 测试4 运行 1 概述 最近研究了C11的并发编程的线程/互斥/锁/条件变量&#xff0c;利用互斥/锁/条件变量实现一个支持多线程并发的环形队列&#xff0c;队列大小通过模板参数传递。 环形队列是一个模板类&#xff0c;有两个模块参数&#xff0c;参数1是元素…

[学习笔记] 禹神:一小时快速上手Electron笔记,附代码

课程地址 禹神&#xff1a;一小时快速上手Electron&#xff0c;前端Electron开发教程_哔哩哔哩_bilibili 笔记地址 https://github.com/sui5yue6/my-electron-app 进程通信 桌面软件 跨平台的桌面应用程序 chromium nodejs native api 流程模型 main主进程 .js文件 node…

Verilog HDL语法入门系列(二):Verilog的语言文字规则

目录 1 空白符和注释2 整数常量和实数常量3 整数常量和实数常量4 字符串&#xff08;string)5 格式符与转义符6 标识符(identifiers) 微信公众号获取更多FPGA相关源码&#xff1a; 1 空白符和注释 2 整数常量和实数常量 Verilog中&#xff0c;常量(literals)可是整数也可以是…

照片放大工具Topaz Gigapixel AI for Mac v7.1.2

Topaz Gigapixel AI软件是一款相当高效的PC端图像大小调整工具&#xff0c;更是一款能够为摄影师、设计师以及图像处理爱好者带来革命性体验的强大软件。它凭借先进的深度学习技术&#xff0c;打破了传统图像大小调整的限制&#xff0c;实现了真正意义上的无损放大和图像恢复。…