昇思25天学习打卡营第10天|使用静态图加速

昇思25天学习打卡营第10天|使用静态图加速

  • 前言
  • 使用静态图加速
    • 背景介绍
      • 动态图模式
      • 静态图模式
    • 静态图模式的使用场景
    • 静态图模式开启方式
      • 基于装饰器的开启方式
      • 基于context的开启方式
    • 静态图的语法约束
    • JitConfig配置选项
    • 静态图高级编程技巧
  • 个人任务打卡(读者请忽略)
  • 个人理解与总结

前言

  非常感谢华为昇思大模型平台和CSDN邀请体验昇思大模型!从今天起,笔者将以打卡的方式,将原文搬运和个人思考结合,分享25天的学习内容与成果。为了提升文章质量和阅读体验,笔者会将思考部分放在最后,供大家探索讨论。同时也欢迎各位领取算力,免费体验昇思大模型!

使用静态图加速

背景介绍

AI编译框架分为两种运行模式,分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行,但也支持手工切换为静态图模式。两种运行模式的详细介绍如下:

动态图模式

动态图的特点是计算图的构建和计算同时发生(Define by run),其符合Python的解释执行方式,在计算图中定义一个Tensor时,其值就已经被计算且确定,因此在调试模型时较为方便,能够实时得到中间结果的值,但由于所有节点都需要被保存,导致难以对整个计算图进行优化。

在MindSpore中,动态图模式又被称为PyNative模式。由于动态图的解释执行特性,在脚本开发和网络流程调试过程中,推荐使用动态图模式进行调试。如需要手动控制框架采用PyNative模式,可以通过以下代码进行网络构建:

%%capture captured_output
# 实验环境已经预装了mindspore==2.3.0rc1,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.3.0rc1
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.PYNATIVE_MODE)  # 使用set_context进行动态图模式的配置class Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()							#输入信息展平self.dense_relu_sequential = nn.SequentialCell(		#依序执行以下功能nn.Dense(28*28, 512),							#全连接层,输入通道数为28*28,输出通道数为512nn.ReLU(),										#激活函数ReLUnn.Dense(512, 512),								#全连接层,输入通道数为512,输出通道数为512nn.ReLU(),										#激活函数ReLUnn.Dense(512, 10)								#全连接层,输入通道数为512,输出通道数为10,对应0-9十种可能的结果)def construct(self, x):x = self.flatten(x)									#展平输入信息logits = self.dense_relu_sequential(x)				#输入信息进入网络,得到结果return logitsmodel = Network()											#实例化模型
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))	#输入信息的[B, C, H, W]为[64, 1, 28, 28]
output = model(input)
print(output)

在这里插入图片描述

静态图模式

相较于动态图而言,静态图的特点是将计算图的构建和实际计算分开(Define and run)。有关静态图模式的运行原理,可以参考静态图语法支持。

在MindSpore中,静态图模式又被称为Graph模式,在Graph模式下,基于图优化、计算图整图下沉等技术,编译器可以针对图进行全局的优化,获得较好的性能,因此比较适合网络固定且需要高性能的场景。

如需要手动控制框架采用静态图模式,可以通过以下代码进行网络构建:

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.GRAPH_MODE)  # 使用set_context进行运行静态图模式的配置class Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()							#输入信息展平self.dense_relu_sequential = nn.SequentialCell(		#依序执行以下功能nn.Dense(28*28, 512),							#全连接层,输入通道数为28*28,输出通道数为512nn.ReLU(),										#激活函数ReLUnn.Dense(512, 512),								#全连接层,输入通道数为512,输出通道数为512nn.ReLU(),										#激活函数ReLUnn.Dense(512, 10)								#全连接层,输入通道数为512,输出通道数为10,对应0-9十种可能的结果)def construct(self, x):x = self.flatten(x)									#展平输入信息logits = self.dense_relu_sequential(x)				#输入信息进入网络,得到结果return logitsmodel = Network()											#实例化模型
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))	#输入信息的[B, C, H, W]为[64, 1, 28, 28]
output = model(input)
print(output)

在这里插入图片描述

静态图模式的使用场景

MindSpore编译器重点面向Tensor数据的计算以及其微分处理。因此使用MindSpore API以及基于Tensor对象的操作更适合使用静态图编译优化。其他操作虽然可以部分入图编译,但实际优化作用有限。另外,静态图模式先编译后执行的模式导致其存在编译耗时。因此,如果函数无需反复执行,那么使用静态图加速也可能没有价值。

有关使用静态图来进行网络编译的示例,请参考网络构建。

静态图模式开启方式

通常情况下,由于动态图的灵活性,我们会选择使用PyNative模式来进行自由的神经网络构建,以实现模型的创新和优化。但是当需要进行性能加速时,我们需要对神经网络部分或整体进行加速。MindSpore提供了两种切换为图模式的方式,分别是基于装饰器的开启方式以及基于全局context的开启方式。

基于装饰器的开启方式

MindSpore提供了jit装饰器,可以通过修饰Python函数或者Python类的成员函数使其被编译成计算图,通过图优化等技术提高运行速度。此时我们可以简单的对想要进行性能优化的模块进行图编译加速,而模型其他部分,仍旧使用解释执行方式,不丢失动态图的灵活性。无论全局context是设置成静态图模式还是动态图模式,被jit修饰的部分始终会以静态图模式进行运行。

在需要对Tensor的某些运算进行编译加速时,可以在其定义的函数上使用jit修饰器,在调用该函数时,该模块自动被编译为静态图。需要注意的是,jit装饰器只能用来修饰函数,无法对类进行修饰。jit的使用示例如下:

import numpy as np
import mindspore as ms
from mindspore import nn, Tensorclass Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()							#输入信息展平self.dense_relu_sequential = nn.SequentialCell(		#依序执行以下功能nn.Dense(28*28, 512),							#全连接层,输入通道数为28*28,输出通道数为512nn.ReLU(),										#激活函数ReLUnn.Dense(512, 512),								#全连接层,输入通道数为512,输出通道数为512nn.ReLU(),										#激活函数ReLUnn.Dense(512, 10)								#全连接层,输入通道数为512,输出通道数为10,对应0-9十种可能的结果)def construct(self, x):x = self.flatten(x)									#展平输入信息logits = self.dense_relu_sequential(x)				#输入信息进入网络,得到结果return logitsinput = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))	#输入信息的[B, C, H, W]为[64, 1, 28, 28]@ms.jit  # 使用ms.jit装饰器,使被装饰的函数以静态图模式运行
def run(x):model = Network()										#以静态图模式运行网络return model(x)output = run(input)
print(output)

在这里插入图片描述
除使用修饰器外,也可使用函数变换方式调用jit方法,示例如下:

import numpy as np
import mindspore as ms
from mindspore import nn, Tensorclass Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()								#同上self.dense_relu_sequential = nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x = self.flatten(x)logits = self.dense_relu_sequential(x)return logitsinput = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))def run(x):model = Network()return model(x)run_with_jit = ms.jit(run)  									# 通过调用jit将函数转换为以静态图方式执行
output = run(input)
print(output)

在这里插入图片描述
当我们需要对神经网络的某部分进行加速时,可以直接在construct方法上使用jit修饰器,在调用实例化对象时,该模块自动被编译为静态图。示例如下:

import numpy as np
import mindspore as ms
from mindspore import nn, Tensorclass Network(nn.Cell):def __init__(self):super().__init__()									#同上self.flatten = nn.Flatten()self.dense_relu_sequential = nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))@ms.jit  # 使用ms.jit装饰器,使被装饰的函数以静态图模式运行def construct(self, x):x = self.flatten(x)logits = self.dense_relu_sequential(x)return logitsinput = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
model = Network()
output = model(input)
print(output)

在这里插入图片描述

基于context的开启方式

context模式是一种全局的设置模式。代码示例如下:

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.GRAPH_MODE)  # 使用set_context进行运行静态图模式的配置class Network(nn.Cell):def __init__(self):										#同上super().__init__()self.flatten = nn.Flatten()self.dense_relu_sequential = nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x = self.flatten(x)logits = self.dense_relu_sequential(x)return logitsmodel = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

在这里插入图片描述

静态图的语法约束

在Graph模式下,Python代码并不是由Python解释器去执行,而是将代码编译成静态计算图,然后执行静态计算图。因此,编译器无法支持全量的Python语法。MindSpore的静态图编译器维护了Python常用语法子集,以支持神经网络的构建及训练。详情可参考静态图语法支持。

JitConfig配置选项

在图模式下,可以通过使用JitConfig配置选项来一定程度的自定义编译流程,目前JitConfig支持的配置参数如下:

  • jit_level: 用于控制优化等级。
  • exec_mode: 用于控制模型执行方式。
  • jit_syntax_level: 设置静态图语法支持级别,详细介绍请见静态图语法支持。

静态图高级编程技巧

使用静态图高级编程技巧可以有效地提高编译效率以及执行效率,并可以使程序运行的更加稳定。详情可参考静态图高级编程技巧。

个人任务打卡(读者请忽略)

在这里插入图片描述

个人理解与总结

本章节主要描述了昇思大模型使用静态图加速的主要功能。文章首先介绍了动态图和静态图两种工作模式,其中,由于动态图的参数在定义时就被确定,因此难以优化;静态图将计算图的构建和实际计算分开,这样编译器可以针对图进行全局优化,从而获得更好的性能。对于静态图的开启方式,有基于装饰器和基于context两种方法,并均提供了使用示例。最后,文章还提供了静态图的语法约束以及JitConfig配置选项,从而帮助程序员更好地使用昇思大模型,有效地提升编译效率和执行效率,保证程序的稳定运行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/39921.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

UE4_材质_水体的反射与折射制作_Ben教程

在这个教程中,将制作水的反射和折射,上个教程,我们主要讲了制作水涟漪(水面波纹)和水滴法线混合,水深计算,我们首先要谈的是反射和产生折射的问题。我们将所有从干扰从场景中分离出去&#xff0…

英伟达(NVIDIA)数据中心GPU介绍

英伟达(NVIDIA)数据中心GPU按性能由高到低排行: 1. NVIDIA H100 架构:Hopper 核心数量:18352 CUDA Cores, 1456 Tensor Cores 显存:80 GB HBM3 峰值性能: 单精度(FP32&#xff09…

一个动画形式的分形树

要在Python中使用matplotlib来创建并展示一个动画形式的分形树(例如,基于递归的L系统生成的树),我们需要结合使用matplotlib的动画功能以及递归函数来生成树的形状。下面是一个简单的示例,展示如何使用matplotlib和Fun…

Fish Shell 中创建一个自定义函数来简化命令并复制输出到剪贴板

在 Fish Shell 中创建一个自定义函数来简化命令并复制输出到剪贴板是一个非常实用的技巧。如果你想让这个函数更通用,不仅仅局限于 tree 命令,你可以修改函数定义,使其接受任意命令作为参数。下面是如何创建一个更通用的函数,你可…

Ubuntu + SSH密钥连接服务器

1. 下载VSCode 下载链接 cd到下载文件夹后,使用命令安装,把xxx复制为文件名 sudo dpkg -i xxx.deb2. 为VSCode换皮肤 3. 下载SSH插件 4. 配置SSH 把密钥key文件放在/home/your_user_name/.ssh/里面,然后在/home/your_user_name/.ssh/confi…

【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【18】认证服务02—微博社交登录

持续学习&持续更新中… 守破离 【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【18】认证服务02—微博社交登录 微博社交登录图示原理前置准备实现流程完整代码 参考 微博社交登录 OAuth: OAuth(开放授权)是一个开放标准&#xff0…

Flutter详细使用socketIo实现实时通讯

文章目录 1. NodeJS2. SocketIo3. 服务端实现3.1 Express 4 Flutter总结 1. NodeJS 首先使用Node创建一个服务端,让Node来对所有接受到的数据进行一个获取和存储已经转发。通过在Node中编写接口来对数据进行一个具体的操作。不懂接口可以查看这篇文章。[接口](https…

如何正确面对GPT-5技术突破

随着人工智能技术的快速发展,预训练语言模型在自然语言处理领域取得了显著的成果。其中,GPT系列模型作为代表之一,受到了广泛关注。2023年,GPT-5模型的发布引起了业界的热烈讨论。本文将从以下几个方面分析GPT-5的发布及其对人工智…

Spring Boot2.x教程:(四)Spring Boot2.6及之后版本整合Knife4j的问题

Spring Boot2.6及之后版本整合Knife4j的问题 1、概述2、问题出现原因及解决办法3、拓展3.1、为什么发生这种变化 4、总结 大家好,我是欧阳方超,可以扫描下方二维码关注我的公众号“欧阳方超”,后续内容将在公众号首发。 1、概述 今天在2.7…

java-迭代器

## Java中的迭代器 ### 1. 介绍 迭代器(Iterator)是Java集合框架中一个重要的接口,用于遍历集合中的元素。迭代器提供了一种通用的方法来访问集合中的每个元素,而不需要了解集合的底层实现。Java中的迭代器支持集合的顺序遍历&a…

文本生成模型API比拼!KimiGPT 和 GLM-4 哪个更适合你?

在当今信息时代,人工智能(AI)技术的飞速发展正以前所未有的速度和深度改变着我们的生活和工作方式。随着大数据、计算能力和算法的不断提升,各类大模型的涌现使得AI的应用领域日益广泛,从自然语言处理到图像识别&#…

标准卷积的初始化和详细计算步骤,在代码中哪一步开始更新卷积核(权重)

标准卷积的初始化和详细计算步骤,在代码中哪一步开始更新卷积核(权重) flyfish 卷积 - 感受野(Receptive Field) 在卷积神经网络(CNN)中为什么可以使用多个较小的卷积核替代一个较大的卷积核&…

互联网盲盒小程序的市场发展前景如何?

近几年来,盲盒成为了大众热衷的消费市场。盲盒是一个具有随机性和惊喜感,它能够激发消费者的好奇心,在拆盲盒的过程中给消费者带来巨大的愉悦感,在各种的吸引力下,消费者也愿意为各类盲盒买单。如今,随着盲…

VSCode里python代码不扩展/级联了的解决办法

如图 解决办法:重新下载新的扩展工具 步骤如下 1、在左边工具栏打开Extensions 2、搜索框输入python,选择别的扩展工具,点击Install - 3在扩展工具所在的目录下,新建一个文件,就可以用了

iis部署前后端分离项目(React前端,Node.js后端)

iis虽然已经有点过时,但不少用户还在用,故总结一下。 1. 安装iis 如果电脑没有自带iis管理器,打开控制面板->程序->启用或关闭Windows功能,勾选iis安装即可 2. 部署前端项目 打开iis,添加网站,物理…

Docker加速器配置指南:提升镜像下载速度的秘诀 加速安装Mysql Redis ES

在安装 Docker 镜像时,由于官方镜像下载速度较慢,我们可以使用阿里云的镜像加速器来提升下载速度。 使用阿里云镜像加速器 首先,找到并配置阿里云的镜像加速器。安装教程如下: 登录阿里云,进入容器镜像服务。直达链…

05 docker 镜像

目录 1. 镜像 2. 联合文件系统 3. docker镜像加载原理 4. 镜像分层 镜像分层的优势 5. 容器层 1. 镜像 镜像是一种轻量级、可执行的独立软件包,它包含运行某个软件所需的所有内容,我们把应用程序和配置依赖打包好行程一个可交付的运行环境&#xf…

AMEYA360代理:海凌科60G客流量统计雷达模块 4T4R出入口绊数计数

数字化时代,不管是大型商城还是各种连锁店,客流统计分析都可以帮助企业更加精准地了解顾客需求和消费行为。 海凌科推出一款专用于客流量统计的60G雷达模块,4T4R,可以实时进行固定范围内的人体运动轨迹检测,根据人体的…

聊一聊领域驱动和贫血

写在前面 前段时间跟领导讨论技术债概念时不可避免地提到了代码的质量,而影响代码质量的因素向来都不是单一的,诸如项目因素、管理因素、技术选型、人员素质等等,因为是技术债务,自然就从技术角度来分析,单纯从技术角…

亚马逊跟卖僵尸选品采集,批量多站点,多关键词同时采集获取!

今天给卖家分享下亚马逊跟卖选择僵尸链接,现在很多卖家,找僵尸链接是不是都是通过亚马逊前端页面找或者是通过搜索,这样不但费时费力,还找不出几个僵尸链接,而且就算是找到了,也需要各种检查,非…