昇思25天学习打卡营第9天 | 静态图加速

内容介绍：

AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。两种运行模式的详细介绍如下：

动态图模式：

动态图的特点是计算图的构建和计算同时发生（Define by run），其符合Python的解释执行方式，在计算图中定义一个Tensor时，其值就已经被计算且确定，因此在调试模型时较为方便，能够实时得到中间结果的值，但由于所有节点都需要被保存，导致难以对整个计算图进行优化。

在MindSpore中，动态图模式又被称为PyNative模式。由于动态图的解释执行特性，在脚本开发和网络流程调试过程中，推荐使用动态图模式进行调试。

具体内容：

1. 导包

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

2. 使用set_context进行动态图模式的配置

ms.set_context(mode=ms.PYNATIVE_MODE)

3. 模型构建

class Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()self.dense_relu_sequential = nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x = self.flatten(x)logits = self.dense_relu_sequential(x)return logitsmodel = Network()

4. 输入输出

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

5. 使用set_context进行运行静态图模式的配置

ms.set_context(mode=ms.GRAPH_MODE)

6. 构建模型

class Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()self.dense_relu_sequential = nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x = self.flatten(x)logits = self.dense_relu_sequential(x)return logitsmodel = Network()

7. 输入输出

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

静态图模式的使用场景

MindSpore编译器重点面向Tensor数据的计算以及其微分处理。因此使用MindSpore API以及基于Tensor对象的操作更适合使用静态图编译优化。其他操作虽然可以部分入图编译，但实际优化作用有限。另外，静态图模式先编译后执行的模式导致其存在编译耗时。因此，如果函数无需反复执行，那么使用静态图加速也可能没有价值。

静态图模式开启方式

通常情况下，由于动态图的灵活性，我们会选择使用PyNative模式来进行自由的神经网络构建，以实现模型的创新和优化。但是当需要进行性能加速时，我们需要对神经网络部分或整体进行加速。MindSpore提供了两种切换为图模式的方式，分别是基于装饰器的开启方式以及基于全局context的开启方式。

基于装饰器的开启方式

MindSpore提供了jit装饰器，可以通过修饰Python函数或者Python类的成员函数使其被编译成计算图，通过图优化等技术提高运行速度。此时我们可以简单的对想要进行性能优化的模块进行图编译加速，而模型其他部分，仍旧使用解释执行方式，不丢失动态图的灵活性。无论全局context是设置成静态图模式还是动态图模式，被jit修饰的部分始终会以静态图模式进行运行。

在需要对Tensor的某些运算进行编译加速时，可以在其定义的函数上使用jit修饰器，在调用该函数时，该模块自动被编译为静态图。需要注意的是，jit装饰器只能用来修饰函数，无法对类进行修饰。jit的使用示例如下：

8. 模型构建

class Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()self.dense_relu_sequential = nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x = self.flatten(x)logits = self.dense_relu_sequential(x)return logits

9. 使用修饰函数输入输出

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))@ms.jit  # 使用ms.jit装饰器，使被装饰的函数以静态图模式运行
def run(x):model = Network()return model(x)output = run(input)
print(output)

10. 通过调用jit将函数转换为以静态图方式执行

class Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()self.dense_relu_sequential = nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x = self.flatten(x)logits = self.dense_relu_sequential(x)return logitsinput = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))def run(x):model = Network()return model(x)run_with_jit = ms.jit(run)  # 通过调用jit将函数转换为以静态图方式执行
output = run(input)
print(output)

11. 当我们需要对神经网络的某部分进行加速时，可以直接在construct方法上使用jit修饰器，在调用实例化对象时，该模块自动被编译为静态图。示例如下：

class Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()self.dense_relu_sequential = nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))@ms.jit  # 使用ms.jit装饰器，使被装饰的函数以静态图模式运行def construct(self, x):x = self.flatten(x)logits = self.dense_relu_sequential(x)return logitsinput = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
model = Network()
output = model(input)
print(output)

12. 基于context的开启方式

context模式是一种全局的设置模式。

ms.set_context(mode=ms.GRAPH_MODE)  # 使用set_context进行运行静态图模式的配置class Network(nn.Cell):def __init__(self):super().__init__()self.flatten = nn.Flatten()self.dense_relu_sequential = nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x = self.flatten(x)logits = self.dense_relu_sequential(x)return logitsmodel = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

静态图加速的核心思想是将计算图的构建和实际计算分开，也就是编译和运行分开。在构建阶段，MindSpore会根据完整的计算流程对原始的计算图进行优化和调整，编译得到更省内存和计算量更少的计算图。这种编译后图的结构不再改变的特性，使得我们能够更好地利用硬件资源，提升模型的执行效率。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/861702.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Docker项目实战篇】Docker部署PDF多功能工具Stirling-PDF

【Docker项目实战篇】Docker部署PDF多功能工具Stirling-PDF

【Docker项目实战篇】Docker部署PDF多功能工具Stirling-PDF 前言一、Stirling-PDF介绍1.1 Stirling-PDF简介1.2 Stirling-PDF功能 二、本次实践规划2.1 本地环境规划2.2 本次实践介绍 三、本地环境检查3.1 检查Docker服务状态3.2 检查Docker版本3.3 检查docker compose 版本 四…
阅读更多...
详解Elastic Search高速搜索背后的秘密：倒排索引

详解Elastic Search高速搜索背后的秘密：倒排索引

🎬 鸽芷咕：个人主页 🔥 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想，就是为了理想的生活! 引入 全文搜索属于最常见的需求，开源的 Elasticsearch （以下简称 Elastic）是目前全文搜索引…
阅读更多...
Python应用开发——30天学习Streamlit Python包进行APP的构建（10）

Python应用开发——30天学习Streamlit Python包进行APP的构建（10）

st.map 显示一张叠加了散点图的地图。 它是 st.pydeck_chart 的包装器，用于在地图上快速创建散点图表，并具有自动居中和自动缩放功能。 使用该命令时，Mapbox 会提供地图瓦片来渲染地图内容。请注意，Mapbox 是第三方产品&#x…
阅读更多...
海云安参编《数字安全蓝皮书 》正式发布并入选《2024中国数字安全新质百强》荣膺“先行者”

海云安参编《数字安全蓝皮书 》正式发布并入选《2024中国数字安全新质百强》荣膺“先行者”

近日，国内数字化产业第三方调研与咨询机构数世咨询正式发布了《2024中国数字安全新质百强》（以下简称百强报告）。海云安凭借在开发安全领域的技术创新力及市场影响力入选百强报告“新质百强先行者” 本次报告，数世咨询经过对国内8…
阅读更多...
AJAX 实例：深入解析与实战应用

AJAX 实例：深入解析与实战应用

AJAX 实例：深入解析与实战应用 引言 AJAX（Asynchronous JavaScript and XML）是一种无需重新加载整个网页的情况下，能够更新部分网页的技术。自2005年提出以来，AJAX已成为现代Web开发的重要组成部分，极大地提升了用户体验和网页性能。本文将通过一系列实例，深入解析AJA…
阅读更多...
用Verilog实现4位计数器（时序逻辑）

用Verilog实现4位计数器（时序逻辑）

用Verilog实现4位计数器。（时序逻辑） 实验目的： 通过用Verilog实现4位计数器，进一步熟悉Verilog的语法和时序逻辑电路。 实验描述： 输入： Clock：如果计数器enable信号为1，那么在…
阅读更多...
多功能气象传感器的工作原理

多功能气象传感器的工作原理

TH-WQX9多功能气象传感器是一种集成了多种传感器技术的气象观测装置，旨在同时测量和监测大气中的多个气象要素，以提供全面、准确的气象信息。以下是关于多功能气象传感器的详细介绍： 技术原理 多功能气象传感器采用多种传感器技术相结合&…
阅读更多...
深入理解Git：rebase与merge

深入理解Git：rebase与merge

在Git的版本控制中，rebase和merge是两个至关重要的操作，它们用于整合不同分支的修改。然而，很多开发者在使用时容易混淆，今天我们就来详细解析一下两者的区别、优缺点，并通过实战代码来演示它们的用法。 一、rebase与…
阅读更多...
Linux(Ubuntu)下源码开发整个流程完成版本(下载-＞编译-＞模拟器运行)

Linux(Ubuntu)下源码开发整个流程完成版本(下载-＞编译-＞模拟器运行)

写这篇文章没别的意思, 年纪大了记性不好, 这次工作中下载,编译遇到了一些之前没遇到的问题,所以就所幸记录一下, 以便日后能快速查阅 好了, 正题开始 首先我们下载AOSP源代码开始 AOSP源代码下载 首先找到官网https://source.android.google.cn/ 进入后最上面点击获取源代…
阅读更多...
day01-项目介绍及初始化-登录页

day01-项目介绍及初始化-登录页

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 day01-项目介绍及初始化-登录页一、人力资源项目介绍1.1项目架构和解决方案主要模块解决的问题 二、拉取项目基础代码1.引入库2.升级core-js版本到3.25.5按照完整依…
阅读更多...
LSTM时间序列基础学习

LSTM时间序列基础学习

时间序列 时间序列可以是一维，二维，三维甚至更高维度的数据，在深度学习的世界中常见的是三维时间序列，这三个维度分别是（batch_size,time_step,input_dimensions）。 其中time_step是时间步，它…
阅读更多...
jenkins中执行docker命令

jenkins中执行docker命令

1. 修改docker.sock文件的所属组 命令如下： sudo chown root:root docker.sock 2. 对这个文件赋予权限，供其他用户使用，给定权限命令如下： sudo chmod orw docker.sock 3. docker容器映射 这里需要两个文件： 一个…
阅读更多...
js-iframe-同源策略-addEventListener-postMessage-父子框架

js-iframe-同源策略-addEventListener-postMessage-父子框架

文章目录 1.同源策略2.不同源解决办法-postMessage不受跨域的影响2.1.addEventListener函数监听消息2.2.父传子-不同源2.3.子传父-不同源 3.通过父页面操作子页面-同源3.1.值3.2.函数 4.通过子页面操作父页面-同源4.1.值4.2.函数 1.同源策略 在HTML页面中，我们有时…
阅读更多...
等保主机测评防骗指南（资产调研）

等保主机测评防骗指南（资产调研）

你是否测评时常被运维给忽悠？是否觉得以下的对话耳熟？ 你：您好，请问你们的主机资产有哪些，包括服务器、数据库、中间件、应用系统等。 甲：我们资产就这两台服务器，数据库什么的都这上面&#…
阅读更多...
中断的“挂起状态”

中断的“挂起状态”

中断的“挂起状态”（Pending State）是指中断信号已经被系统识别，但尚未被处理器处理的状态。在微控制器或计算机系统中，中断通常是程序外部事件（如硬件设备的信号）触发的信号，用于通知处理器需要…
阅读更多...
C++关键字总结

C++关键字总结

1.数据类型 bool:布尔类型，属于基本类型的整数类型，取值为真和假 true:具有布尔类型的字面量，表示真 false:具有布尔类型的字面量，表示假 char:表示字符型，定义了字节的大小，char表示单字节字符 wchar_t:表…
阅读更多...
蛇形矩阵（xmuoj）

蛇形矩阵（xmuoj）

描述 输入两个整数n和m，输出一个n行m列的矩阵，将数字11到nm按照回字蛇形填充至矩阵中。 具体矩阵形式可参考样例。 输入 输入共一行，包含两个整数n和m。 输出 输出满足要求的矩阵。 矩阵占n行，每行包含m个空格隔开的整数。…
阅读更多...
TMGM：ASIC撤销禁令，TMGM强化合规、重启差价合约服务

TMGM：ASIC撤销禁令，TMGM强化合规、重启差价合约服务

TMGM作为差价合约（CFDs）与保证金外汇交易领域的领航者，安全、合规、高效被奉为我集团的终身使命。澳大利亚证券和投资委员会（ASIC）已正式撤销了早前针对TMGM差价合约业务实施的临时止损令。这一误会的解除，…
阅读更多...
降低IT运营成本，提升客户体验 |LinkSLA亮相第十届CDIE

降低IT运营成本，提升客户体验 |LinkSLA亮相第十届CDIE

6月25-26日，中国数字化创新博览会（CDIE 2024）在上海张江科学会堂举行。本届展览主题为“AI创新，引领商业增长新格局”，旨在交流企业在数字化时代，如何以科技为驱动，在转型中如何把握机遇&#x…
阅读更多...
Springboot + Mybatis-Plus代码生成指南

Springboot + Mybatis-Plus代码生成指南

使用 Spring Boot 和 MyBatis-Plus 生成代码&#xff0c;可以大大简化开发流程&#xff0c;可以保持编码的规范性&#xff0c;生成单元测试等。以下是详细步骤&#xff1a; 配置pom.xml <dependency><groupId>com.baomidou</groupId><artifactId>myb…
阅读更多...
最新文章

Copyright @ 2022~2023