【官方文档解读】torch.jit.script 的使用,并附上官方文档中的示例代码


由 OpenMMLab 的部署教程 所述,对于模型中存在有控制条件的(如 if,for 等),需要用 torch.jit.script 而非采样默认的 torch.jit.trace 方法。本文则详细介绍了下官方文档中对 torch.jit.script 的解释和示例代码。

torch.jit.script

torch.jit.script 用于将函数或 nn.Module 编译为 TorchScript。

函数签名
torch.jit.script(obj, optimize=None, _frames_up=0, _rcb=None, example_inputs=None)
功能概述

将函数或 nn.Module 脚本化,会检查源代码,并使用 TorchScript 编译器将其编译为 TorchScript 代码,并返回一个 ScriptModuleScriptFunction。TorchScript 是 Python 语言的一个子集,因此并不是所有的 Python 功能都能在其中使用,但我们提供了足够的功能来对张量进行计算和执行控制相关操作。完整指南请参阅 TorchScript 语言参考。

脚本化字典或列表会将其中的数据复制到一个 TorchScript 实例中,该实例可以在 Python 和 TorchScript 之间以零复制开销传递引用。

torch.jit.script 可以作为函数用于模块、函数、字典和列表,并可以作为装饰器 @torch.jit.script 用于 TorchScript 类和函数。

参数
  • obj(Callable、类或 nn.Module) – 要编译的 nn.Module、函数、类类型、字典或列表。
  • example_inputs(Union[List[Tuple], Dict[Callable, List[Tuple]], None]) – 提供示例输入以注释函数或 nn.Module 的参数。
返回值

如果 obj 是 nn.Module,脚本会返回一个 ScriptModule 对象。返回的 ScriptModule 将具有与原始 nn.Module 相同的子模块和参数集。如果 obj 是独立函数,将返回 ScriptFunction。如果 obj 是字典,则脚本返回 torch._C.ScriptDict 实例。如果 obj 是列表,则脚本返回 torch._C.ScriptList 实例。

脚本化函数

@torch.jit.script 装饰器通过编译函数体来构建 ScriptFunction。

示例(脚本化函数):
import torch@torch.jit.script
def foo(x, y):if x.max() > y.max():r = xelse:r = yreturn rprint(type(foo))  # torch.jit.ScriptFunction# 以 Python 代码查看编译后的图
print(foo.code)# 使用 TorchScript 解释器调用函数
foo(torch.ones(2, 2), torch.ones(2, 2))
使用示例输入脚本化函数

示例输入可用于注释函数参数。

示例(脚本化前注释函数):
import torchdef test_sum(a, b):return a + b# 注释参数为 int
scripted_fn = torch.jit.script(test_sum, example_inputs=[(3, 4)])print(type(scripted_fn))  # torch.jit.ScriptFunction# 以 Python 代码查看编译后的图
print(scripted_fn.code)# 使用 TorchScript 解释器调用函数
scripted_fn(20, 100)
脚本化 nn.Module

默认情况下,脚本化 nn.Module 会编译 forward 方法,并递归编译 forward 调用的任何方法、子模块和函数。如果 nn.Module 仅使用 TorchScript 支持的功能,则无需对原始模块代码进行任何更改。脚本将构建一个 ScriptModule,其中包含原始模块的属性、副本和方法。

示例(脚本化包含参数的简单模块):
import torchclass MyModule(torch.nn.Module):def __init__(self, N, M):super().__init__()# 此参数将被复制到新的 ScriptModuleself.weight = torch.nn.Parameter(torch.rand(N, M))# 当使用此子模块时,它将被编译self.linear = torch.nn.Linear(N, M)def forward(self, input):output = self.weight.mv(input)# 这会调用 `nn.Linear` 模块的 `forward` 方法,从而在此处将 `self.linear` 子模块编译为 `ScriptModule`output = self.linear(output)return outputscripted_module = torch.jit.script(MyModule(2, 3))
示例(脚本化包含 traced 子模块的模块):
import torch
import torch.nn as nn
import torch.nn.functional as Fclass MyModule(nn.Module):def __init__(self):super().__init__()# torch.jit.trace 生成一个 ScriptModule 的 conv1 和 conv2self.conv1 = torch.jit.trace(nn.Conv2d(1, 20, 5), torch.rand(1, 1, 16, 16))self.conv2 = torch.jit.trace(nn.Conv2d(20, 20, 5), torch.rand(1, 20, 16, 16))def forward(self, input):input = F.relu(self.conv1(input))input = F.relu(self.conv2(input))return inputscripted_module = torch.jit.script(MyModule())

要编译 forward 以外的方法(并递归编译它调用的任何内容),请将 @torch.jit.export 装饰器添加到方法上。要选择不编译,请使用 @torch.jit.ignore@torch.jit.unused

示例(模块中导出和忽略的方法):
import torch
import torch.nn as nnclass MyModule(nn.Module):def __init__(self):super().__init__()@torch.jit.exportdef some_entry_point(self, input):return input + 10@torch.jit.ignoredef python_only_fn(self, input):# 此函数不会被编译,因此可以使用任何 Python APIimport pdbpdb.set_trace()def forward(self, input):if self.training:self.python_only_fn(input)return input * 99scripted_module = torch.jit.script(MyModule())
print(scripted_module.some_entry_point(torch.randn(2, 2)))
print(scripted_module(torch.randn(2, 2)))
示例(使用示例输入注释 nn.Module 的 forward 方法):
import torch
import torch.nn as nn
from typing import NamedTupleclass MyModule(NamedTuple):result: List[int]class TestNNModule(torch.nn.Module):def forward(self, a) -> MyModule:result = MyModule(result=a)return resultpdt_model = TestNNModule()# 在提供的输入下运行 pdt_model 并注释 forward 的参数
scripted_model = torch.jit.script(pdt_model, example_inputs={pdt_model: [([10, 20, ], ), ], })# 使用实际输入运行 scripted_model
print(scripted_model([20]))

官方文档链接:https://pytorch.org/docs/stable/generated/torch.jit.script.html#torch.jit.script

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/22375.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇

简介 作为一种特定领域语言,SQL 的设计初衷是隐藏底层数据处理的复杂性,让用户通过声明式语言来进行数据操作。而Flink SQL 由于其架构的特殊性,在实现层面通常需引入状态后端 配合 checkpoint 来保证计算结果的最终一致性。目前 Flink SQL 生成状态算子的策略由优化器根据配…

EcoVadis审核方法是什么符合EcoVadis规范的文件清单

EcoVadis审核方法是参照全球契约社会责任国际标准进行,包括环境、劳工及人权、商业道德、可持续采购等四大主题又分:能源消耗及温室气体排放、水环境管理、生态环境与物种多样性保护、局部环境污染、原材料及化学品使用(含废弃物)、产品使用、产品生命末期、消费者健…

C++基础编程100题-003 OpenJudge-1.1-05 输出保留12位小数的浮点数

更多资源请关注纽扣编程微信公众号 http://noi.openjudge.cn/ch0101/05/ 描述 读入一个双精度浮点数,保留12位小数,输出这个浮点数。 输入 只有一行,一个双精度浮点数。 输出 也只有一行,保留12位小数的浮点数。 样例输入…

scanfmalloc

之前知道scanf输入过多时会触发malloc,这次进行系统地记录。 1.setbuf(stdin,0) 大部分程序都会有这样地初始化,这使得一开始heap中不会有为scanf预留的缓冲区。 但是预留的缓冲区终是有限的,例如输入0x400以上时,scanf就会触发…

python的模块

什么是模块(Module) 在计算机程序的开发过程中,随着程序代码越写越多,写在一个文件里的代码就会越来越长,越来越不容易维护。 为了让代码方便维护,我们将代码进行分类,分别放到不同的文件里。…

Python笔记 - generator方法

深入理解Python生成器(Generators) 在Python编程中,生成器(Generators)是一个非常强大且灵活的工具。它们提供了一种创建迭代器的简便方法,使得我们能够高效地处理大量数据。本文将深入探讨Python生成器&a…

【OpenHarmony】ArkTS 语法基础 ④ ( ArkTS UI 渲染控制 | if else 条件渲染 | ForEach 循环渲染 )

文章目录 一、ArkTS UI 渲染控制1、if else 条件渲染2、ForEach 循环渲染 二、完整代码示例1、自定义组件代码2、主界面代码3、执行结果 参考文档 : <HarmonyOS第一课>ArkTS开发语言介绍 一、ArkTS UI 渲染控制 1、if else 条件渲染 在 Component 自定义组件 中的 build …

⌈ 传知代码 ⌋ 预测人物性别年龄

&#x1f49b;前情提要&#x1f49b; 本文是传知代码平台中的相关前沿知识与技术的分享~ 接下来我们即将进入一个全新的空间&#xff0c;对技术有一个全新的视角~ 本文所涉及所有资源均在传知代码平台可获取 以下的内容一定会让你对AI 赋能时代有一个颠覆性的认识哦&#x…

chargpt: 用纯c 写一9*9数独程序

Chatgpt 真的可以写出完美的代码&#xff0c;学计算机编程没有前途。还有2天就要高考了&#xff0c;大家加油考出好成绩。但不要报编程专业了。 下面是一个完整的9x9数独求解程序&#xff0c;使用C语言实现。这个程序包括读取数独棋盘、解决数独问题并打印解决方案的功能。数独…

一篇最容易入门和经典Python库,看这篇就够了

1.NumPy 简介:用于处理大型多维数组和矩阵的库,以及一系列高级数学函数. import numpy as np a np.array([1, 2, 3, 4]) b np.array([[1, 3], [3, 4]]) print(np.dot(a, b))2.Pandas 简介:用于数据分析和操作的库,提供了主要数据结构为数据框&#xff08;DataFrame&#xf…

Python报错:AttributeError: <unknown>.DeliveryStore 获取Outlook邮箱时报错

目录 报错提示&#xff1a; 现象描述 代码解释&#xff1a; 原因分析&#xff1a; 报错提示&#xff1a; in get_outlook_email return account.DeliveryStore.DisplayName line 106, in <module> email_address get_outlook_email() 现象描述 获取outlook本地邮箱…

Javascript 数据类型详解:7种基本类型、3种引用类型

还是大剑师兰特&#xff1a;曾是美国某知名大学计算机专业研究生&#xff0c;现为航空航海领域高级前端工程师&#xff1b;CSDN知名博主&#xff0c;GIS领域优质创作者&#xff0c;深耕openlayers、leaflet、mapbox、cesium&#xff0c;canvas&#xff0c;webgl&#xff0c;ech…

LightDB PLSQL介绍(第一篇)

文章目录 概述开发工具ltsql PL/SQL基础程序结构匿名块存储过程函数 数据类型 控制语句条件语句IF 条件语句CASE条件语句 循环语句简单LOOPFOR LOOPWHILE循环循环退出循环继续 循序控制 静态语句动态语句游标隐式游标隐式游标属性隐式游标的异常处理 显式游标声明显式游标打开显…

【CesiumJS入门】(12)Vite+Vue3+Cesium 简易安装与配置

步骤 vite 创建项目&#xff1a;yarn create vite安装 Cesium&#xff1a;yarn add cesium安装 vite-plugin-static-copy&#xff1a;yarn add -D vite-plugin-static-copy 配置 vite.config.js &#xff1a; import { defineConfig } from "vite"; import vue fro…

制作自己的 ButterKnife(使用 AutoService 和 APT 注解处理器在编译期生成 Java 代码)

ButterKnife 开发过 Android 的肯定都知道曾经有这么一个库&#xff0c;它能够让你不用再写 findViewById 这样的代码&#xff0c;这就是大名鼎鼎的 ButterKnife&#xff08;https://github.com/JakeWharton/butterknife&#xff09;。虽然现在这个库已经不再维护&#xff0c;…

LabVIEW实现汽车逆变器功能测试系统

​介绍了如何利用LabVIEW开发汽车逆变器&#xff08;包括功率板和控制板&#xff09;的自动测试设备&#xff08;ATE&#xff09;&#xff0c;实现对额定800V电压、300A电流的逆变器进行功能测试。系统通过CAN2.0通讯协议&#xff0c;实现电机控制、温度传感器监测、电压校验和…

Java程序策——Java连接数据库保姆级教程(超详细步骤)

【Java程序策】——连接数据库 目录 ​编辑 一&#xff1a;在数据库中建立一个表&#xff08;student表&#xff09; 1.1&#xff1a;进入mysql 1.2&#xff1a;建立一个“数据库成员” 1.3&#xff1a;建立一个表&#xff08;student表&#xff09; 1.4&#xff1a;给表…

pytorch学习day5

一、权值初始化 在深度学习中&#xff0c;权值初始化是神经网络训练中关键的一步。正确的权值初始化可以帮助加速收敛速度&#xff0c;提高模型的稳定性和泛化能力。在PyTorch中&#xff0c;我们可以通过torch.nn.init模块中的函数来实现不同的权值初始化方法。 1.常规初始化 P…

算法刷题笔记 判断子序列(C++实现)

文章目录 题目描述基本思路实现代码 题目描述 给定一个长度为n的整数序列a1,a2,…,an以及一个长度为m的整数序列b1,b2,…,bm。请你判断a序列是否为b序列的子序列。子序列指序列的一部分项按原有次序排列而得的序列&#xff0c;例如序列{a1,a3,a5}是序列{a1,a2,a3,a4,a5}的一个…