PyTorch 1.13简介

# 1. 　PyTorch 1.13

据官方介绍，PyTorch 1.13 中包括了 BetterTransformer 的稳定版，且不再支持 CUDA 10.2 及 11.3，并完成了向 CUDA 11.6 及 11.7 的迁移。此外 Beta 版还增加了对 Apple M1 芯片及 functorch 的支持。

1.1　主要更新

BetterTransformer 功能集 (feature set) 支持一般的 Transformer 模型在推理过程中，无需修改模型即可进行 fastpath 执行。

此外改进还包括对 Transformer 模型中常用 size 进行加速的 add+matmul 线性代数内核，现已默认启用嵌套 Tensor。

不再支持旧的 CUDA 版本，引入 Nvidia 推出的最新 CUDA 版本。这使得 PyTorch 和新的 NVIDIA Open GPU 内核模块得以支持 C++17 。
functorch 从单独软件包变为可直接通过 import functorch 导入 PyTorch 使用，无需再单独安装。
测试为 M1 芯片 Mac 提供本地构建，并提供更好的 PyTorch API 支持。

1.2　　稳定版和测试版

在这里插入图片描述

2. 　Stable Features

2.1　 BetterTransformer API

BetterTransformer 功能集 (feature set) 支持一般的 Transformer 模型在推理过程中，无需修改模型即可进行 fastpath 执行。

作为补充，PyTorch 1.13 中还针对 Transformer 模型中常用的 size，加速了 add+matmul 线性代数内核。

为了提升 NLP 模型性能，PyTorch 1.13 中的 BetterTransformer 默认启用嵌套 Tensor (Nested Tensor)。在兼容性方面，执行 mask check 确保能提供连续 mask。

Transformer Encoder 中 src_key_padding_mask 的 mask check 可以通过设置 mask_check=False 屏蔽。该设置可以加快处理速度，而非仅提供对齐的 mask。

最后，提供了更好的报错信息，简化错误输入的诊断，同时为 fastpath execution 错误提供了更佳的诊断方法。

Better Transformer 直接集成到 PyTorch TorchText 库中，这使得 TorchText 用户能够更轻松地利用 BetterTransformer 的速度及效率性能。

在这里插入图片描述
Betterformfast 的 fastpath 执行现已稳定可用

并默认启用嵌套张量表示的稀疏优化；

2.2　引入 CUDA 11.6 和 11.7，

不再支持 CUDA 10.2 和 11.3

CUDA 11 是第一个支持 C++17 的 CUDA 版本，不再支持 CUDA 10.2 是推进 PyTorch 支持 C++17 的重要一步，还能通过消除遗留的 CUDA 10.2 特定指令，来改进 PyTorch 代码。

CUDA 11.3 的退出和 11.7 的引入，使得 PyTorch 对 NVIDIA Open GPU 内核模块的兼容性更好，另一个重要的亮点是对延迟加载 (lazy loading) 的支持。

CUDA 11.7 自带 cuDNN 8.5.0，包含大量优化，可加速基于 Transformer 的模型，库的 size 减少 30% ，并对 runtime fusion engine 进行了各种改进。

3. 　Beta版本 Features

3.1　functorch

functorch 是 PyTorch 中的一个库;

与 Google JAX 类似，functorch 是 PyTorch 中的一个库，提供可组合的 vmap（矢量化）和 autodiff 转换。它支持高级的 autodiff 用例（在 PyTorch 中难以表达），包括：

模型集成 model ensembling
高效计算 Jacobian 和 Hessians
计算 per-sample-gradients 或其他 per-sample quantities

PyTorch 1.13 内置 functorch 库，无需单独安装。通过 conda 或 pip 安装 PyTorch 后，就可以在程序中 import functorch 了。

提供可组合的 vmap（向量化）和 autodiff 转换

在这里插入图片描述

3.2 集成英特尔 VTune™ Profiler 及 ITT

PyTorch 用户如果希望在英特尔平台上用底层性能指标来分析每个算子的性能时，可以在英特尔 VTune™ Profiler 中可视化 PyTorch 脚本执行的算子级 timeline。


with torch.autograd.profiler.emit_itt():for i in range(10):torch.itt.range_push('step_{}'.format(i))model(input)torch.itt.range_pop()

3.3 NNC：增加 BF16 和 Channels last 支持

通过在 NNC 中增加 Channels last 和 BF16 的支持，TorchScript 在 x86 CPU 上的 graph-mode 推理性能得到了显著提升。

在英特尔 Cooper Lake 处理器上，通过这两项优化，可以使得视觉模型性能达到 2 倍以上的提升。

通过现有的 TorchScript、Channels last 以及 BF16 Autocast API，可以实现性能提升。如下所示，NNC 中的优化将迁移到新的 PyTorch DL Compiler TorchInductor 中：

import torch
import torchvision.models as models
model = models.resnet50(pretrained=True)
# Convert the model to channels-last
model = model.to(memory_format=torch.channels_last)
model.eval()
data = torch.rand(1, 3, 224, 224)
# Convert the data to channels-lastdata = data.to(memory_format=torch.channels_last)
# Enable autocast to run with BF16
with torch.cpu.amp.autocast(), torch.no_grad():
# Trace the model
model = torch.jit.trace(model, torch.rand(1, 3, 224, 224))model = torch.jit.freeze(model)# Run the traced modelmodel(data)