TorchVision

• torchvision 包由流行的数据集、模型架构以及用于计算机视觉的通用图片转换工具组成

TorchVision 包构成

• 图像变换和增强
• TVTensors
• 模型和预训练的权重
• 数据集
• 工具
• 操作
• 图像和视频的编/解码
• 用于模型检测的特征提取

图像变换和增强

• torchvision支持通用的计算机视觉变换；
• 变换可用于数据增强、训练和推理；
• 用于图片分类，探测，分割，视频分类等;
• 大部分变换接收PIL图像和张量格式的输入；
• 基于性能的考虑推荐以张量的型式输入；
• 张量图像的期望形状为：（C,H,W）；
• 大部分变换支持批量的张量输入；
• 批量张量图像的形状为（N,C,H,W）,N为批量数目；
• V2变换接收任意数值作为前导维度（...,C,H,W），可以批量处理图像或视频；
• CPU和CUDA张量都给与支持；

数据类型和期望的范围

• 张量图像的值范围被张量dtype隐式的定义；
• 具有float类型的张量图像的值范围期望为【0,1】；
• 具有integer类型的张量图像的值范围期望为【0，max_dtype】；
• 典型的torch.uint8类型的图像期望的值范围为【0,255】；

V1 or V2？

• 推荐使用V2；
• V2更快，功能更为丰富；
• V2的特点：
• 可以变换图像、边界框、掩膜或者视频；
• 对图像分类之外的任务提供支持：检测、分割、视频分类；
• 支持更多的变换，比如：CutMix和MixUp；
• 更快；
• 支持任意的输入结构（字典、列表，元组等）；
• 后续只对V2的进行功能更新；
• 完全向后兼容V1；

考虑性能

• 推荐使用V2：torchvision.transforms.v2
• 使用张量输入而不是PIL图像；
• 使用torch.uint8数据类型，尤其是对于resizing操作；
• resize操作推荐使用bilinear或者bicubic；

典型的变换流水线

from torchvision.transforms import v2
transforms=v2.Compose([v2.ToImage(),#Convert to tensor,only needed if you had a PIL imagev2.ToDtype(torch.uint8,scale=True),#optional,most input are already uint8 at this pointv2.RandomResizeCrop(size=(224,224),antialias=True),#Or Resize(antialias=True)v2.ToDtype(torch.float32,scale=True),#Normalize expects float inputv2.Normalize(mean=[0.485,0.456,0.406],std=[0.229,0.224,0.225])])

• 在num_workers>0的torch.utils.data.DataLoader的模块作用下，上述代码将给出典型训练环境中的最好性能；
• 变换对输入步长、内存格式敏感；
• 一些变换对于通道在前的图像具有更快的性能；
• 另一些对通道在后的图像具有更快的性能；
• 变换对于tensor的操作，将保持输入的格式，但根据具体情况，这也不总是期望的；
• 如果追求更快的性能，可能需要自己去尝试；
• 单个变换使用torch.compile()可帮助分解内存格式变量；
• 类似于Resize和RandomResizedCrop的变换，倾向于通道最后的输入，且torch.compile()没有任何优势；

变换类、函数和内核

• 像Resize这样的变化可以作为类来使用；
• 同时对于torchvision.transforms.v2.functional中的resize()函数也可作为类来使用；
• 以上两种情况类似于torch.nn包，同时定义了类和功能等效的函数在torch.nn.functional中；
• 函数的功能支持PIL图像，纯张量格式的输入或者TVTensors；
• resize（imgae_tensor）和resize（boxes）都是有效的；
• 像RandomCrop这样的随机变换当每次被调用时会随机采样参数；
• 但是他们的函数等效（crop（））不做任何随机采样，因此具有稍有不同参数；
• 当使用函数API时，get_params（）变换类方法被用于执行参数采样；
• torchvision.transforms.v2.functional命名空间也包含称为kernel的对象；
• 这些是低级别的函数实现核心的功能用于特定的类型，比如：resize_bounding_boxes和resized_crop_mask;
• 虽然没有记录，但他们是公开的；
• 如果你要想获得torchscipt support用于bounding box 或mask类型的话，kernel是十分有用的；

Torchscript 支持

• 很多变换类和函数支持torchscript；
• 对于组合变换，使用torch.nn.Sequential而不是Compose：

transforms=torch.nn.Sequential(CenterCrop(10),Normalize((0.485,0.456,0.406),(0.229,0.224,0.225)))
scripted_trtansforms=torch.jit.script(transforms)