PyTorch框架学习十八——Layer Normalization、Instance Normalization、Group Normalization

PyTorch框架学习十八——Layer Normalization、Instance Normalization、Group Normalization

  • 一、为什么要标准化？
  • 二、BN、LN、IN、GN的异同
  • 三、Layer Normalization
  • 四、Instance Normalization
  • 五、Group Normalization

上次笔记介绍了Batch Normalization以及它在PyTorch中的使用：https://blog.csdn.net/qq_40467656/article/details/108375181

这次笔记将介绍由BN引发的其他标准化层，它们各自适用于不同的应用场景，分别是适用于变长网络的Layer Normalization；适用于图像生成的Instance Normalization；适用于小mini-batch的Group Normalization。

一、为什么要标准化？

这个在上次BN的笔记中介绍过，本意是为了解决ICS问题，即随着网络层数加深，数据分布异常（很小或很大），从而导致训练困难。详情回顾：https://blog.csdn.net/qq_40467656/article/details/108375181

二、BN、LN、IN、GN的异同

  • 同：都做了标准化的工作。
  • 异：均值和方差的求取方式不一样，即选择的计算区域不一样，这个可以看完下一小节的详细介绍回过来看，可能会更能理解。

三、Layer Normalization

LN提出的起因是因为BN不适用于变长的网络，如RNN，这部分的内容还没有接触过，但是可以简单理解为这种网络的神经元个数是会变化的，不是一样的，如下图所示：
在这里插入图片描述
ps：注意这里的横轴不是数据样本个数，只是代表这层网络层神经元可能会变为5/3/4个，在每种个数的情况下，样本数还是一个batchsize的大小。

第一次可能有五个特征，计算得到五个均值和方差，而第二轮计算时，网络层的神经元变为3个，而BN里计算均值和方差是需要用到之前的结果的，这里之前的五个均值方差就对应不了三个特征，所以BN在这种情况下是不适用的。

那么LN是怎么计算均值和方差的呢？以一维的情况为例：
在这里插入图片描述
之所以称为Layer Norm，就是对该层的数据求均值和方差，不再按照特征那个维度去求，每个样本都单独求其均值方差，可以理解为逐样本的求取方式。

二维三维的情况类似，如下图所示：
在这里插入图片描述
在这里插入图片描述

LN需要注意的地方：

  • 不再有running_mean和running_var
  • gamma和beta为逐元素的

LN在PyTorch中的实现：

torch.nn.LayerNorm(normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, elementwise_affine: bool = True)

参数如下所示：
在这里插入图片描述

  1. normalized_shape：（int/list/torch.Size）该层的特征维度，即要被标准化的维度。
  2. eps：分母修正项。
  3. elementwise_affine：是否需要affine transform，这里也提醒你是逐元素的仿射变换。

下面看一个PyTorch实现的例子：

import torch
import numpy as np
import torch.nn as nn
import sys, os
hello_pytorch_DIR = os.path.abspath(os.path.dirname(__file__)+os.path.sep+".."+os.path.sep+"..")
sys.path.append(hello_pytorch_DIR)
from tools.common_tools import set_seedset_seed(1)  # 设置随机种子# ======================================== nn.layer norm
flag = 1
# flag = 0
if flag:batch_size = 8num_features = 3features_shape = (3, 4)feature_map = torch.ones(features_shape)  # 2Dfeature_maps = torch.stack([feature_map * (i + 1) for i in range(num_features)], dim=0)  # 3Dfeature_maps_bs = torch.stack([feature_maps for i in range(batch_size)], dim=0)  # 4D# feature_maps_bs shape is [8, 3, 3, 4],  B * C * H * Wln = nn.LayerNorm(feature_maps_bs.size()[1:], elementwise_affine=True)# ln = nn.LayerNorm(feature_maps_bs.size()[1:], elementwise_affine=False)# ln = nn.LayerNorm([3, 3, 4])# ln = nn.LayerNorm([3, 3])output = ln(feature_maps_bs)print("Layer Normalization")print(ln.weight.shape)print(feature_maps_bs[0, ...])print(output[0, ...])

结果如下：

Layer Normalization
torch.Size([3, 3, 4])
tensor([[[1., 1., 1., 1.],[1., 1., 1., 1.],[1., 1., 1., 1.]],[[2., 2., 2., 2.],[2., 2., 2., 2.],[2., 2., 2., 2.]],[[3., 3., 3., 3.],[3., 3., 3., 3.],[3., 3., 3., 3.]]])
tensor([[[-1.2247, -1.2247, -1.2247, -1.2247],[-1.2247, -1.2247, -1.2247, -1.2247],[-1.2247, -1.2247, -1.2247, -1.2247]],[[ 0.0000,  0.0000,  0.0000,  0.0000],[ 0.0000,  0.0000,  0.0000,  0.0000],[ 0.0000,  0.0000,  0.0000,  0.0000]],[[ 1.2247,  1.2247,  1.2247,  1.2247],[ 1.2247,  1.2247,  1.2247,  1.2247],[ 1.2247,  1.2247,  1.2247,  1.2247]]], grad_fn=<SelectBackward>)

这边只打印了第一个数据的结果，它的均值是2，所以中间一个3×4的特征标准化之后全为0。

四、Instance Normalization

IN层的提出是因为在图像生成任务中，一个batch里的图像的风格可能不尽相同，不能通过BN的计算方式去将各个风格的特征混为一谈，所以BN在这种情况下会不适用。

那么，IN层的计算方式的思路是逐Instance（channel）地计算均值和方差，如下图所示：
在这里插入图片描述
它是每一个样本每一个特征都去计算均值方差然后标准化。

IN层在PyTorch中的实现如下所示：（以二维为例）

torch.nn.InstanceNorm2d(num_features: int, eps: float = 1e-05, momentum: float = 0.1, affine: bool = False, track_running_stats: bool = False)

参数如下所示：
在这里插入图片描述

  1. num_features：一个样本特征的数量。
  2. eps：分母修正项。
  3. momentum：指数加权平均求均值方差。
  4. affine：是否仿射变换，默认False。
  5. track_running_stats：是否追踪batch，使得统计结果更具全局性，一般训练时是需要追踪，测试时不追踪，使用固定的均值方差，默认False（测试）。

看一个IN的例子：

flag = 1
# flag = 0
if flag:batch_size = 3num_features = 3momentum = 0.3features_shape = (2, 2)feature_map = torch.ones(features_shape)    # 2Dfeature_maps = torch.stack([feature_map * (i + 1) for i in range(num_features)], dim=0)  # 3Dfeature_maps_bs = torch.stack([feature_maps for i in range(batch_size)], dim=0)  # 4Dprint("Instance Normalization")print("input data:\n{} shape is {}".format(feature_maps_bs, feature_maps_bs.shape))instance_n = nn.InstanceNorm2d(num_features=num_features, momentum=momentum, affine=True, track_running_stats=True)for i in range(1):outputs = instance_n(feature_maps_bs)print(outputs)print("\niter:{}, running_mean.shape: {}".format(i, instance_n.running_mean.shape))print("iter:{}, running_var.shape: {}".format(i, instance_n.running_var.shape))print("iter:{}, weight.shape: {}".format(i, instance_n.weight.shape))print("iter:{}, bias.shape: {}".format(i, instance_n.bias.shape))

结果如下：

Instance Normalization
input data:
tensor([[[[1., 1.],[1., 1.]],[[2., 2.],[2., 2.]],[[3., 3.],[3., 3.]]],[[[1., 1.],[1., 1.]],[[2., 2.],[2., 2.]],[[3., 3.],[3., 3.]]],[[[1., 1.],[1., 1.]],[[2., 2.],[2., 2.]],[[3., 3.],[3., 3.]]]]) shape is torch.Size([3, 3, 2, 2])
tensor([[[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]]],[[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]]],[[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]]]], grad_fn=<ViewBackward>)iter:0, running_mean.shape: torch.Size([3])
iter:0, running_var.shape: torch.Size([3])
iter:0, weight.shape: torch.Size([3])
iter:0, bias.shape: torch.Size([3])

五、Group Normalization

GN的提出是因为，随着如今数据样本变得越来越大，以现有的GPU能力可能只能放置比较小的mini-batch，而一个batch比较少的数据的话，使用BN可能计算得到的均值和方差就有较大的偏差，估计的值不准，所以BN在小mini-batch的场景下不适用。

那么GN的计算思路就是：数据样本不够，通道（特征）数来凑，其如下所示：
在这里插入图片描述

图中所示是将一个样本的两个特征划分为一个group，这里只是为了说明GN的原理，实际上特征数是很多的，比如256，那么我们分为两组的话，一组有128个特征通道，数量还是比较可观的，在这样的分组下对每一组单独求取均值方差然后标准化。

注意：

  • 不再有running_mean和running_var，与LN一致。
  • gamma和beta为逐通道的。

应用场景：大模型，小batch size的任务。

GN在PyTorch中的实现如下：

torch.nn.GroupNorm(num_groups: int, num_channels: int, eps: float = 1e-05, affine: bool = True)

参数如下所示：

在这里插入图片描述

  1. num_groups：分组数。
  2. num_channels：通道数。
  3. eps：同上。
  4. affine：是否仿射变换。

下面看一个例子：

flag = 1
# flag = 0
if flag:batch_size = 2num_features = 4num_groups = 2   # 3 Expected number of channels in input to be divisible by num_groupsfeatures_shape = (2, 2)feature_map = torch.ones(features_shape)    # 2Dfeature_maps = torch.stack([feature_map * (i + 1) for i in range(num_features)], dim=0)  # 3Dfeature_maps_bs = torch.stack([feature_maps * (i + 1) for i in range(batch_size)], dim=0)  # 4Dgn = nn.GroupNorm(num_groups, num_features)outputs = gn(feature_maps_bs)print("Group Normalization")print(gn.weight.shape)print(outputs[0])

结果如下：

Group Normalization
torch.Size([4])
tensor([[[-1.0000, -1.0000],[-1.0000, -1.0000]],[[ 1.0000,  1.0000],[ 1.0000,  1.0000]],[[-1.0000, -1.0000],[-1.0000, -1.0000]],[[ 1.0000,  1.0000],[ 1.0000,  1.0000]]], grad_fn=<SelectBackward>)

最后放一张BN、LN、IN和GN的计算方式示例图，帮助理解：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/491659.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

重磅！苹果祭出大招：史上最强 Mac 发布，iPad OS 惊艳问世

重磅！苹果祭出大招：史上最强 Mac 发布，iPad OS 惊艳问世

来源&#xff1a;网络大数据伴随着时间的脚步进入到 6 月份&#xff0c;一年一度的苹果 WWDC 开发者大会又如期到来;这是苹果自举办开发者大会以来的第三十场 WWDC&#xff0c;因而有着不一样的意义。今年的 WWDC 在苹果库比蒂诺总部附近的 San Jose McEnery Convention Center…
阅读更多...
jad反编译命令

jad反编译命令

jad -r -d f:\test_java -s java com/**/*.class 参数说明&#xff1a;　　 -r&#xff1a;反编译并建立和java包一致的文件夹路径&#xff1b; -d&#xff1a;指定反编译的文件输出路径&#xff1b; -s&#xff1a;指定反编译成成的文件后缀名&#xff1b;&#xff08;如果不…
阅读更多...
PyTorch框架学习十九——模型加载与保存

PyTorch框架学习十九——模型加载与保存

PyTorch框架学习十九——模型加载与保存一、序列化与反序列化二、PyTorch中的序列化与反序列化1.torch.save2.torch.load三、模型的保存1.方法一&#xff1a;保存整个Module2.方法二&#xff1a;仅保存模型参数四、模型的加载1.加载整个模型2.仅加载模型参数五、断点续训练1.断…
阅读更多...
新计算推动信息技术产业新发展？

新计算推动信息技术产业新发展？

来源&#xff1a;工信头条未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能&#xff0c;互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括&#xff1a;建立AI智能系统智商评测体系&#xff0c;开展世界人工智能智商评测&#xff1b;开展互联网&#…
阅读更多...
保存tensorboard的损失曲线为图片

保存tensorboard的损失曲线为图片

损失loss一般是标量&#xff0c;损失曲线一般显示在TensorBoard的SCALARS下&#xff0c;如图所示&#xff1a; 如果想将损失曲线保存下来&#xff0c;选中左边“Show data download links”按钮&#xff0c;曲线下面就会有一个下载按钮&#xff0c;但是只能保存为SVG文件&#…
阅读更多...
反思自己

反思自己

时间不期&#xff0c;10月份已经结束了&#xff0c;2015年也快过去了&#xff0c;时间过得真是太快了&#xff0c;快到自己都未能意识到自己已经是工作了两年多时间了。而之前推辞自己没有做好事情的时候&#xff0c;还在使用这件事之前没有做过这样的借口&#xff0c;这使我感…
阅读更多...
PyTorch框架学习二十——模型微调（Finetune）

PyTorch框架学习二十——模型微调（Finetune）

PyTorch框架学习二十——模型微调&#xff08;Finetune&#xff09;一、Transfer Learning&#xff1a;迁移学习二、Model Finetune&#xff1a;模型的迁移学习三、看个例子&#xff1a;用ResNet18预训练模型训练一个图片二分类任务因为模型微调的内容没有实际使用过&#xff0…
阅读更多...
sql中 in , not in , exists , not exists效率分析

sql中 in , not in , exists , not exists效率分析

in和exists执行时&#xff0c;in是先执行子查询中的查询&#xff0c;然后再执行主查询。而exists查询它是先执行主查询&#xff0c;即外层表的查询&#xff0c;然后再执行子查询。 exists 和 in 在执行时效率单从执行时间来说差不多&#xff0c;exists要稍微优于in。在使用时一…
阅读更多...
美国服务机器人技术路线图

美国服务机器人技术路线图

来源&#xff1a;美国国家科学基金会服务机器人正在以高速的增长速度加速步入我们的日常生活。正是基于广阔的市场前景&#xff0c;美国国家科学基金会颁布了《美国机器人技术路线图》&#xff0c;其中服务机器人是其中的重点一章。服务机器人的主要应用领域服务机器人是一类用…
阅读更多...
使用matplotlib画图时不能同时打开太多张图

使用matplotlib画图时不能同时打开太多张图

使用matplotlib画图时有时会收到来自matplotlib的runtime warming的警告&#xff0c;原因可能是同时打开太多张图&#xff0c;最常见的情况是在一个循环中画图&#xff0c;每次循环都新建一个图&#xff0c;但是未关闭新建的图&#xff0c;当循环次数多了之后内存就吃不消了。 …
阅读更多...
OpenCV与图像处理学习一——图像基础知识、读入、显示、保存图像、灰度转化、通道分离与合并

OpenCV与图像处理学习一——图像基础知识、读入、显示、保存图像、灰度转化、通道分离与合并

OpenCV与图像处理学习一——图像基础知识、读入、显示、保存图像、灰度转化、通道分离与合并一、图像基础知识1.1 数字图像的概念1.2 数字图像的应用1.3 OpenCV介绍二、图像属性2.1 图像格式2.2 图像尺寸2.2.1 读入图像2.2.2 显示图像2.2.3 保存图像2.3 图像分辨率和通道数2.3.…
阅读更多...
【Docker】Docker学习笔记：安装部署

【Docker】Docker学习笔记：安装部署

Docker 是实现轻量级的操作系统虚拟化解决方案。 Docker目前已经支持非常多的Linux平台&#xff0c;Ubuntu、Red Hat企业版Linux、Debian、CentOs、Fedora、Oracle Linux等。如果使用虚拟环境&#xff0c;甚至可以在OS X 和 windows中运行。 安装的条件 Docker目前只能在64位CP…
阅读更多...
定了！5G商用牌照近期发放​​​​，透露两大信息（附：2019年5G行业关键材料及市场研究报告）...

定了！5G商用牌照近期发放​​​​，透露两大信息（附：2019年5G行业关键材料及市场研究报告）...

来源&#xff1a;世界科技创新论坛据工信微报和新华社消息&#xff1a;日前&#xff0c;全球5G正在进入商用部署的关键期。坚持自主创新与开放合作相结合&#xff0c;我国5G产业已建立竞争优势。5G标准是全球产业界共同参与制定的统一国际标准&#xff0c;我国声明的标准必要专…
阅读更多...
python保存和加载数组

python保存和加载数组

通过np.save("filename.npy",a)保存数组&#xff0c;数组可以为高维。利用这种方法&#xff0c;保存文件的后缀名字一定会被置为.npy&#xff0c;这种格式最好只用numpy.load("filename")来读取。 举个例子&#xff1a; import numpy as npa np.array([…
阅读更多...
OpenCV与图像处理学习二——图像直方图与色彩空间

OpenCV与图像处理学习二——图像直方图与色彩空间

OpenCV与图像处理学习二——图像直方图与色彩空间2.4 图像直方图&#xff08;Image Histogram&#xff09;2.4.1 直方图的绘制2.4.2 三通道直方图绘制2.5 颜色空间2.5.1 RGB颜色空间2.5.2 HSV颜色空间&#xff08;Hue、Saturation、Value&#xff09;2.5.3 HSI2.5.4 CMYK&#…
阅读更多...
JavaScript基础5——关于ECMAscript的函数

JavaScript基础5——关于ECMAscript的函数

ECMAScript的函数概述(一般定义到<head>标签之间)(1)定义函数&#xff0c;JavaScript一般有三种定义函数方法&#xff1a; *第一种是使用function语句定义函数&#xff08;静态方法&#xff09; 1 function 函数名(var1,var2,...,varX) 2 { 3 4 代码&…
阅读更多...
中国科学家首次观察到量子世界的宇称时间对称

中国科学家首次观察到量子世界的宇称时间对称

来源&#xff1a;中国新闻网 中国科学家调控量子跳双人舞 首次观察到量子世界的宇称时间对称中新社合肥6月3日电 (吴兰 范琼)记者3日从中国科学技术大学获悉&#xff0c;该校杜江峰院士的研究团队通过调控量子跳出双人舞&#xff0c;在国际上首次观察到量子世界的宇称时间对称。…
阅读更多...
tf.data详解

tf.data详解

转自https://www.cnblogs.com/hellcat/p/8569651.html Dataset有两个重要的类&#xff1a;Dataset和Iterator。 Dataset可以看作是相同类型“元素”的有序列表。在实际使用时&#xff0c;单个“元素”可以是向量&#xff0c;也可以是字符串、图片&#xff0c;甚至是tuple或者…
阅读更多...
nodejs设置x-xss-protection解决xss问题

nodejs设置x-xss-protection解决xss问题

在Node.js中设置X-XSS-Protection可以通过使用helmet库来完成。 首先&#xff0c;确保已经安装了helmet库。如果没有安装&#xff0c;可以运行以下命令进行安装&#xff1a; npm install helmet --save 然后&#xff0c;在你的Node.js应用程序中引入并配置helmet库&#xff…
阅读更多...
OpenCV与图像处理学习三——线段、矩形、圆、椭圆、多边形的绘制以及文字的添加

OpenCV与图像处理学习三——线段、矩形、圆、椭圆、多边形的绘制以及文字的添加

OpenCV与图像处理学习三——线段、矩形、圆、椭圆、多边形的绘制以及文字的添加一、OpenCV中的绘图函数1.1 线段绘制1.2 矩形绘制1.3 圆绘制1.4 椭圆的绘制1.5 多边形绘制1.6 添加文字上两次笔记主要知识点回顾&#xff1a; 数字图像基本概念图像的读取、显示与保存图像直方图…
阅读更多...
最新文章

Copyright @ 2022~2023