PyTorch框架学习十八——Layer Normalization、Instance Normalization、Group Normalization

PyTorch框架学习十八——Layer Normalization、Instance Normalization、Group Normalization

  • 一、为什么要标准化？
  • 二、BN、LN、IN、GN的异同
  • 三、Layer Normalization
  • 四、Instance Normalization
  • 五、Group Normalization

上次笔记介绍了Batch Normalization以及它在PyTorch中的使用：https://blog.csdn.net/qq_40467656/article/details/108375181

这次笔记将介绍由BN引发的其他标准化层，它们各自适用于不同的应用场景，分别是适用于变长网络的Layer Normalization；适用于图像生成的Instance Normalization；适用于小mini-batch的Group Normalization。

一、为什么要标准化？

这个在上次BN的笔记中介绍过，本意是为了解决ICS问题，即随着网络层数加深，数据分布异常（很小或很大），从而导致训练困难。详情回顾：https://blog.csdn.net/qq_40467656/article/details/108375181

二、BN、LN、IN、GN的异同

  • 同：都做了标准化的工作。
  • 异：均值和方差的求取方式不一样，即选择的计算区域不一样，这个可以看完下一小节的详细介绍回过来看，可能会更能理解。

三、Layer Normalization

LN提出的起因是因为BN不适用于变长的网络，如RNN，这部分的内容还没有接触过，但是可以简单理解为这种网络的神经元个数是会变化的，不是一样的，如下图所示：
在这里插入图片描述
ps：注意这里的横轴不是数据样本个数，只是代表这层网络层神经元可能会变为5/3/4个，在每种个数的情况下，样本数还是一个batchsize的大小。

第一次可能有五个特征，计算得到五个均值和方差，而第二轮计算时，网络层的神经元变为3个，而BN里计算均值和方差是需要用到之前的结果的，这里之前的五个均值方差就对应不了三个特征，所以BN在这种情况下是不适用的。

那么LN是怎么计算均值和方差的呢？以一维的情况为例：
在这里插入图片描述
之所以称为Layer Norm，就是对该层的数据求均值和方差，不再按照特征那个维度去求，每个样本都单独求其均值方差，可以理解为逐样本的求取方式。

二维三维的情况类似，如下图所示：
在这里插入图片描述
在这里插入图片描述

LN需要注意的地方：

  • 不再有running_mean和running_var
  • gamma和beta为逐元素的

LN在PyTorch中的实现：

torch.nn.LayerNorm(normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, elementwise_affine: bool = True)

参数如下所示：
在这里插入图片描述

  1. normalized_shape：（int/list/torch.Size）该层的特征维度，即要被标准化的维度。
  2. eps：分母修正项。
  3. elementwise_affine：是否需要affine transform，这里也提醒你是逐元素的仿射变换。

下面看一个PyTorch实现的例子：

import torch
import numpy as np
import torch.nn as nn
import sys, os
hello_pytorch_DIR = os.path.abspath(os.path.dirname(__file__)+os.path.sep+".."+os.path.sep+"..")
sys.path.append(hello_pytorch_DIR)
from tools.common_tools import set_seedset_seed(1)  # 设置随机种子# ======================================== nn.layer norm
flag = 1
# flag = 0
if flag:batch_size = 8num_features = 3features_shape = (3, 4)feature_map = torch.ones(features_shape)  # 2Dfeature_maps = torch.stack([feature_map * (i + 1) for i in range(num_features)], dim=0)  # 3Dfeature_maps_bs = torch.stack([feature_maps for i in range(batch_size)], dim=0)  # 4D# feature_maps_bs shape is [8, 3, 3, 4],  B * C * H * Wln = nn.LayerNorm(feature_maps_bs.size()[1:], elementwise_affine=True)# ln = nn.LayerNorm(feature_maps_bs.size()[1:], elementwise_affine=False)# ln = nn.LayerNorm([3, 3, 4])# ln = nn.LayerNorm([3, 3])output = ln(feature_maps_bs)print("Layer Normalization")print(ln.weight.shape)print(feature_maps_bs[0, ...])print(output[0, ...])

结果如下：

Layer Normalization
torch.Size([3, 3, 4])
tensor([[[1., 1., 1., 1.],[1., 1., 1., 1.],[1., 1., 1., 1.]],[[2., 2., 2., 2.],[2., 2., 2., 2.],[2., 2., 2., 2.]],[[3., 3., 3., 3.],[3., 3., 3., 3.],[3., 3., 3., 3.]]])
tensor([[[-1.2247, -1.2247, -1.2247, -1.2247],[-1.2247, -1.2247, -1.2247, -1.2247],[-1.2247, -1.2247, -1.2247, -1.2247]],[[ 0.0000,  0.0000,  0.0000,  0.0000],[ 0.0000,  0.0000,  0.0000,  0.0000],[ 0.0000,  0.0000,  0.0000,  0.0000]],[[ 1.2247,  1.2247,  1.2247,  1.2247],[ 1.2247,  1.2247,  1.2247,  1.2247],[ 1.2247,  1.2247,  1.2247,  1.2247]]], grad_fn=<SelectBackward>)

这边只打印了第一个数据的结果，它的均值是2，所以中间一个3×4的特征标准化之后全为0。

四、Instance Normalization

IN层的提出是因为在图像生成任务中，一个batch里的图像的风格可能不尽相同，不能通过BN的计算方式去将各个风格的特征混为一谈，所以BN在这种情况下会不适用。

那么，IN层的计算方式的思路是逐Instance（channel）地计算均值和方差，如下图所示：
在这里插入图片描述
它是每一个样本每一个特征都去计算均值方差然后标准化。

IN层在PyTorch中的实现如下所示：（以二维为例）

torch.nn.InstanceNorm2d(num_features: int, eps: float = 1e-05, momentum: float = 0.1, affine: bool = False, track_running_stats: bool = False)

参数如下所示：
在这里插入图片描述

  1. num_features：一个样本特征的数量。
  2. eps：分母修正项。
  3. momentum：指数加权平均求均值方差。
  4. affine：是否仿射变换，默认False。
  5. track_running_stats：是否追踪batch，使得统计结果更具全局性，一般训练时是需要追踪，测试时不追踪，使用固定的均值方差，默认False（测试）。

看一个IN的例子：

flag = 1
# flag = 0
if flag:batch_size = 3num_features = 3momentum = 0.3features_shape = (2, 2)feature_map = torch.ones(features_shape)    # 2Dfeature_maps = torch.stack([feature_map * (i + 1) for i in range(num_features)], dim=0)  # 3Dfeature_maps_bs = torch.stack([feature_maps for i in range(batch_size)], dim=0)  # 4Dprint("Instance Normalization")print("input data:\n{} shape is {}".format(feature_maps_bs, feature_maps_bs.shape))instance_n = nn.InstanceNorm2d(num_features=num_features, momentum=momentum, affine=True, track_running_stats=True)for i in range(1):outputs = instance_n(feature_maps_bs)print(outputs)print("\niter:{}, running_mean.shape: {}".format(i, instance_n.running_mean.shape))print("iter:{}, running_var.shape: {}".format(i, instance_n.running_var.shape))print("iter:{}, weight.shape: {}".format(i, instance_n.weight.shape))print("iter:{}, bias.shape: {}".format(i, instance_n.bias.shape))

结果如下：

Instance Normalization
input data:
tensor([[[[1., 1.],[1., 1.]],[[2., 2.],[2., 2.]],[[3., 3.],[3., 3.]]],[[[1., 1.],[1., 1.]],[[2., 2.],[2., 2.]],[[3., 3.],[3., 3.]]],[[[1., 1.],[1., 1.]],[[2., 2.],[2., 2.]],[[3., 3.],[3., 3.]]]]) shape is torch.Size([3, 3, 2, 2])
tensor([[[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]]],[[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]]],[[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]],[[0., 0.],[0., 0.]]]], grad_fn=<ViewBackward>)iter:0, running_mean.shape: torch.Size([3])
iter:0, running_var.shape: torch.Size([3])
iter:0, weight.shape: torch.Size([3])
iter:0, bias.shape: torch.Size([3])

五、Group Normalization

GN的提出是因为，随着如今数据样本变得越来越大，以现有的GPU能力可能只能放置比较小的mini-batch，而一个batch比较少的数据的话，使用BN可能计算得到的均值和方差就有较大的偏差，估计的值不准，所以BN在小mini-batch的场景下不适用。

那么GN的计算思路就是：数据样本不够，通道（特征）数来凑，其如下所示：
在这里插入图片描述

图中所示是将一个样本的两个特征划分为一个group，这里只是为了说明GN的原理，实际上特征数是很多的，比如256，那么我们分为两组的话，一组有128个特征通道，数量还是比较可观的，在这样的分组下对每一组单独求取均值方差然后标准化。

注意：

  • 不再有running_mean和running_var，与LN一致。
  • gamma和beta为逐通道的。

应用场景：大模型，小batch size的任务。

GN在PyTorch中的实现如下：

torch.nn.GroupNorm(num_groups: int, num_channels: int, eps: float = 1e-05, affine: bool = True)

参数如下所示：

在这里插入图片描述

  1. num_groups：分组数。
  2. num_channels：通道数。
  3. eps：同上。
  4. affine：是否仿射变换。

下面看一个例子：

flag = 1
# flag = 0
if flag:batch_size = 2num_features = 4num_groups = 2   # 3 Expected number of channels in input to be divisible by num_groupsfeatures_shape = (2, 2)feature_map = torch.ones(features_shape)    # 2Dfeature_maps = torch.stack([feature_map * (i + 1) for i in range(num_features)], dim=0)  # 3Dfeature_maps_bs = torch.stack([feature_maps * (i + 1) for i in range(batch_size)], dim=0)  # 4Dgn = nn.GroupNorm(num_groups, num_features)outputs = gn(feature_maps_bs)print("Group Normalization")print(gn.weight.shape)print(outputs[0])

结果如下：

Group Normalization
torch.Size([4])
tensor([[[-1.0000, -1.0000],[-1.0000, -1.0000]],[[ 1.0000,  1.0000],[ 1.0000,  1.0000]],[[-1.0000, -1.0000],[-1.0000, -1.0000]],[[ 1.0000,  1.0000],[ 1.0000,  1.0000]]], grad_fn=<SelectBackward>)

最后放一张BN、LN、IN和GN的计算方式示例图，帮助理解：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/491659.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

重磅！苹果祭出大招：史上最强 Mac 发布，iPad OS 惊艳问世

重磅！苹果祭出大招：史上最强 Mac 发布，iPad OS 惊艳问世

来源&#xff1a;网络大数据伴随着时间的脚步进入到 6 月份&#xff0c;一年一度的苹果 WWDC 开发者大会又如期到来;这是苹果自举办开发者大会以来的第三十场 WWDC&#xff0c;因而有着不一样的意义。今年的 WWDC 在苹果库比蒂诺总部附近的 San Jose McEnery Convention Center…
阅读更多...
PyTorch框架学习十九——模型加载与保存

PyTorch框架学习十九——模型加载与保存

PyTorch框架学习十九——模型加载与保存一、序列化与反序列化二、PyTorch中的序列化与反序列化1.torch.save2.torch.load三、模型的保存1.方法一&#xff1a;保存整个Module2.方法二&#xff1a;仅保存模型参数四、模型的加载1.加载整个模型2.仅加载模型参数五、断点续训练1.断…
阅读更多...
新计算推动信息技术产业新发展？

新计算推动信息技术产业新发展？

来源&#xff1a;工信头条未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能&#xff0c;互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括&#xff1a;建立AI智能系统智商评测体系&#xff0c;开展世界人工智能智商评测&#xff1b;开展互联网&#…
阅读更多...
保存tensorboard的损失曲线为图片

保存tensorboard的损失曲线为图片

损失loss一般是标量&#xff0c;损失曲线一般显示在TensorBoard的SCALARS下&#xff0c;如图所示&#xff1a; 如果想将损失曲线保存下来&#xff0c;选中左边“Show data download links”按钮&#xff0c;曲线下面就会有一个下载按钮&#xff0c;但是只能保存为SVG文件&#…
阅读更多...
美国服务机器人技术路线图

美国服务机器人技术路线图

来源&#xff1a;美国国家科学基金会服务机器人正在以高速的增长速度加速步入我们的日常生活。正是基于广阔的市场前景&#xff0c;美国国家科学基金会颁布了《美国机器人技术路线图》&#xff0c;其中服务机器人是其中的重点一章。服务机器人的主要应用领域服务机器人是一类用…
阅读更多...
OpenCV与图像处理学习一——图像基础知识、读入、显示、保存图像、灰度转化、通道分离与合并

OpenCV与图像处理学习一——图像基础知识、读入、显示、保存图像、灰度转化、通道分离与合并

OpenCV与图像处理学习一——图像基础知识、读入、显示、保存图像、灰度转化、通道分离与合并一、图像基础知识1.1 数字图像的概念1.2 数字图像的应用1.3 OpenCV介绍二、图像属性2.1 图像格式2.2 图像尺寸2.2.1 读入图像2.2.2 显示图像2.2.3 保存图像2.3 图像分辨率和通道数2.3.…
阅读更多...
【Docker】Docker学习笔记：安装部署

【Docker】Docker学习笔记：安装部署

Docker 是实现轻量级的操作系统虚拟化解决方案。 Docker目前已经支持非常多的Linux平台&#xff0c;Ubuntu、Red Hat企业版Linux、Debian、CentOs、Fedora、Oracle Linux等。如果使用虚拟环境&#xff0c;甚至可以在OS X 和 windows中运行。 安装的条件 Docker目前只能在64位CP…
阅读更多...
定了！5G商用牌照近期发放​​​​，透露两大信息（附：2019年5G行业关键材料及市场研究报告）...

定了！5G商用牌照近期发放​​​​，透露两大信息（附：2019年5G行业关键材料及市场研究报告）...

来源&#xff1a;世界科技创新论坛据工信微报和新华社消息&#xff1a;日前&#xff0c;全球5G正在进入商用部署的关键期。坚持自主创新与开放合作相结合&#xff0c;我国5G产业已建立竞争优势。5G标准是全球产业界共同参与制定的统一国际标准&#xff0c;我国声明的标准必要专…
阅读更多...
OpenCV与图像处理学习二——图像直方图与色彩空间

OpenCV与图像处理学习二——图像直方图与色彩空间

OpenCV与图像处理学习二——图像直方图与色彩空间2.4 图像直方图&#xff08;Image Histogram&#xff09;2.4.1 直方图的绘制2.4.2 三通道直方图绘制2.5 颜色空间2.5.1 RGB颜色空间2.5.2 HSV颜色空间&#xff08;Hue、Saturation、Value&#xff09;2.5.3 HSI2.5.4 CMYK&#…
阅读更多...
JavaScript基础5——关于ECMAscript的函数

JavaScript基础5——关于ECMAscript的函数

ECMAScript的函数概述(一般定义到<head>标签之间)(1)定义函数&#xff0c;JavaScript一般有三种定义函数方法&#xff1a; *第一种是使用function语句定义函数&#xff08;静态方法&#xff09; 1 function 函数名(var1,var2,...,varX) 2 { 3 4 代码&…
阅读更多...
中国科学家首次观察到量子世界的宇称时间对称

中国科学家首次观察到量子世界的宇称时间对称

来源&#xff1a;中国新闻网 中国科学家调控量子跳双人舞 首次观察到量子世界的宇称时间对称中新社合肥6月3日电 (吴兰 范琼)记者3日从中国科学技术大学获悉&#xff0c;该校杜江峰院士的研究团队通过调控量子跳出双人舞&#xff0c;在国际上首次观察到量子世界的宇称时间对称。…
阅读更多...
OpenCV与图像处理学习三——线段、矩形、圆、椭圆、多边形的绘制以及文字的添加

OpenCV与图像处理学习三——线段、矩形、圆、椭圆、多边形的绘制以及文字的添加

OpenCV与图像处理学习三——线段、矩形、圆、椭圆、多边形的绘制以及文字的添加一、OpenCV中的绘图函数1.1 线段绘制1.2 矩形绘制1.3 圆绘制1.4 椭圆的绘制1.5 多边形绘制1.6 添加文字上两次笔记主要知识点回顾&#xff1a; 数字图像基本概念图像的读取、显示与保存图像直方图…
阅读更多...
AI英雄 | 论人工智能与自由意志，请看尤瓦尔与李飞飞的这场“激辩”

AI英雄 | 论人工智能与自由意志，请看尤瓦尔与李飞飞的这场“激辩”

来源&#xff1a;Towards Data Science尤瓦尔赫拉利和李飞飞在斯坦福大学展开了一场别开生面的对话&#xff0c;他们所提出的问题已经远远超出了我们可以解答的范围。《连线》杂志主编尼古拉斯•汤普森在座无虚席的纪念礼堂主持了这场90分钟的谈话。赫拉利&#xff08;Harari&a…
阅读更多...
OpenCV与图像处理学习四——图像几何变换：平移、缩放、旋转、仿射变换与透视变换

OpenCV与图像处理学习四——图像几何变换：平移、缩放、旋转、仿射变换与透视变换

OpenCV与图像处理学习四——图像几何变换&#xff1a;平移、缩放、旋转、仿射变换与透视变换二、图像的几何变换2.1 图像平移2.2 图像缩放&#xff08;上采样与下采样&#xff09;2.3 图像旋转2.4 仿射变换2.5 透视变化2.6 几何变化小结续上次的笔记&#xff1a;OpenCV与图像处…
阅读更多...
课后作业和动手动脑

课后作业和动手动脑

一&#xff0c;运行TestInherits.java 通过super调用基类构造方法&#xff0c;必是子类构造方法中的第一个语句。 二.为什么子类的构造方法在运行之前&#xff0c;必须调用父类的构造方法&#xff1f;能不能反过来&#xff1f;为什么不能反过来&#xff1f; 构造函数的主要作用…
阅读更多...
OpenCV与图像处理学习五——图像滤波与增强：线性、非线性滤波、直方图均衡化与Gamma变换

OpenCV与图像处理学习五——图像滤波与增强：线性、非线性滤波、直方图均衡化与Gamma变换

OpenCV与图像处理学习五——图像滤波与增强&#xff1a;线性、非线性滤波、直方图均衡化与Gamma变换三、图像滤波与增强3.1 线性滤波3.1.1 方框滤波3.1.2 均值滤波3.1.3 高斯滤波3.1.4 一般卷积滤波3.2 非线性滤波3.2.1 中值滤波3.2.2 双边滤波3.3 图像直方图均衡化3.3.1 单通道…
阅读更多...
张钹院士：人工智能技术已进入第三代

张钹院士：人工智能技术已进入第三代

来源&#xff1a;经济观察报近日&#xff0c;中科院院士、清华大学人工智能研究院院长张钹教授接受记者采访时认为&#xff0c;目前基于深度学习的人工智能在技术上已经触及天花板。从长远来看&#xff0c;必须得走人类智能这条路&#xff0c;最终要发展人机协同&#xff0c;人…
阅读更多...
软件工程作业

软件工程作业

典型用户1 名字老陈性别&#xff0c;年龄男&#xff0c;40岁职业教师收入两万/年知识层次和能力本科&#xff0c;熟练计算机操作生活、工作情况教书&#xff0c;辅导孩子完成作业动机&#xff0c;目的&#xff0c;困难希望节省辅导孩子的时间&#xff0c;用于自己的业务工作用户…
阅读更多...
numpy.ndarray索引/切片方式

numpy.ndarray索引/切片方式

注意&#xff1a;获得多维数组的前三个子数组不能用array[0,1,2]&#xff0c;应该用 array[0:3]&#xff0c;如下例子&#xff1a; a np.random.random([85, 7794, 64]) b a[0:3] print(np.shape(b)) # (3, 7794, 64)
阅读更多...
OpenCV与图像处理学习六——图像形态学操作：腐蚀、膨胀、开、闭运算、形态学梯度、顶帽和黑帽

OpenCV与图像处理学习六——图像形态学操作：腐蚀、膨胀、开、闭运算、形态学梯度、顶帽和黑帽

OpenCV与图像处理学习六——图像形态学操作&#xff1a;腐蚀、膨胀、开、闭运算、形态学梯度、顶帽和黑帽四、图像形态学操作4.1 腐蚀和膨胀4.1.1 图像腐蚀4.1.2 图像膨胀4.2 开运算与闭运算4.2.1 开运算4.2.2 闭运算4.3 形态学梯度&#xff08;Gradient&#xff09;4.4顶帽和黑…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023