LayerNorm的图是不是画错了

这是网上一张很流行的说明几个 Normalization 区别的图
在这里插入图片描述
这图出自Kaiming的文章 Group Norm

但是他这个 Layer Norm 的图是不是画错了? 我大四写毕设的时候就想问🤣🤣🤣 这都几年过去了

我觉得图应该是这样画的,相同颜色的区域做标准化

在这里插入图片描述
仨方块代表Batch_size = 3
每个方块内,前后向代表channel维度,左右代表宽,上下代表高

也就是同Batch, xy位置相同的特征像素,不同的channel里做标准化

接下来代码验证一下,只需要在 Channel 维度做一下标准化

import torch
import torch.nn as nn# torch.manual_seed(1107)
torch.manual_seed(1942)# 假设x的形状是(B, W, H, C)
x = torch.rand(32, 256, 256, 128)  # 添加一个维度以匹配四维输入m = nn.LayerNorm(128, elementwise_affine=False)
m.eval()  # 设置为评估模式y = m(x)# 手动计算LayerNorm
x_mean = x.mean(dim=-1, keepdim=True)
x_var = x.var(dim=-1, keepdim=True, unbiased=False)
eps = m.epsy_manual = (x - x_mean) / ((x_var + eps).sqrt())print("结果是否一致:", torch.allclose(y, y_manual, atol=1e-6))

(大佬们路过,教我一下🥲🥲🥲)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/731114.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

556. 下一个更大元素 III

556. 下一个更大元素 III 题目链接:556. 下一个更大元素 III 这个题先转化为字符串,然后解法就是这个题的解法了:31. 下一个排列 代码如下: class Solution { public:int nextGreaterElement(int n) {string numsto_string(n);…

VSCode搭建ARM开发环境

为了构建Cortex M系列单片机免费开源的开发环境,网络上了解来看VSCODEGCCJLINK是一套比较高效的组合方式,下面记录环境搭建的流程。 我这边的PC环境为 WIN7专业版64bit。 需要用到的工具 Visual Studio CodeSTM32CubemxARM GCC 交叉编译工具链&#x…

multiprocessing快速入门和总结

multiprocessing 官网地址:https://docs.python.org/3/library/multiprocessing.html# 1.Pool 2.Process 3.set_start_method spawnforkforkserver 4.Exchanging objects between processes QueuesPipes 5.Synchronization between processes Lock 6.Shar…

第十九节 Java 日期时间

java.util包提供了Date类来封装当前的日期和时间。 Date类提供两个构造函数来实例化Date对象。 第一个构造函数使用当前日期和时间来初始化对象。 Date( )第二个构造函数接收一个参数,该参数是从1970年1月1日起的毫秒数。 Date(long millisec)Date对象创建以后&a…

cadence 之 Allegro PCB封装 3D模型

Allegro PCB封装怎样赋3D模型 1、方式一 —— 设置器件高度 2、方式二 —— 指定STEP模型 2.1、Step 3D模型库 2.2、软件环境的设置和 STEP 模型库路径设置 D:\Cadence\Cadence_SPB_17.4-2019\share\local\pcb\step 2.3、指定STEP模型 即可打开 STEP 模型指定的对话框&…

【理解】STM32一键下载电路

1.MCUISP 串口软件一键下载设置: DTR 低电平复位,RTS 高电平进入boot load 串口下载 在ch340 芯片对应DTR 和RTS 输出电平与电脑软件设置的电平相反。 一键下载电路根据ch340 芯片对应引脚的控制信号完成对应功能 具体实现过程如下: 2.单…

Spring MVC ModelAndViewMethodReturnValueHandler原理解析

在Spring MVC框架中,ModelAndViewMethodReturnValueHandler是一个用于处理Controller方法返回ModelAndView对象的HandlerMethodReturnValueHandler实现类。这个处理器专门负责将Controller方法返回的ModelAndView对象转化为HTTP响应,包括模型和视图的渲染…

VR数字化线上展馆降低企业投入成本和周期

VR云展会是一种全新的展览形式,它利用虚拟现实技术,将实体展览搬到线上,让观众可以在家中就能参观各种展览。这种新型的展览方式有许多亮点,下面就来详细介绍一下。 首先,VR云展会打破了地域限制。传统的实体展览通常只…

uniapp微信小程序 提示消息 上传文件

uni.showToast() 提示消息 uni.showToast({icon: success,title: 操作成功 }) icon:可填 success: 显示成功图标, error: 显示错误图标; fail: 显示错误图标,此时title文本无长度显示; exception: 显示异常图标&…

WPF 消息提示 类似toast方式

WPF里面的消息提示一般都是MessageBox.Show(),这种样式不是很好看,所以就想办法重新搞了一个类似弹出消息的功能。原理很简单,就是弹出一个新窗体,然后等几秒窗体自动关闭。 先上效果图: 新建一个MsgHelper.cs类&…

python删除创建的conda虚拟环境

要删除已创建的conda虚拟环境,可以使用conda env remove命令,并指定要删除的虚拟环境的路径。以下是详细的步骤: 打开命令行界面(例如,Anaconda Prompt或终端)。 使用conda env list命令查看当前存在的虚拟…

海外互联网专线主要解决企业哪些办公问题?

海外互联网专线 是一种专门为跨境企业提供的网络连接服务,旨在解决企业在海外办公过程中遇到的各种网络问题。海外互联网专线如何成为解决企业办公难题的利器,为企业提供稳定、高速的网络连接? 1、跨国远程办公: 随着全球化进程的加速&…

Android应用界面

概述:由于学校原因,估计会考,曹某人就浅学一下。 目录 View概念 创建和使用布局文件 相对布局 线性布局 水平线性布局 垂直线性布局 表格布局 帧布局 扁平化布局 Android控件详解 AdapterView及其子类 View概念 安卓中的View是所…

Codesys.运动控制电子齿轮

文章目录 一. 电子齿轮概念应用 二. 电子齿轮耦合功能块 2.1. MC_GearIn 2.2. MC_GearInPos 2.3. MC_GearOut 三. 电子齿轮案例 3.1. 样例介绍 3.2. 引入虚轴 3.3. 程序框架 3.4. 程序编写 3.5. 程序监控 一. 电子齿轮概念应用 在很多应用场景中有多个牵引轴每个牵引…

habitat模型训练总结(一):点导航PPO

本文对habitat环境中的baseline点导航PPO的模型的构建和训练进行总结 0 训练代码 这个代码在上一篇文章出现过,再粘贴过来,如下: import random import numpy as np from habitat_baselines.common.baseline_registry import baseline_registry from habitat_baselines.c…

pytest 测试常用功能

1. pytest基础功能 命名规则 文件名以test_*.py文件和*_test.py 以test_开头的函数 以Test开头的类, 注意:类不能包含__init__构造函数 以test_开头的方法 所有的包pakege必须要有__init__.py文件常用命令 pytest --help # 查看帮助cmd执行pytest用例有三种方法…

【重温设计模式】备忘录模式及其Java示例

备忘录模式的概述 在软件设计的世界中,备忘录模式是一种行为设计模式,它的主要作用是保存对象的当前状态,以便在将来的某个时间点,可以将对象恢复到这个保存的状态。这种模式的命名源于生活中的备忘录,我们常常用它来…

俄罗斯方块h5源码

上传源码至服务器和空间即可使用,源码无后门,就一天html文件,一个两个css文件以及一个js文件 源码下载:https://download.csdn.net/download/m0_66047725/88897605 更多资源下载:关注我。

148个Chatgpt关键词汇总-有爱AI实战教程(二)

演示站点: https://ai.uaai.cn 技能模块 官方论坛: www.jingyuai.com 京娱AI 导读:在使用 ChatGPT 时,当你给的指令越精确,它的回答会越到位,举例来说,假如你要请它帮忙写文案,如…

devops-Maven【部署及配置】

1、准备maven工具包,Maven官网下载Maven的安装包 Maven – Download Apache Maven Index of /maven (apache.org) 选择后缀是.bin.tar.gz的文件下载,此处下载的版本是3.9.6。 2、安装maven的目录下,建一个Maven路径,然后把压缩…