关于空间BN

批次归一化对每个神经元都进行了归一化,或者说对每个特征都进行了归一化,并且用可学习的参数\gamma\beta进行重构。

那么如果卷积神经网络有3个通道,长和宽都是244,BN将需要学习3*244*244*2个参数,计算量是不是太大了?

实际上BN在CNN中只学习了3*2个参数,这里也有一个参数共享,它把一个特征图作为一个神经元,也就是说,对于同一个特征图,不同的像素点,采用的均值和方差是一样的。

那么具体计算均值和方差的时候应该怎么做呢?BN相当于把一个特征图的每个像素点都看成是这个特征的样本,因此,假设一个mini batch的数据是8*3*224*224,那么对于其中一个通道(特征图)的不同样本,就是8*244*244个像素,直接flatten,然后再计算mean和var即可,对每个特征图,都这样计算一次。

以上是个人的理解,网上查不到太多关于BN是“如何把一个特征图作为一个特征”的资料,并且pytorch的源码追不到这里面的细节,唯一的参考链接如下,也在github上进行了一点查证。如果有不对的地方,欢迎大佬指正,感激不尽。

参考的链接:


https://www.cnblogs.com/king-lps/p/8378561.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/218999.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java题库整理2023.12.13,一些做题的重点考察

整理了些题,有错误的可以提出来,一起讨论~~谢谢友友。。 1初识Java 2Java语言基础 数据类型、变量常量 运算符与表达式 3数组 一维数组

初识人工智能,一文读懂贝叶斯优化和其他算法的知识文集(8)

🏆作者简介,普修罗双战士,一直追求不断学习和成长,在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验,历任核心研发工程师,项目技术负责人。 🎉欢迎 👍点赞✍评论…

“Hit”是“打”,“books”是“书”,那么“Hit the books“是“啪啪啪打书”?柯桥商务英语口语培训

俚语就是——单词都懂,短语不懂。 “Hit”是“打”,“books”是“书”,“Hit the books"是“啪啪啪打书”? 错了错了! "Hit the books"是一个常用的英语俚语,意思是开始认真学习或阅读书籍…

独热编码和词向量的简单理解

把单词用向量表示,是把深度神经网络语言模型引入自然语言处理领域的一个核心技术。想要让机器理解单词,就必须要把它变成一串数字(向量)。下面介绍的 One-Hot Encoding(One-Hot 编码)和 Word Embedding &am…

《洛谷深入浅出进阶篇》 进阶数论

本文章内容比较长,请耐心食用!!!!! 目录: 模意义下的数和运算喵~ 模意义下的乘法逆元喵~ 同余方程与中国剩余定理喵~ 线性筛与积性函数喵~ 欧拉函数喵~ 一,模意义下的数和运算。…

GPT4All 本地部署教程

省流:偷懒的可以直接看第二章的GPT4All部署 一. GPT4All README 根据官方网站GPT4All的描述,它是一个开源大型语言模型,可在CPU和几乎任何GPU上本地运行 github source: https://github.com/nomic-ai/gpt4all GPT4All Website and Models…

CV中的Attention机制:SENet

paper: Squeeze-and-Excitation Networks paper link:https://arxiv.org/pdf/1709.01507.pdf repo link:GitHub - hujie-frank/SENet: Squeeze-and-Excitation Networks 摘要: 卷积神经网络(CNNs)的核心构建块是卷积算子,它使…

C++初阶-vector的介绍及使用

vector的介绍及使用 一、vector的介绍1.1 vector的概念 二、vector的使用2.1 vector的定义2.2 vector iterator的使用2.3 vector空间增长问题2.4 vector的增删改查2.5 vector的整体代码实现2.5.1 vector的常用内置函数使用2.5.2 vector的访问方式及测试函数 三、vector迭代器失…

二百一十七、Flume——Flume拓扑结构之聚合的开发案例(亲测,附截图)

一、目的 对于Flume的聚合拓扑结构,进行一个开发测试 二、聚合 (一)结构含义 这种模式是我们最常见的,也非常实用。日常web应用通常分布在上百个服务器,大者甚至上千个、上万个服务器产生的日志,处理起来…

孩子还是有一颗网安梦——Bandit通关教程:Level 10 → Level 11

🕵️‍♂️ 专栏《解密游戏-Bandit》 🌐 游戏官网: Bandit游戏 🎮 游戏简介: Bandit游戏专为网络安全初学者设计,通过一系列级别挑战玩家,从Level0开始,逐步学习基础命令行和安全概念…

Backtrader 文档学习-Platform Concepts

Backtrader 文档学习-Platform Concepts 1.开始之前 导入backtrader ,以及backtrader 的指示器、数据反馈的模块 。 import backtrader as bt import backtrader.indicators as btind import backtrader.feeds as btfeeds看看btind模块下有什么方法和属性&#x…

51单片机控制1602LCD显示屏输出两行文字一

51单片机控制1602LCD显示屏输出两行文字一 1.概述 这篇文章介绍1602型号显示屏的基础知识,以及使用单片机控制它输出两行内容。 2.1602基础知识 1602 液晶显示模块是一种通用的工业液晶显示模块,专门用来显示字母、数字、符号等的点阵型液晶显示模块…

VLAN详细学习

文章目录 VLAN概念VLAN种类端口VLAN工作原理以太网的三种链路类型配置 VLAN概念 一种讲局域网设备从逻辑上划分为一个个网段,从而实现虚拟网络的一种技术,这一技术主要应用于交换机中。Vlan技术是技术在以太网帧的基础上增加vlan头,用VLAN I…

云计算与大数据技术应用知识及案列

云计算与大数据技术应用知识及案列 简述什么是云计算? 答:云计算是一种动态扩展的计算模式,通过网络将虚拟化的资源作为服务提供;云计算是一种无处不在的、便捷的通过互联网访问一个可定制的IT资源(IT资源包括网络、服…

R2O语义分割: Refine and Represent: Region-to-Object Representation Learning

paper: arxiv.org/pdf/2208.11821v2.pdf repo link: KKallidromitis/r2o: PyTorch implementation of Refine and Represent: Region-to-Object Representation Learning. (github.com) 摘要: 在本文中提出了区域到对象表示学习(Region-to-Object Rep…

shell编程-cut命令详解(超详细)

前言 cut 命令是一个在命令行中使用的用于提取文件内容的工具。它可以根据指定的字段或字符位置来截取文件中的数据,并将结果输出到标准输出或指定的文件中。本文将详细介绍 cut 命令的常用选项和参数,帮助您更好地理解和使用 cut 命令。 一、cut命令介…

js 转换为数组并返回(Array.of())

Array提供了方法直接将一组值转换为数组并返回 Array.of()方法 Array.of(1,2,3) 结果

【NSX-T】2. 搭建NSX-T环境 —— 配置 NSX-T 基本设置

目录 2. 配置 NSX-T 基本设置2.1 访问 NSX Manager UI2.2 添加和查看 NSX Manager 许可证2.3 设置用户界面模式 参考资料 2. 配置 NSX-T 基本设置 2.1 访问 NSX Manager UI 打开跳板机浏览器,在URL中输入:https://192.168.1.23/ 或 https://manager32.…

【教程】 Vue混淆加密与还原

目录 引言 混淆 使用ipaguard来对程序进行加固 还原 总结 参考资料 引言 Vue是一种流行的JavaScript框架,用于构建用户界面。它简单易用且功能强大,备受开发者喜爱。然而,在传输和存储过程中,我们需要保护Vue代码的安全性。混…

centos7中的管道和重定向

重定向 0 标准输入 1 标准输出 2 标准错误 3 进程在执行的过程中打开的其他文件 & 标准正确和标准错误的混合输出 输出重定向 &g…