概要

面试百度时候被问到了BN 内部详细的训练阶段，推理阶段的计算过程。没回答好，来记录一下
推荐一下b站up: Enzo_Mi。视频做的确实不错
bn 讲解视频

整体架构流程

训练阶段

均值和标准差的计算过程 就是把一个batch中相同的通道的feature map拿出来计算。
最后得到新的feature map的值还需要 经过gamma和beta两个值的反变换。

均值和方差是为了归一化，两个可学习的参数gamma，beta是为了将归一化后的值拉回到原来的尺度以拟合原始数据。

推理阶段

推理阶段的均值和方差就不是根据推理的输入进行计算的，是通过训练时候的均值和方差进行滑动平均得到的。（面试的时候没回答上来）

模型中使用的注意事项