Stable Diffusion1.5网络结构-超详细原创

1 Unet

1.1详细整体结构

1.2 缩小版整体结构

1.3 时间步编码

1.4 CrossAttnDownBlock2D

1.4.1 ResnetBlock2D

1.4.2 Transformer2DModel

1.4.2.1 BasicTransformerBlock

1.4.2.1.1 SelfAttention

1.4.2.1.2 CrossAttention

1.4.2.1.3 FeedForward

1.4.3 DownSample2D

1.5 DownBlock2D

1.6 UnetMidBlock2DCrossAttn

1.7 UpBlock2D

1.7.1 UpSample2D

1.8 CrossAttnUpBlock2D

2 VAE

3 CLIP

绘制软件：ProcessOn，以下图片保存可高清查看

1 Unet

1.0 介绍　

负责预测噪声

1.1详细整体结构

1.2 缩小版整体结构

1.3 时间步编码

1.4 CrossAttnDownBlock2D

每个ResnetBlock2D的输入有两个

1，一个是来自上一层的输出lattent,

2，另一个来自时间步编码模块的输出time_embeds ( shape=[2, 1280], 后面省略说明，默认[2, 1280]这种写法是tersor的形状)

每个Transformer2DModel输入有两个

１，上一层的输出

２， CLIP text_encoder的文本编码text embedding，或者叫提示词编码prompt embedding，其shape=[2, 77, 768]

后面凡是有ResnetBlock2D和Transformer2DModel的模块，其输入形式都是如此，为了方便，后面有些模块的time_embeds和prompt embedding这两个输入就默认不画了，例如UnetMidBlock2DCrossAttn、UpBlock2D、CrossAttnUpBlock2D

1.4.1 ResnetBlock2D

需要注意的点

1, ResnetBlock2D的输入有两个，一个是来自上一层的lattent，另一个来自时间步编码模块的输出time_embeds ( shape=[2, 1280], 后面省略说明，默认[2, 1280]这种写法是tersor的形状)

2, Conv3x3和Linear的输入输出Channel，不同层会不一样

3, 输入输出通道数不一致的时候，残差连接会用一个1x1的卷积

1.4.2 Transformer2DModel

Transformer2DModel输入有两个

１，上一层的输入

２， CLIP text_encoder的文本编码text embedding，或者叫提示词编码prompt embedding，其shape=[2, 77, 768]

1.4.2.1 BasicTransformerBlock

1.4.2.1.1 SelfAttention

1.4.2.1.2 CrossAttention

1.4.2.1.3 FeedForward

1.4.3 DownSample2D

1.5 DownBlock2D

1.6 UnetMidBlock2DCrossAttn

1.7 UpBlock2D

UNet右边部分的ResnetBlock2D模块，其输入除了有来自上一层的输出和time_embedd之外，还有自UNet左边部分输入，具体做法是将上一层的输出和UNet左边部分输入进行concat之后送进ResnetBlock2D模块，然后和time_embedd相加，后面的CrossAttnUpBlock2D也是如此，具体查看1.1 详细整体结构

1.7.1 UpSample2D

1.8 CrossAttnUpBlock2D

注意, 最后一个CrossAttnUpBlock2D没有UpSample2D模块,该模块具体输入输出shape看1.1 详细整体结构

2 VAE

2.0 介绍

将扩散过程从512x512的图像空间映射降维到64x64的潜空间，内存和运算量减小64倍

2.1 AE

注意：下面说的特征向量，编码向量，潜变量，code是同一个意思

普通的自编码器，分为编码器和解码器，编码器Encoder负责将编码图像，把图像从高维映射到低维，得到特征向量，例如把3x512x512的图像编码成4x64x64的特征向量，这个特征向量可以表示原始图像，包含原始图像的特征，比如颜色，纹理等其他抽象特征，解码器Decoder负责把低维的特征向量还原回原始图像．但这种编码是固定的，一张图片只能编码成一个固定的向量，反过来，解码也是唯一的，一个固定的编码向量只会被解码成一张确定的图像，如果来一张你训练集没见过的图片，对其编码后再解码，生成的图像大概率是个无意义的图像，因此AE是一个单值映射关系，潜变量（即编码向量）具有不连续性，潜变量是确定性值，选择一个随机的潜在变量可能会产生垃圾输出，潜在空间缺乏生成能力(即潜空间不是所有的潜变量都是有效的)，

举个李宏毅老师的例子：

假设我们训练好的AE将“新月”图片encode成code=1（这里假设code只有1维），将其decode能得到“新月”的图片；将“满月”encode成code=10，同样将其decode能得到“满月”图片。这时候如果我们给AE一个code=5，我们希望是能得到“半月”的图片，但由于之前训练时并没有将“半月”的图片编码，或者将一张非月亮的图片编码为5，那么我们就不太可能得到“半月”的图片。

其他博客解释：

AE的Encoder是将图片映射成“数值编码”，Decoder是将“数值编码”映射成图片。这样存在的问题是，在训练过程中，随着不断降低输入图片与输出图片之间的误差，模型会过拟合，泛化性能不好。也就是说对于一个训练好的AE，输入某个图片，就只会将其编码为某个确定的code，输入某个确定的code就只会输出某个确定的图片，并且如果这个code来自于没见过的图片，那么生成的图片也不会好。

自动编码器是数据相关的（data-specific 或 data-dependent），这意味着自动编码器只能压缩那些与训练数据类似的数据，反过也是一类数据对应一种编码器，无法拓展一种编码器去应用于另一类数据。

2.2 VAE

而VAE不是将图像编码成一个固定的值，而是编码成一个连续的分布，这样，只要满足这个分布，我就能重建原始图像，满足这个分布的值会有很多，不再是一个固定的code了，例如，我把编码器的输出约束成一个标准正态分布，重建图像我只需要从标准正态分布采样在送到就解码器即可，

这里其实不一定非得要是标准正态分布，只要是连续的分布理论上都可以，但由于标准正态分布有良好的性质：１，高维正态分布采样的向量模长近似一致，两两近似正交，两点之间的欧式距离与期望值近似，这是一个很好的约束，对模型的学习有利;2,良好的数学性质，但你对多个分布进行运算时（像Diffusion），正态分布会带来很大的便利,可以通过标准化,变换等方式处理，便于模型的训练和优化;3,用标准正态分布对潜变量进行建模，能利用正态分布的性质进行随机采样和重构（重参数化）

举个例子：来自https://www.cnblogs.com/amazingter/p/14686450.html

针对上面的半月问题，我们转变思路，不将图片映射成“数值编码”，而将其映射成“分布”。我们将“新月”图片映射成μ=1的正态分布，那么就相当于在1附近加了噪声，此时不仅1表示“新月”，1附近的数值也表示“新月”，只是1的时候最像“新月”。将"满月"映射成μ=10的正态分布，10的附近也都表示“满月”。那么code=5时，就同时拥有了“新月”和“满月”的特点，那么这时候decode出来的大概率就是“半月”了。这就是VAE的思想。