【ControlNet v3版本论文阅读】

网络部分最好有LDM或者Stable Diffusion的基础，有基础的话会看的很轻松

Abstract

1.提出了一种网络结构支持额外输入条件控制大型预训练的扩散模型。利用预训练模型学习一组不同的条件控制。
2.ControlNet对于小型（<50k）或大型（>1m）数据集都是稳健，可以促进更广泛的应用控制图像扩散模型。

Introduction

现有问题：
1.仅通过文本提示很难准确表达复杂的布局、姿势、形状和形式去生成所需图像，通常需要多次文本编辑。
想法：
提供额外的空间控制（条件）以生成想要的图像组合且深度到图像、姿势到图像等问题需要端到端学习和数据驱动的解决方案。
挑战：
1.特定条件的训练数据数量可能明显小于通用文本到图像训练的数据。（直接对大模型进行微调可能会导致过拟合和灾难性遗忘等问题）
->解决设计更深或更定制的神经架构处理具有复杂形状和步同高级语义的图像。

ControlNet

1.端到端的神经网络架构学习大型与训练文本到图像扩散模型的条件控制
2.锁定大模型的参数以保留质量和功能，并使其成为其编码层的可训练副本
3.可训练副本和原始锁定模型通过零卷积层相连，且权重初始化为0（训练期间主键增长），保证训练开始时不会将有害噪声添加到大型扩散模型的深度特征中，并保护可训练副本中的大规模预训练主干不被此类噪声破坏。
实验结果：
1.可多种条件控制
2.可不同大小数据集
3.省显卡
贡献：
1.我们提出了 ControlNet，这是一种神经网络架构，可以通过有效的微调将空间局部输入条件添加到预训练的文本到图像扩散模型中
2.我们提出了预训练的 ControlNets 来控制稳定的扩散，以 Canny 边缘、Hough 线、用户涂鸦、人类关键点、分割图、形状法线、深度和卡通线条图为条件
3.我们通过消融实验验证该方法，并与几种替代架构进行比较，并开展用户研究专注于跨不同任务的几个先前基线。

Method

3.1 基本结构

在这里插入图片描述
神经块输入特征图x，输出特征图y，参数为，公式为：
ControlNet中锁定原始块参数，并克隆为可训练副本参数为，输入外部条件向量c，用两个不同参数的初始化为零的零卷积层
将副本连接到主干网络。公式为：在这里插入图片描述
总结： 其实就是将输入条件先进行零卷积，然后将加上输入的x的结果输入克隆网络得到结果，将结果再进行零卷积后与x进入主干网络得到的结果y相加。

3.2 如何将ControlNet应用于图像扩散模型稳定扩散

使用stable diffusion（U-Net）作为大型预训练扩散模型，包括：编码器、中间块和跳过连接解码器，具体包含什么块可以看图片或者源码。文本提示使用CLIP进行编码，扩散时间步使用一个时间编码器使用位置编码。
controlnet的具体结构如图所示。
补充： ControlNet类似LDM，在将原始条件输入网络之前先使用卷积等操作将特征转化到隐式空间在这里插入图片描述，然后再输入到ControlNet。