系列文章目录
- 【可控图像生成系列论文（一）】 简要介绍了 MimicBrush 的整体流程和方法；
- 【可控图像生成系列论文（二）】 就MimicBrush 的具体模型结构、训练数据和纹理迁移进行了更详细的介绍。
- 【可控图像生成系列论文（三）】介绍了一篇相对早期（2018年）的可控字体艺术化工作。
- 【可控图像生成系列论文（四）】介绍了 IP-Adapter 具体是如何训练的？
文章目录
- 系列文章目录
- 一、条件输入
- 二、控制 vs 适应
一、条件输入
-
在 ControlNet 中，由于通过残差连接（红框的部分）将输入直接添加到 SD Decoder Block 中，以便在训练深度神经网络时防止梯度消失问题。
- 为了进行这种直接相加操作，条件输入和基础输入（输出）的维度必须相同。
- 如果条件输入和基础输入的像素尺寸不同，则无法进行这种简单的相加操作。
-
IP-Adapter 通常通过一种适配器模块来实现，该模块能够动态调整生成模型的参数或特征，以适应不同的输入条件。条件输入则大小的限制。
-
下图左边是 IP-Adapter，条件输入可以和基础输入、最终输出的大小不一致。
-
下图右边是 ControlNet，条件输入需要和最终输出的大小保持 pixel-level 的一致。
二、控制 vs 适应
-
ControlNet 专注于在生成过程中提供明确的控制和引导。
- ControlNet 通过残差连接将条件输入与基础输入相结合，实现精细控制。
-
IP-Adapter 专注于增强生成模型对不同输入条件的适应性和鲁棒性。
- IP-Adapter 则通过插入适配器模块来动态调整模型参数或特征，实现输入条件的适应性。
