目录
- 一、为什么UNET模型可以用于去噪网络
- 二、扩散模型中的UNET是一个条件去噪网络,怎么实现的
- 三、UNET用于分割和用去去噪的区别
一、为什么UNET模型可以用于去噪网络
下采样部分: 能够提取图像的深层次特征,这些特征往往包含图像的重要结构和信息,而噪声通常被视为不相关的随机信息。通过卷积层的逐层处理,噪声信息在特征提取过程中被逐渐削弱。
上采样部分: 利用上采样和卷积操作恢复图像的尺寸和细节。跳跃连接结构将编码器的特征图直接传递给解码器,使得解码器能够利用更多的信息来恢复图像的细节,同时避免信息丢失和模糊。
二、扩散模型中的UNET是一个条件去噪网络,怎么实现的
我们知道普通的UNET是一个单独的去噪网络,扩散模型中的UNET是一个条件去噪网络,那这个条件去噪网络是怎么实现的呢,答案就是time embedding,实现过程如下图所示,我们可以把这个过程理解为一个查表操作,根据输入t,按照PositionalEmbedding 查找对应特征向量,再经过线性和非线性变换,最终得到一个指示向量,目的是告诉去噪网络,我现在在做的是第t步的去噪。
三、UNET用于分割和用去去噪的区别
分割: 在图像分割任务中,训练数据是原始图像,原始图像中存在的所有对象都可以被标记为某一类别。一张图像所对应的标签一般是与原始图像相同尺寸的标签矩阵,即“遮罩矩阵”。遮罩矩阵中的颜色数量等同于这张标签上的标签类别数量。
降噪: 在降噪任务中,训练数据集包含噪声图像和对应的清晰图像。UNET模型将噪声图像输入编码器,通过前向传播计算损失函数,衡量噪声图像与清晰图像之间的差异,并使用反向传播更新模型参数,优化模型的降噪性能。