扩散模型条件生成——Classifier Guidance和Classifier-free Guidance原理解析

1、前言

从讲扩散模型到现在。我们很少讲过条件生成(Stable DIffusion曾提到过一点),所以本篇内容。我们就来具体讲一下条件生成。这一部分的内容我就不给原论文了,因为那些论文并不只讲了条件生成,还有一些调参什么的。并且推导过程也相对复杂。我们从一个比较简单的角度出发。

参考论文:Understanding Diffusion Models: A Unified Perspective (arxiv.org)

参考代码:

classifier guidance:GitHub - openai/guided-diffusion

classifier-free guidance:GitHub - coderpiaobozhe/classifier-free-diffusion-guidance-Pytorch: a simple unofficial implementation of classifier-free diffusion guidance

视频:[扩散模型条件生成——Classifier Guidance和Classifier-free Guidance原理解析-哔哩哔哩]

2、常用的条件生成方法

在diffusion里面,如何进行条件生成呢?我们不妨回忆一下在Stable Diffusion里面的一个常用做法。即在训练的时候。给神经网络输入一个条件。
L = ∣ ∣ ϵ − ϵ θ ( x t , t , y ) ∣ ∣ 2 L=||\epsilon-\epsilon_{\theta}(x_t,t,y)||^2 L=∣∣ϵϵθ(xt,t,y)2
里面的y就是条件。至于为什么有效,请看我之前写过的Stable DIffusion那篇文章。在此不过多赘述了。我们来讲这种方法所存在的问题。

很显然的,这种训练的方式,会有一个问题,那就是神经网络或许会学会忽略或者淡化掉我们输入的条件信息。因为就算我们不输入信息,他也照样能够生成。

接下来我们来讲两种更为流行的方法——分类指导器(Classifier Guidance) 和无分类指导器( Classifier-Free Guidance)

3、Classifier Guidance

为了简单起见。我们从分数模型的角度出发。

回忆一下在SDE里面的结论。其反向过程为
d x = [ f ( x , t ) − g ( t ) 2 ∇ x log ⁡ p t ( x ) ] d t + g ( t ) d w ˉ (1) \mathbb{dx}=\left[\mathbb{f(x,t)}-g(t)^2\nabla_x\log p_t(x)\right]\mathbb{dt}+g(t)\mathbb{d\bar w}\tag{1} dx=[f(x,t)g(t)2xlogpt(x)]dt+g(t)dwˉ(1)
如果施加条件的话,还是根据Reverse-time diffusion equation models - ScienceDirect这篇论文,可得条件生成时的反向SDE为
d x = [ f ( x , t ) − g ( t ) 2 ∇ x log ⁡ p t ( x ∣ y ) ] d t + g ( t ) d w ˉ (2) \mathbb{dx}=\left[\mathbb{f(x,t)}-g(t)^2\nabla_x\log p_t(x|y)\right]\mathbb{dt}+g(t)\mathbb{d\bar w}\tag{2} dx=[f(x,t)g(t)2xlogpt(xy)]dt+g(t)dwˉ(2)
我们利用贝叶斯公式,对 ∇ x log ⁡ p t ( x ∣ y ) \nabla x \log p_t(x|y) xlogpt(xy)进行处理
∇ x log ⁡ p t ( x ∣ y ) = ∇ x log ⁡ p t ( y ∣ x ) p t ( x ) p t ( y ) = ∇ x ( log ⁡ p t ( y ∣ x ) + log ⁡ p t ( x ) − log ⁡ p t ( y ) ) = ∇ x log ⁡ p t ( x ) + ∇ x log ⁡ p t ( y ∣ x ) \begin{aligned}\nabla_x \log p_t(x|y)=&\nabla_x\log\frac{p_t(y|x)p_t(x)}{p_t(y)}\\=&\nabla_x\left(\log p_t(y|x)+\log p_t(x)-\log p_t(y)\right)\\=&\nabla_x \log p_t(x)+\nabla_x\log p_t(y|x)\end{aligned}\nonumber xlogpt(xy)===xlogpt(y)pt(yx)pt(x)x(logpt(yx)+logpt(x)logpt(y))xlogpt(x)+xlogpt(yx)
第二个等号到第三个等号是因为对 log ⁡ p t ( y ) \log p_t(y) logpt(y)关于x求梯度等于0( log ⁡ p t ( y ) \log p_t(y) logpt(y)与x无关)

把它代入Eq.(2)可得
d x = [ f ( x , t ) − g ( t ) 2 ( ∇ x log ⁡ p t ( x ) + ∇ x log ⁡ p t ( y ∣ x ) ) ] d t + g ( t ) d w ˉ (3) \mathbb{dx}=\left[\mathbb{f(x,t)}-g(t)^2\left(\nabla_x\log p_t(x)+\nabla_x\log p_t(y|x)\right)\right]\mathbb{dt}+g(t)\mathbb{d\bar w}\tag{3} dx=[f(x,t)g(t)2(xlogpt(x)+xlogpt(yx))]dt+g(t)dwˉ(3)
对比Eq.(1)和Eq.(3)。我们不难发现,它们的差别,居然是只多了一个 ∇ x log ⁡ p t ( y ∣ x ) \nabla_x\log p_t(y|x) xlogpt(yx)

p t ( y ∣ x ) p_t(y|x) pt(yx)是什么?是以 x x x作为条件,时间为t对应条件y的概率。我们可以怎么求呢?该怎么求出来呢?

当然是使用神经网络了。也就是说,我们可以额外设定一个神经网络,该神经网络输入是 x t x_t xt,输出是条件为y的概率

所以,实际上我们现在需要训练两部分,一部分是 ∇ x log ⁡ p t ( x ) \nabla_x\log p_t(x) xlogpt(x),这我们在SDE中已经讲过该如何训练了。

另一个就是 ∇ x log ⁡ p t ( y ∣ x ) \nabla_x\log p_t(y|x) xlogpt(yx),他就是一个分类神经网络网络。训练好之后,我们就可以使用Eq.(3)通过不同的数值求解器,进行优化了。

作者在此基础上,又引入了一个控制参数 λ \lambda λ
∇ x log ⁡ p t ( x ∣ y ) = ∇ x log ⁡ p t ( x ) + λ ∇ x log ⁡ p t ( y ∣ x ) (4) \nabla_x \log p_t(x|y)=\nabla_x\log p_t(x)+\lambda\nabla_x\log p_t(y|x)\tag{4} xlogpt(xy)=xlogpt(x)+λxlogpt(yx)(4)
λ = 0 \lambda=0 λ=0,表示不加入任何条件。当 λ \lambda λ很大时,模型会产生大量附带条件信息的样本。

这种方法的一个缺点就是,需要额外学习一个分类器 p t ( y ∣ x ) p_t(y|x) pt(yx)

4、Classifier-Free Guidance

之前推出
∇ x log ⁡ p t ( x ∣ y ) = ∇ x log ⁡ p t ( x ) + ∇ x log ⁡ p t ( y ∣ x ) (5) \nabla_x \log p_t(x|y)=\nabla_x \log p_t(x)+\nabla_x\log p_t(y|x)\tag{5} xlogpt(xy)=xlogpt(x)+xlogpt(yx)(5)
把该式子代入Eq.(4)可得
∇ x log ⁡ p t ( x ∣ y ) = ∇ x log ⁡ p t ( x ) + λ ( ∇ x log ⁡ p t ( x ∣ y ) − ∇ x log ⁡ p t ( x ) ) = ∇ x log ⁡ p t ( x ) + λ ∇ x log ⁡ p t ( x ∣ y ) − λ ∇ x log ⁡ p t ( x ) = ( 1 − λ ) ∇ x log ⁡ p t ( x ) + λ ∇ x log ⁡ p t ( x ∣ y ) \begin{aligned}\nabla_x \log p_t(x|y)=&\nabla_x\log p_t(x)+\lambda\left(\nabla_x\log p_t(x|y)-\nabla_x\log p_t(x)\right)\\=&\nabla_x\log p_t(x)+\lambda\nabla_x\log p_t(x|y)-\lambda\nabla_x\log p_t(x)\\=&\left(1-\lambda\right)\nabla_x\log p_t(x)+\lambda\nabla_x\log p_t(x|y)\end{aligned}\nonumber xlogpt(xy)===xlogpt(x)+λ(xlogpt(xy)xlogpt(x))xlogpt(x)+λxlogpt(xy)λxlogpt(x)(1λ)xlogpt(x)+λxlogpt(xy)
此时我们注意到,当 λ = 0 \lambda=0 λ=0是,第二项完全为0,会忽略掉条件;当 λ = 1 \lambda=1 λ=1时,使用第二项,第二项就是附带有条件情况下的分布分数网络;而当 λ > 1 \lambda> 1 λ>1,模型会优化考虑条件生成样本,并且远离第一项的无条件分数网络的方向,换句话说,它降低了生成不使用条件信息的样本的概率,而有利于生成明确使用条件信息的样本。

事实上,如果你看了free-Classifier Guidance这篇论文,会发现我们的结论不一样。

其实论文里面的控制参数是 w w w,也就是说,Eq.(4)就变成了这样
∇ x log ⁡ p t ( x ∣ y ) = ∇ x log ⁡ p t ( x ) + w ∇ x log ⁡ p t ( y ∣ x ) \nabla_x \log p_t(x|y)=\nabla_x\log p_t(x)+w\nabla_x\log p_t(y|x) xlogpt(xy)=xlogpt(x)+wxlogpt(yx)
我们把控制参数改成 1 + w 1+w 1+w不会有任何影响
∇ x log ⁡ p t ( x ∣ y ) = ∇ x log ⁡ p t ( x ) + ( 1 + w ) ∇ x log ⁡ p t ( y ∣ x ) \nabla_x \log p_t(x|y)=\nabla_x\log p_t(x)+(1+w)\nabla_x\log p_t(y|x) xlogpt(xy)=xlogpt(x)+(1+w)xlogpt(yx)
把Eq.(5)代入该式子
∇ x log ⁡ p t ( x ∣ y ) = ∇ x log ⁡ p t ( x ) + ( 1 + w ) ( ∇ x log ⁡ p t ( x ∣ y ) − ∇ x log ⁡ p t ( x ) ) = ∇ x log ⁡ p t ( x ) + ( 1 + w ) ∇ x log ⁡ p t ( x ∣ y ) − ( 1 + w ) ∇ x log ⁡ p t ( x ) = ( 1 + w ) ∇ x log ⁡ p t ( x ∣ y ) − w ∇ x log ⁡ p t ( x ) (6) \begin{aligned}\nabla_x \log p_t(x|y)=&\nabla_x\log p_t(x)+(1+w)\left(\nabla_x\log p_t(x|y)-\nabla_x\log p_t(x)\right)\\=&\nabla_x\log p_t(x)+(1+w)\nabla_x\log p_t(x|y)-(1+w)\nabla_x\log p_t(x)\\=&(1+w)\nabla_x\log p_t(x|y)-w\nabla_x\log p_t(x)\end{aligned}\tag{6} xlogpt(xy)===xlogpt(x)+(1+w)(xlogpt(xy)xlogpt(x))xlogpt(x)+(1+w)xlogpt(xy)(1+w)xlogpt(x)(1+w)xlogpt(xy)wxlogpt(x)(6)
这就是原论文里面的结论。

那么接下来,我们来探讨一下该如何去训练。

对于 ∇ x log ⁡ p t ( x ) \nabla_x\log p_t(x) xlogpt(x),这个不用说了,之前我们训练的就是这个;如何计算 ∇ x log ⁡ p t ( x ∣ y ) \nabla_x\log p_t(x|y) xlogpt(xy)呢,它实际上就是在给定y的情况下,求出 p t ( x ∣ y ) p_t(x|y) pt(xy)。那我们可以怎么做呢?

在NCSN,我们是使用一个加噪分布 q ( x ~ ∣ x ) q(\tilde x|x) q(x~x)取代 p ( x ) p(x) p(x),而从让它是可解的。

对于 p t ( x ∣ y ) p_t(x|y) pt(xy),即便是加多了一个条件之后,我们仍然建模为 q ( x ~ ∣ x ) q(\tilde x|x) q(x~x),也就是说,我们仍然把它建模成一个正向加噪过程。因此,无论是否增加条件。最终的损失函数结果都是
L = ∣ ∣ s θ − ∇ x log ⁡ q ( x ~ ∣ x ) ∣ ∣ 2 = ∣ ∣ s θ − ∇ x log ⁡ q ( x t ∣ x 0 ) ∣ ∣ 2 L=||s_\theta-\nabla_x\log q(\tilde x|x)||^2=||s_\theta-\nabla_x\log q(x_t|x_0)||^2 L=∣∣sθxlogq(x~x)2=∣∣sθxlogq(xtx0)2
后者是通过SDE统一的结果(我在SDE那一节讲过)

那该如何体现条件y呢?其实我们在第二节的时候已经说过了,就是在里面神经网络的输出加入一个条件y。
L = ∣ ∣ s θ ( x t , t , y ) − ∇ x log ⁡ q ( x t ∣ x 0 ) ∣ ∣ 2 (7) L=||s_\theta(x_t,t,y)-\nabla_x\log q(x_t|x_0)||^2\tag{7} L=∣∣sθ(xt,t,y)xlogq(xtx0)2(7)
而不施加条件的时候,长这样
L = ∣ ∣ s θ ( x t , t ) − ∇ x log ⁡ q ( x t ∣ x 0 ) ∣ ∣ 2 (8) L=||s_\theta(x_t,t)-\nabla_x\log q(x_t|x_0)||^2\tag{8} L=∣∣sθ(xt,t)xlogq(xtx0)2(8)
由Eq.(5)可知,我们需要训练两种情况,一种是有条件的,对应Eq.(7);另外一种是无条件的,对应Eq.(8)。

理论上,我们其实也是要训练两个神经网络。但实际上,我们可以把他们结合成一种神经网络。

具体操作就是把无条件的情况作为一种特例。

当我们训练有条件的神经网络的时候,会照样把条件输入进网络里面。而训练无条件的时候,我们构造一个无条件的标识符,把它作为条件输入给神经网络,比如对于所有无条件的情况,我都构造一个0作为条件输入到神经网络里面。通过这种方式,我们就可以把两个网络变成一个网络了,

对于损失函数,直接使用Eq.(7)。我们在SDE里面讲过 ∇ x log ⁡ p ( x ) = − 1 σ ϵ \nabla_x \log p(x)=-\frac{1}{\sigma}\epsilon xlogp(x)=σ1ϵ。所以我们最终我们把预测噪声,变成了预测分数。我们同样可以把它变回来,变成预测分数
L = ∣ ∣ ϵ − ϵ θ ( x t , t , y ) ∣ ∣ 2 L=||\epsilon-\epsilon_{\theta}(x_t,t,y)||^2 L=∣∣ϵϵθ(xt,t,y)2
所以损失函数就变成了这样。在训练的时候,作者设定一个大于等于0,小于等于1的超参数 p u n c o n d p_{uncond} puncond,它的作用就是判断是否需要输入条件(从0-1分布采样一个值,大于 p u n c o n d p_{uncond} puncond则使用条件,反之则不使用)。也就是说,这相当于dropout一样,随机舍弃掉一些条件,把他们作为无条件的情况(因为我们既要学习有条件的,又要学习无条件的)。所以,最终的训练过程就是这样

在这里插入图片描述

其中里面的 λ \lambda λ你就当作是时刻t吧(其实不是,其实是时刻t的噪声(噪声的初始化不一样,不是传统的等差数列,是用三角函数初始化的)。由于与本篇内容无关,故而忽略),c是条件。

同样的,采用过程使用Eq.(6)的结构进行采样

在这里插入图片描述

5、结束

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/24663.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【时序约束】一些关于io输入输出时序约束的实际的参考示例1

在FPGA设计中,I/O输入输出时序约束是确保信号完整性和时序准确性的重要步骤。以下是一些实际的参考示例,展示了如何使用set_input_delay和set_output_delay命令,并提供了如何确定具体约束值的方法。 示例 示例1:输入时序约束 假…

Java数据结构与算法(最大子数组和动态规划)

前言 动态规划主要用于解决具有重叠子问题和最优子结构性质的问题。它通过将问题分解为子问题来解决复杂问题,每个子问题仅解决一次,并将其结果存储,以供后续使用,从而避免了重复计算。 对应leetcode. - 力扣(LeetCo…

Linux统计目录和文件数目

当在终端执行 ls | wc 命令时,ls 命令列出了当前目录中的文件和目录,然后通过管道 | 将输出传递给 wc 命令进行计数。 wc 命令的默认输出包括三列: 行数(lines):这通常是文件和目录的总数,但注…

【python】python电影评论数据抓取分析可视化(源码+数据+课程论文)【独一无二】

👉博__主👈:米码收割机 👉技__能👈:C/Python语言 👉公众号👈:测试开发自动化【获取源码商业合作】 👉荣__誉👈:阿里云博客专家博主、5…

PVc是k8s的什么?

**PVC(PersistentVolumeClaim)是Kubernetes(k8s)中的持久化存储卷声明**。它是用户对存储的请求,类似于Pod消耗节点资源的方式,PVC则消耗PV(Persistent Volume,持久化卷)…

探索教研在线平台的系统架构

教研在线平台作为一家致力于教育技术领域的企业,其系统架构扮演着至关重要的角色。本文将深入探讨教研在线平台的系统架构,从技术架构、数据架构和安全架构等方面进行分析,以期帮助读者更好地理解这一教育科技平台的运作模式。 技术架构是教研…

银河麒麟操作系统通过首批软件供应链安全能力认证

麒麟软件产品供应链安全能力获双重肯定!5月30日,经北京赛迪认证中心评估,银河麒麟高级服务器操作系统V10和银河麒麟桌面操作系统V10成为首批获得软件供应链安全能力认证产品,并在操作系统类产品中名列前茅。 软件供应链安全能力评…

常用的国内外公共DNS服务

DNS介绍 DNS(全称:Domain Name Service,域名系统),是互联网的核心服务之一,将便于记忆的网址(域名)和不便记忆的IP地址相互对应,方便普通用户更便捷地访问互联网。 通常…

MP4文件格式

ISO 协议族 ISO/IEC-14496:MPEG-4 协议族,包括 ISO 容器格式、MPEG-4(H.264)视频压缩标准等。ISO/IEC-23008:MPEG-H 协议族,包括 H.265(HEVC)视频压缩标准等。字段类型含义ISO/IEC-14496-1SystemMPEG-4 的复用、同步等系统级特性ISO/IEC-14496-2Video视频压缩标准ISO/I…

一些JVM面试题

Java垃圾回收器的原理 有三对常见的垃圾回收器: 在JDK1.8之前,有三种常见的垃圾回收器, serial serialOld 串行化的垃圾回收 PS PO 多线程并行回收,可以动态调整堆内存的大小,关注系统的吞吐量 ParNew CMS Par…

getifaddrs 函数详解

getifaddrs 函数用于获取系统中所有网络接口的信息。它返回一个链表,链表中的每个节点包含一个 struct ifaddrs 结构,该结构定义在 ifaddrs.h 头文件中。下面是关于 getifaddrs 函数和 struct ifaddrs 结构的详细解析: 1. getifaddrs 函数 …

Github 2024-06-07开源项目日报 Top10

根据Github Trendings的统计,今日(2024-06-07统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Python项目3C++项目3JavaScript项目2Jupyter Notebook项目1TypeScript项目1Vue项目1比特币核心:开源比特币软件 创建周期:4919 天开发语言:C…

09-spring的bean创建流程(一)

文章目录 spring中bean的创建流程finishBeanFactoryInitialization(beanFactory)beanFactory.preInstantiateSingletons();getMergedLocalBeanDefinition(beanName);流程实现FactoryBean接口,里面的对象实例化过程 spring中bean的创建流程 finishBeanFactoryInitialization(be…

HPUX系统Oracle RAC如何添加ASM磁盘

前言 HPUX简介 HP-UX (Hewlett-Packard Unix) 是惠普公司开发的类 Unix 操作系统。自 1980 年代问世以来,HP-UX 在技术和功能上不断发展,适应了多种硬件平台和企业计算需求。以下是 HP-UX 的发展历史概述: 1980 年代:起源与早期…

webflux 拦截器验证token

在WebFlux中,我们可以使用拦截器(Interceptor)来验证Token。以下是一个简单的示例: 1. 首先,创建一个名为TokenInterceptor的类,实现HandlerInterceptor接口: java import org.springframewor…

【Unity UGUI】Screen.safeArea获取异形屏数据失败

Screen.safeArea获取不到异形屏的尺寸位置等数据 检查AndroidManifest.xml文件是否有设置:android:theme"style/UnityThemeSelector",没有加上即可 android:theme"style/UnityThemeSelector"

【学习笔记】Windows GDI绘图(十二)双缓冲管理(用GIF动画测试)

文章目录 引言默认双缓冲SetStyle 手动管理双缓冲图形BufferedGraphicsManager缓冲图形管理器BufferedGraphicsContext 缓冲图形上下文BufferedGraphics 图形缓冲区验证双缓冲的效果(Gif动画显示非正常速度)结束语性能对比 引言 图形编程中一个常见的问题就是闪烁,…

SpringBoot高手之路-springboot原理篇

配置文件优先级 SpringBoot原理篇-多环境配置

UG编程的材料叫什么:深入解析UG编程中的材料选择与应用

UG编程的材料叫什么:深入解析UG编程中的材料选择与应用 在UG编程这一高精尖的制造领域中,材料的选择不仅关乎产品的最终质量,还直接影响着生产效率与成本控制。那么,UG编程的材料究竟叫什么呢?本文将从四个方面、五个…

深入探讨 Java 18 的主要新特性,分析其设计理念和实际应用

Java 18 作为 Java 的最新版本,引入了一系列的新特性和改进,这些变化不仅提升了语言的性能和安全性,也为开发者提供了更多的工具和选项,简化了开发过程,提高了代码的可读性和维护性。本文将深入探讨 Java 18 的主要新特性,分析其设计理念和实际应用,帮助读者理解这些新特…