(2024,SDE,对抗薛定谔桥匹配,离散时间迭代马尔可夫拟合,去噪扩散 GAN)

Adversarial Schrödinger Bridge Matching

公众号:EDPJ(进 Q 交流群:922230617 或加 VX:CV_EDPJ 进 V 交流群) 

目录

0. 摘要

1. 简介

4. 实验


0. 摘要

薛定谔桥(Schrödinger Bridge,SB)问题提供了一个结合最优输运(optimal transport)和扩散模型的强大框架。一个解决 SB 问题的有前景的新方法是迭代马尔可夫拟合(Iterative Markovian Fitting,IMF),它在连续时间随机过程的马尔可夫和倒向投影(reciprocal projection)之间交替。然而,由于使用了许多步的随机微分方程数值求解器,IMF 程序构建的模型推理时间较长。为了解决这个限制,我们提出了一种新的离散时间 IMF(D-IMF),其中随机过程的学习被替换为仅在离散时间内学习几个转移概率。其主要优点是它在实践中可以自然地通过去噪扩散 GAN(DD-GAN)实现,这是一种已经很成熟的对抗生成建模技术。我们展示了我们的 D-IMF 程序可以在仅用几步生成代替数百步生成的情况下,提供与 IMF 相同质量的无监督域迁移。

(2022|ICLR,扩散 GAN,少量步扩散,对抗散度,非饱和 GAN)用去噪扩散 GAN 解决生成学习难题_高样本质量、模式覆盖和快速采样-CSDN博客 

1. 简介

贡献。本论文通过引入一种新方法来学习薛定谔桥(Schrödinger Bridge),解决了现有迭代马尔可夫拟合(IMF)框架推理时间较长的限制。

  • 理论 I。我们引入了离散迭代马尔可夫拟合(D-IMF)(sec. 3.2, 3.3),创新性地应用离散马尔可夫投影来解决薛定谔桥问题,而不依赖随机微分方程。这一方法显著简化了推理过程,使其在理论上仅需几步评估即可完成。

  • 理论 II。我们推导了处理高维高斯分布时 D-IMF 程序的闭式(closed-form)更新公式。这一进展允许对我们方法的收敛率进行详细的实证分析,并增强其理论基础(sec. 3.4, 4.1)。

  • 实践。对于通过样本获得的一般数据分布,我们提出了一种算法(Adversarial Schrödinger Bridge Matching,ASBM)来实际实现离散马尔可夫投影和我们的 D-IMF(sec. 4.2)。我们的算法基于对抗学习和去噪扩散 GAN [49]。我们学习的 SB 模型在推理中仅使用 4 步评估(sec. 3.5),而不是基础 IMF [43] 的数百步。

4. 实验

我们通过使用 sec. 3.4 中的 D-IMF 解析公式进行实验。我们遵循 [12] 中的设置,并考虑维度 D = 16 和 ϵ∈{1,3,10} 的中心高斯分布 p0=N(0,Σ0) 和 p1=N(0,Σ1) 的薛定谔桥问题。 

我们发现,在所有情况下,我们的 D-IMF 过程显示出指数级的收敛速度。如图 2a 所示,收敛速度对时间步 N 的依赖性迅速饱和。因此,即使只有几个时间点,例如 N = 5,也能提供快速的收敛速度。从图 2b 可以明显看出,收敛速度受参数 ϵ 的选择影响很大。例如,从 ϵ=1 到 ϵ=10 的过渡需要多十倍的 D-IMF 迭代次数。因此,这个超参数在实际问题中可能非常重要。 

Diffusion schrödinger bridge matching(DSBM) 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/15926.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

el-autocomplete后台远程搜索

el-complete可以实现后台远程搜索功能,但有时传入数据为空时,接口可能会报错。此时可在querySearchAsync方法中,根据queryString判断,若为空,则不掉用接口,直接callback([]),反之则调用接口&…

浮点型比较大小

浮点数的存储形式 浮点数按照在内存中所占字节数和数值范围,可以分为浮点型,双精度浮点型和长双浮点型数。 代码: printf("lgn:%e \n", pow(exp(1), 100));printf("lgn:%f ", pow(exp(1), 100));输出结果: …

Stanford斯坦福 CS 224R: 深度强化学习 (5)

离线强化学习:第一部分 强化学习(RL)旨在让智能体通过与环境交互来学习最优策略,从而最大化累积奖励。传统的RL训练都是在线(online)进行的,即智能体在训练过程中不断与环境交互,实时生成新的状态-动作数据,并基于新数据来更新策略。这种在线学习虽然简单直观,但也存在一些局限…

【Could not find Chrome This can occur if either】

爬虫练习中遇到的问题 使用puppeteer执行是提示一下错误 Error: Could not find Chrome (ver. 125.0.6422.78). This can occur if either you did not perform an installation before running the script (e.g. npx puppeteer browsers install chrome) oryour cache path…

CLIP 论文的关键内容

CLIP 论文整体架构 该论文总共有 48 页,除去最后的补充材料十页去掉,正文也还有三十多页,其中大部分篇幅都留给了实验和响应的一些分析。 从头开始的话,第一页就是摘要,接下来一页多是引言,接下来的两页就…

常用 CSS 写法

不是最后一个 :not(:last-child)渐变色 background: linear-gradient(270deg, #15aaff 0%, #02396a 100%);文字渐变色 background-image: linear-gradient(to right, #ff7e5f, #feb47b); -webkit-background-clip: text; background-clip: text; color: transparent;

python文件IO基础知识

目录 1.open函数打开文件 2.文件对象读写数据和关闭 3.文本文件和二进制文件的区别 4.编码和解码 读写文本文件时 读写二进制文件时 5.文件指针位置 6.文件缓存区与flush()方法 1.open函数打开文件 使用 open 函数创建一个文件对象,read 方法来读取数据&…

谈谈磁盘的那些操作

磁盘格式化 是指把一张空白的盘划分成一个个小区域并编号,以供计算机存储和读取数据。格式化是一种纯物理操作,是在磁盘的所有数据区上写零的操作过程,同时对硬盘介质做一致性检测,并且标记出不可读和坏的扇区。由于大部分硬盘在…

电子技术学习路线

在小破站上看到大佬李皆宁的技术路线分析,再结合自己这几年的工作。发现的确是这样,跟着大佬的技术路线去学习是会轻松很多,现在想想,这路线其实跟大学四年的学习顺序是很像的。 本期记录学习路线,方便日后查看。 传统…

python 深度图生成点云(方法二)

深度图生成点云 一、介绍1.1 概念1.2 思路1.3 函数讲解二、代码示例三、结果示例接上篇:深度图生成点云(方法1) 一、介绍 1.1 概念 深度图生成点云:根据深度图像(depth image)和相机内参(camera intrinsics)生成点云(PointCloud)。 1.2 思路 点云坐标的计算公式如…

pillow学习7

绘制验证码 from PIL import Image,ImageFilter,ImageFont,ImageDraw import random width100 hight100 imImage.new(RGB,(width,hight),(255,255,255)) drawImageDraw.Draw(im) #获取颜色 def get_color1():return (random.randint(200, 255), random.randint(200, 255), ran…

京东Java社招面试题真题,最新面试题

Java中接口与抽象类的区别是什么? 1、定义方式: 接口是完全抽象的,只能定义抽象方法和常量,不能有实现;而抽象类可以有抽象方法和具体实现的方法,也可以定义成员变量。 2、实现与继承: 一个类…

几种常用的配置文件格式对比分析——ini、json、xml、toml、yaml

配置文件用于存储软件程序的配置信息,以便程序能够根据这些信息进行自定义和调整。常用的配置文件格式包括INI、XML、JSON和YAML。下面对它们进行简单介绍,并分析各自的优缺点。 1. INI 文件格式 简介: INI(Initialization&…

FPGA之tcp/udp

在调试以太网的过程中,考虑了vivado IP配置(管脚、reset等),SDK中PHY芯片的配置(芯片地址、自适应速率配置等),但是,唯独忽略了tcp/udp协议,所以在ping通之后仍无法连接。 所以现在来学习一下tcp与udp的区别 ---- 为什…

经典面试题:进程、线程、协程开销问题,为什么进程切换的开销比线程的大?

上下文切换的过程? 上下文切换是操作系统在将CPU从一个进程切换到另一个进程时所执行的过程。它涉及保存当前执行进程的状态并加载下一个将要执行的进程的状态。下面是上下文切换的详细过程: 保存当前进程的上下文: 当操作系统决定切换到另…

浪潮信息IPF24:AI+时代,创新驱动未来,携手共创智慧新纪元

如今,数字化时代的浪潮席卷全球,人工智能已经成为推动社会进步的重要引擎。浪潮信息IPF24作为行业领先的AI技术盛会,不仅为业界提供了交流合作的平台,更在激发创新活力、拓展发展路径、加速AI技术落地等方面发挥了重要作用。 升级…

OS复习笔记ch6-2

死锁的解决 死锁的预防(打疫苗)死锁的避免(戴口罩)死锁的检测(做核酸) 死锁的预防 前面我们提到了死锁的四个必要条件 防止前三个必要条件,就是间接预防防止最后一个必要条件–循环等待&…

软测刷题-错题1

提高测试效率的方法: 1、不要做无效的测试 2.不要做重复的测试 3.不同测试版本的测试侧重点 4.优化测试顺序 LoadRunner是对服务器进行施压。 在数据库中存在的用户数是指注册用户数。 input标签可以直接使用send_keys实现上传,而非input标签是无法直…

Rust后台管理系统Salvo-admin源码编译

1.克隆salvo-admin后台管理系统源码: https://github.com/lyqgit/salvo-admin.git 2.编译 编译成功 3.创建mysql数据库与执行sql脚本 输入名称ry-vue 执行sql脚本 全部执行上面3个sql 修改数据库用户名与密码: 清理及重新编译 cargo clean cargo build 4.运行并测试 cargo…

Android内存碎片化调优

概念 内存碎片分为两种,一种是内存页中的碎片,被称为内部碎片;另一种是空闲分散的内存页,凑不齐一个组物理地址连续的空闲内存页,就没办法分配了,这些散落的内存页被称为外部碎片。 在Android系统中,内存碎片化是指内存中存在很多小块的空闲内存,这些内存块之间不连续…