车辆重识别(去噪扩散概率模型)论文阅读2024/9/27

[2] Denoising Diffusion Probabilistic Models
作者:Jonathan Ho Ajay Jain Pieter Abbeel
单位:加州大学伯克利分校

摘要:
我们提出了高质量的图像合成结果使用扩散概率模型,一类潜变量模型从非平衡热力学的考虑启发。我们的最佳结果是通过根据扩散概率模型和与Langevin动力学匹配的去噪分数之间的一种新的联系设计的加权变分界进行训练得到的,并且我们的模型自然地承认一个渐进的有损解压方案,可以解释为自回归解码的一个推广。在无条件的CIFAR10数据集上,我们获得了9.46的Inception分数和3.17的最先进的FID分数。在256x256LSUN上,我们得到了与ProgressiveGAN类似的样本质量。

主要贡献:
我们表明,扩散模型实际上能够生成高质量的样本,有时比其他类型的生成模型的发布结果更好。此外,我们证明了扩散模型的某种参数化揭示了与训练过程中多个噪声水平上的去噪分数匹配以及采样过程中退火朗之万动力学的等价性。我们使用这个参数化得到了我们最好的样本质量结果。

创新点:
为了指导我们的选择,我们在扩散模型和去噪得分匹配之间建立了一个新的显式联系,从而得到了一个简化的、加权的扩散模型变分界限目标。我们忽略了前向过程方差β t可以通过重新参数化学习的事实,而是将它们固定为常量。因此,在我们的实现中,近似后验q没有可学习的参数,因此LT在训练过程中是一个常数,可以忽略。
简介:
近年来,各种深度生成模型在各种数据模态中都展示了高质量的样本。生成式对抗网络( GAN )、自回归模型、流和变分自编码器( VAEs )合成了引人注目的图像和音频样本,并且在基于能量的建模和得分匹配方面取得了显著进展,产生了与GAN 相当的图像。本文介绍了扩散概率模型的研究进展。

框图:

在这里插入图片描述
在这里插入图片描述
[2] Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. In Proceedings of the 34th Conference on Neural Information Processing Systems (NeurIPS 2020).

请添加图片描述
采样过程差不多是x→A→B→C→z*σ+μ
x代表输入的数据,有可能是随机数的个数和范围,通过A输出相应的随机数数据,这些随机数通过B函数的处理,得到符合N(0,1)的数据,然后这些数据再经过参数重整化,得到最终数据。这样做的好处就是把数据和σ、μ结合起来,使得能够接入到网络中。

说一下扩散模型的两个过程:
一, 扩散过程
请添加图片描述
对于一个初始数据的概率分布q(x),我们从这个概率分布中采样一些数据,记作x0。然后,我们在T个轮次中,不断向其加入高斯噪声(其实加入高斯噪声指的就是对于每一步的xt,对其参数重整化,也就是说让xt*σ+μ,当然这里的σ和μ都不是一个简单的值,使得经过处理之后的xt符合相应的高斯分布),使得最终的xT变成了一个各向独立的高斯分布。请添加图片描述
通过上述的一个公式推导,能得到什么样的信息:①对于每一个轮次或者说是时刻的xt都能够算出来,因为请添加图片描述
是和β有关的一个项,而β是初始给出的参数。x0也是初始数据,z是每次从N(0,1)采样出来的数据,这些都是可获得的,所以xt能得到。②因为q(xt|x0)是知道的,所以q(xt|x0)*q(x0)这个式子对x0求积分,得到的是q(xt)的概率分布,而我们想要使得最终的分布是各向独立的高斯分布,只需令此时的分布均值为0,方差为1就行了。
二,逆扩散过程
请添加图片描述
通过一系列的公式推导,我们最终得到xt-1的公式,最终可以得到x0的结果。
请添加图片描述
请添加图片描述
请添加图片描述
前面的扩散过程已经解释清楚了,然后,对于训练过程,就是让一个神经网络使得Lsimple这个公式的值最小,也就是说对于每一步都要使得预测的噪声与真实噪声的差异最小,对于每一轮都要训练完。
最后的逆扩散过程就是,从N(0,1)中随机采样出xT,对于T个轮次,从N(0,1)随机采样出z,然后带入公式逐步得到x0.请添加图片描述
请添加图片描述
请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/55092.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【hot100-java】【零钱兑换】

R9-dp篇 class Solution {public int coinChange(int[] coins, int amount) {int ncoins.length;int [][] fnew int[n1][amount1];//除2防止下面1溢出Arrays.fill(f[0],Integer.MAX_VALUE/2);f[0][0]0;for (int i0;i<n;i){for (int c0;c<amount;c){if(c<coins[i]) f[i…

5G NR 协议规范表(对应3GPP 协议编号)

文章目录 5G NR 协议规范表&#xff08;对应3GPP 协议编号&#xff09;5G 架构相关协议5G 新空口相关协议无线接入网相关协议终端相关协议 5G NR 协议规范表&#xff08;对应3GPP 协议编号&#xff09; 5G 架构相关协议 5G 新空口相关协议 无线接入网相关协议 终端相关协议

网页设计html心得

一&#xff0c;认识网页 说到网页&#xff0c;其实大家并不陌生 1.1网页究竟是什么&#xff1f; 网页主要由文字、图像和超链接等元素构成。当然&#xff0c;除了这些元素&#xff0c;网页中还可以包含音频、视频以及Flash等。 1.2网页是如何形成的呢&#xff1f; 1.特殊的…

uni-app在线预览pdf

这里推荐下载pdf.js 插件 PDF.js - Browse Files at SourceForge.net 特此注意 如果报 Promise.withResolvers is not a function 请去查看版本兼容问题 降低pdf.js版本提高node版本 下载完成后 在 static 文件夹下新建 pdf 文件夹&#xff0c;将解压文件放进 pdf 文件…

监控和日志管理:深入了解Nagios、Zabbix和Prometheus

在现代IT运维中&#xff0c;监控和日志管理是确保系统稳定性和性能的关键环节。本文将介绍三种流行的监控工具&#xff1a;Nagios、Zabbix和Prometheus&#xff0c;帮助您了解它们的特点、使用场景以及如何进行基本配置。 一、Nagios Nagios 是一个强大的开源监控系统&#x…

从0新建一个微信小程序实现一个简单跳转

首先 1.从这里下载开发工具 https://developers.weixin.qq.com/miniprogram/dev/framework/quickstart/getstart.htm 2. 等下载完毕后 创建一个空白项目 在pages目录下右键创建一个page : testUI,这时候会生成四个文件 新建一个文件夹 testUI 给他们放一起 3.增加一个按钮 …

蛋白质结构中模型的提取

在 Biopython 的 PDB 模块中,提取 PDB 结构中的 model 信息相对直观。在 PyMMCIF 包中,我们可以通过提取 atom_site 数据中的 pdbx_PDB_model_num 字段来识别结构中的不同模型。下面是如何使用这两个包分别提取结构的 model 信息的示例代码。 1. Biopython PDB 模块提取模型…

尚品汇-自动化部署-Jenkins的安装与环境配置(五十六)

目录&#xff1a; 自动化持续集成 &#xff08;1&#xff09;环境准备 &#xff08;2&#xff09;初始化 Jenkins 插件和管理员用户 &#xff08;3&#xff09;工作流程 &#xff08;4&#xff09;配置 Jenkins 构建工具 自动化持续集成 互联网软件的开发和发布&#xf…

多线程事务管理:Spring Boot 实现全局事务回滚

多线程事务管理:Spring Boot 实现全局事务回滚 在日常开发中,我们常常会遇到需要在多线程环境下进行数据库操作的场景。这类操作的挑战在于如何保证多个线程中的数据库操作要么一起成功,要么一起失败,即 事务的原子性。尤其是在多个线程并发执行的情况下,确保事务的一致性…

门面(外观)模式

简介 门面模式&#xff08;Facade Pattern&#xff09;又叫作外观模式&#xff0c;提供了一个统一的接口&#xff0c;用来访问子系统中的一群接口。其主要特征是定义了一个高层接口&#xff0c;让子系统更容易使用&#xff0c;属于结构型设计模式。 通用模板 创建子系统角色类…

多米诺骨牌(模拟)

初始化数据结构&#xff1a; 使用一个布尔数组 arr 来表示每个位置是否被占用。初始时所有位置均为 false&#xff08;未占用&#xff09;。使用一个 LinkedHashMap&#xff08;命名为 queue&#xff09;来记录最近的 R 操作的位置。这个结构可以保持插入顺序&#xff0c;方便后…

【AI基础】pytorch lightning 基础学习

传统pytorch工作流是首先定义模型框架&#xff0c;然后写训练和验证&#xff0c;测试循环代码。训练&#xff0c;验证&#xff0c;测试代码写起来比较繁琐。这里介绍使用pytorch lightning 部署模型&#xff0c;加速模型训练和验证&#xff0c;记录。 准备工作 1 安装pytorch…

【分布式微服务云原生】使用Docker体验不同Linux发行版

Docker 允许用户在同一个宿主机上运行多种不同的Linux发行版&#xff0c;而共享同一个宿主机内核。这种方式不仅节省资源&#xff0c;还非常方便进行环境测试和开发。 1. Docker与Linux发行版 Linux内核 发行版 Linux内核与各种发行版软件包组合&#xff0c;构成了一个完整的…

JAVA红娘婚恋相亲交友系统源码全面解析

在数字化时代&#xff0c;红娘婚恋相亲交友系统成为了连接单身男女的重要桥梁。JAVA作为一种流行的编程语言&#xff0c;为开发这样的系统提供了强大的支持。编辑h17711347205以下是对JAVA红娘婚恋相亲交友系统源码的全面解析&#xff0c;以及三段示例代码的展示。 系统概述 …

[产品管理-33]:实验室技术与商业化产品的距离,实验室技术在商业化过程中要越过多少道“坎”?

目录 一、实验室技术 1.1 实验室研究性技术 1.2 技术发展的S曲线 技术发展S曲线的主要阶段和特点 技术发展S曲线的意义和应用 二、实验室技术商业化的路径 2.1 实验室技术与商业化产品的距离 1、技术成熟度与稳定性 - 技术自身 2、市场需求与适应性 - 技术是满足需求 …

Visual Studio 2022

VS&#xff08;Visual Studio&#xff09;是一款由微软开发的集成开发环境&#xff08;IDE&#xff09;&#xff0c;用于开发应用程序、网站以及移动应用等。VS的历史可以追溯到1997年&#xff0c;当时发布了第一个版本的VS。以下是VS的一些重要历史里程碑&#xff1a; Visual …

ArcEngine C#二次开发图层处理:根据属性分割图层(Split)

需求&#xff1a;仅根据某一属性&#xff0c;分割图层&#xff0c;并以属性值命名图层名保存。 众所周知&#xff0c;ArcGIS ArcToolbox中通过Split可以实现图形分割一个图层&#xff0c;以属性值命名图层&#xff0c;如下图所示。 本功能仅依据属性值&#xff0c;将一个shp图…

MATLAB中的模型预测控制(MPC)实现详解

模型预测控制&#xff08;MPC&#xff09;是一种基于模型的优化控制策略&#xff0c;广泛应用于工业过程控制、无人驾驶、机器人等领域。MPC通过预测未来的系统行为&#xff0c;优化控制输入以达到预期的控制目标。本文将详细介绍如何在MATLAB中实现MPC&#xff0c;包括基本原理…

Socket【C#】Demo

字段&#xff1a; Socket RJ45;//以太网 属性&#xff1a; public Socket socket { get > RJ45; set > RJ45 value; } 构造&#xff1a; //实例化Socket RJ45 new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp); 连接&#xff1a; //封装…

后台监控中的云边下控耗时、边缘采集耗时 、云边下控量

云边下控耗时&#xff1a;指云端控制边缘设备的时间&#xff0c;从云端下发指令到边缘设备响应完成的时间。该指标反映了云端控制边缘设备的效率和响应速度。 边缘采集耗时&#xff1a;指边缘设备采集数据到云端处理完成的时间&#xff0c;包括数据采集、传输、处理等环节。该…