RCG如何将带有噪声的表征+条件输入RDM并得到去噪的表征

一、有条件去噪控制 

很简单的一个模型,整体来说就是将“内容(图像)” + “图像所对应的标签” + “每个噪声表征对应的时间步Timestap”分别输入进线性层Layer,然后将他们的表征相加(+)即可

执行步骤是:

x的维度是(bz,512,1,1)

1、将带有噪声的表征经过Linear Projection,得到x

x = self.input_proj(x)

2、将x输入进Layer得到h

h = self.in_layers(x)

3、将条件context输入Layer得到context_out

context_out = self.context_layers(context)

4、将每个噪声图像对应的timestep 的嵌入emb输入进Layer得到emb_out

emb_out = self.emb_layers(emb)

5、将它们三个自个的embedding相加+

h = h + emb_out + context_out

6、将它们的输出经过输出层Layer映射

h = self.out_layers(h)

7、将经过linear的x与输出映射h进行残差相加+

return x + h

8、最后再经过一个输出Layer就可以了

最后得到的输出的维度和输入是一样的,是(bz,512,1,1)

return self.out(x).unsqueeze(-1).unsqueeze(-1)

先执行步骤1一次,步骤2-7重复N次,然后再执行步骤8

整体的代码逻辑:

def block(self, x, emb, context):# 1、将带有噪声的rep x输入h = self.in_layers(x)# 2、将timestep embedding emb输入emb_out = self.emb_layers(emb)# 3、将条件context输入if self.use_context:context_out = self.context_layers(context)# 4、将它们三个自个的embedding相加h = h + emb_out + context_outelse:h = h + emb_out# 5、将它们的输出经过输出层映射h = self.out_layers(h)# 6、将经过linear的x与输出映射h相加return x + hx = self.input_proj(x)for block in self.res_blocks:x = block(x, emb, context)output = self.out(x).unsqueeze(-1).unsqueeze(-1)

二、无条件去噪控制 

与条件去噪控制 唯一不同的是,未加入(+)条件context的Embedding而已

        if self.use_context:context_out = self.context_layers(context)# 4、将它们三个自个的embedding相加h = h + emb_out + context_outelse:# 未加入条件h = h + emb_out

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/776551.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

FCP270 P0917YZ 兼容性如何

FCP270 P0917YZ 是一种现场控制处理器,通常应用于工业自动化和过程控制系统中。 这款现场控制处理器的主要职责是监测和控制多种过程变量,确保系统的正常运行,并且满足生产的要求。以下是关于FCP270 P0917YZ的一些可能用途和特点&#xff1a…

vue3挂载axios挂载全局方法

vue3中在 // main.jsimport axios from "axios"; app.provide("$axios", axios);app.mount("#app");// Home.vue import { inject } from "vue"; const http inject("$axios");const getUser () > {http.post("…

HWOD:名字的漂亮度

一、题目 描述 给出一个字符串,该字符串仅由小写字母组成,定义这个字符串的漂亮度是其所有字母漂亮度的总和 每个字母都有一个漂亮度,范围在1到26之间。没有任何两个不同字母拥有相同的漂亮度。字母忽略大小写。 给出多个字符串&#xff…

MySQL 常用函数总结【持续更新】

1、根据起止日期获取二者之间的秒数 SELECT TIMESTAMPDIFF(SECOND, kssj, jssj) , kssj , jssj from your_table 起止日期应该是DATETIME、TIMESTAMP或DATE类型的列。如果它们是字符串,你可能需要先将它们转换为日期或时间戳类型; 第一个参数&#xf…

船舶航行突发事故3D模拟仿真演练优化搜救路线

在波澜壮阔的海洋世界中,船舶事故与搜救行动始终牵动着无数人的心。为了更好地应对这些挑战,我们倾力打造了3D船舶事故和搜救情景再现系统,旨在以科技之力为海事安全保驾护航。 该系统采用先进的web3D开发渲染技术,能够真实模拟船…

探索ttkbootstrap:让Python GUI开发更简洁高效

介绍 探索ttkbootstrap:让Python GUI开发更简洁高效.在Python的GUI开发领域,有许多优秀的工具和库可以帮助开发者快速构建出漂亮、功能丰富的用户界面。而在这些工具中,ttkbootstrap 脱颖而出,为Python开发者带来了更简洁高效的G…

实验3 中文分词

必做题: 数据准备:academy_titles.txt为“考硕考博”板块的帖子标题,job_titles.txt为“招聘信息”板块的帖子标题,使用jieba工具对academy_titles.txt进行分词,接着去除停用词,然后统计词频,最…

火山引擎VeDI:A/B测试开放平台正式上线,企业个性化平台一键定制

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 火山引擎数智平台VeDI旗下的A/B测试平台(DataTester),旨在为企业提供科学且可信的A/B测试能力及丰富的场景实验支持。随着企业的…

java常用优秀开发框架及工具类汇总

目录 1、各类系统及简称扫盲2、开发框架2.1、若依(ruoyi) 3、工具组件3.1、java工具类库3.1.1、HuTool3.1.2、office、excel、pdf文档处理3.1.3、运行日志管理3.1.4、数据层框架3.1.5、数据库连接池 java发展了很多年,为了便于开发,出现刴优秀的开发框架…

知识图谱操作的探索与利用

目录 前言1 搜索(Search)1.1 基于关键词搜索1.2 属性搜索1.3 模式匹配 2 过滤(Filtering)2.1 属性过滤2.2 关系过滤 3 引导(Guidance)3.1 相关实体推荐3.2 路径推荐 4 合并(Merging)…

WPF自定义Panel:让拖拽变得更简单

在 WPF 应用程序中,拖放操作是实现用户交互的重要组成部分。通过拖放操作,用户可以轻松地将数据从一个位置移动到另一个位置,或者将控件从一个容器移动到另一个容器。然而,WPF 中默认的拖放操作可能并不是那么好用。为了解决这个问…

智慧公厕的技术融合策略

智慧公厕是迎合现代城市发展需要的一项重要基础设施,其设计的技术融合策略在实现公共厕所泛在感知、互通互联、协同构筑智慧城市等方面起到了关键作用。本文将以智慧公厕源头实力厂家广州中期科技有限公司,大量精品案例现场实景实图实例,从物…

Mathematica使用笔记

文章目录 1. 数组定义及访问2. 表达式替换3. 清除变量4. 匿名函数(纯函数)5. 化简6. 求导7. 积分8. 求解方程及方程组8.1 求解方程形式8.2 求解方程组形式8.3 设置根式解显示方式 9. 表达式转C10. 提取多项式系数 1. 数组定义及访问 A {1,2,3} B {{1,…

数字兆欧表的量程选择技巧,你需要知道的秘密!

使用数字兆欧表的方法如下: 步骤一:准备工作 在开始操作之前,务必确保待测电气设备已经断电并进行了充分放电,以保证操作的安全性。此外,还需检查数字兆欧表的电量是否足够,外观是否完好,并确保…

元宇宙虚拟展厅——虚拟场景同现实世界的结合宣传

元宇宙作为具有前瞻性和先导性的未来产业,在政策布局、产业发展以及应用融合等方面也都实现了诸多探索。元宇宙虚拟展厅是虚拟场景同现实世界的结合,元宇宙与展厅的应用融合打破了传统展厅、传统宣传对时间和空间的限制,以往我们印刷过数不胜…

Wagtail-基于Python Django的内容管理系统CMS实现公网访问

目录 ⛳️推荐 前言 1. 安装并运行Wagtail 1.1 创建并激活虚拟环境 2. 安装cpolar内网穿透工具 3. 实现Wagtail公网访问 4. 固定Wagtail公网地址 ⛳️推荐 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给…

MySQL 8 索引原理详细分析

千山万水总是情, 问问索引行不行? 轻舟已过万重山, 有种尽管来发难。 索引是在数据库优化时的重要手段之一,今天 V 哥从索引的角度展开讲一讲索引的各个要点,希望可以通过这篇文章,帮助大家彻底搞透索引的关键点。 1.索引的定义与作用2.索引的类型3.索引原理4.二分查…

C语言模拟试题一

模拟试题一 一、选择题(本大题30 分,每小题2 分) 1下列说法正确的是。 E) main函数必须放在C程序的开头 F) main函数必须放在C程序的最后 G) main函数可以放在C程序的中间部分,但在执行C程序时是从程序开头执 行的 H) main函数可以放在C 程序的中间部分,但在执行C 程序时…

Redis 不再“开源”:中国面临的挑战与策略应对

Redis 不再“开源”,使用双许可证 3 月 20 号,Redis 的 CEO Rowan Trollope 在官网上宣布了《Redis 采用双源许可证》的消息。他表示,今后 Redis 的所有新版本都将使用开源代码可用的许可证,不再使用 BSD 协议,而是采用…

leetcode 1035.不相交的线

思路:最长公共子序列的动态规划问题。 其实简单来说就是将最长公共子序列那道题的字符串改成了数字而已,其实都是一样的,那么我就在这里不多讲了,如果要看思路可以看博主这篇leetcode 1143.最长公共子序列-CSDN博客 注意&#x…