【每日论文阅读】图像修复模型

bad case

https://huggingface.co/runwayml/stable-diffusion-inpainting/discussions/31

论文

MAT

论文:MAT: Mask-Aware Transformer for Large Hole Image Inpainting

代码:

摘要:

RePaint

论文:RePaint: Inpainting using Denoising Diffusion Probabilistic Models

代码:

摘要:训练mask固定,域外适应不行;只通过使用给定的图像信息对未屏蔽区域进行采样来改变反向扩散迭代

论文:

代码:

摘要:

Large-Hole Image Completion

论文:A Structure-Guided Diffusion Model for Large-Hole Image Completion

代码:

摘要:使用潜在的结构增强diffusion的修复效果

SDM

论文:SDM: Spatial Diffusion Model for Large Hole Image Inpainting

代码:https://github.com/fenglinglwb/SDM

https://ar5iv.labs.arxiv.org/html/2212.02963

摘要:生成对抗网络(GAN)在图像修复方面取得了巨大成功,但在处理大面积缺失区域方面仍然存在困难。相比之下,迭代算法,例如自回归和去噪扩散模型,必须部署大量计算资源才能获得良好的效果。为了克服各自的限制,我们提出了一种新颖的空间扩散模型(SDM),它使用几次迭代逐渐将信息像素传递到整个图像,从而大大提高了推理效率。此外,由于提出的解耦概率建模和空间扩散方案,我们的方法实现了高质量的大孔完井。在多个基准测试中,我们实现了新的最先进的性能。

论文:Learned representation-guided diffusion models for large-image generation

代码:

摘要:为了合成高保真样本,扩散模型通常需要辅助数据来指导生成过程。然而,获得组织病理学和卫星图像等专业领域所需的艰苦的补丁级注释工作是不切实际的;它通常由领域专家执行,涉及数亿个补丁。现代自我监督学习(SSL)表示编码丰富的语义和视觉信息。在本文中,我们假设此类表示具有足够的表现力,可以充当细粒度人类标签的代理。我们引入了一种新颖的方法,可以训练基于 SSL 嵌入的扩散模型。我们的扩散模型成功地将这些特征投射回高质量的组织病理学和遥感图像。此外,我们通过组装从 SSL 嵌入推断出的空间一致的补丁来构建更大的图像,从而保留远程依赖性。通过生成真实图像的变体来增强真实数据,可以提高补丁级和更大的图像规模分类任务的下游分类器准确性。我们的模型即使在训练期间未遇到的数据集上也是有效的,这证明了它们的稳健性和普遍性。从学习的嵌入生成图像与嵌入的来源无关。用于生成大图像的 SSL 嵌入可以从参考图像中提取,也可以从以任何相关模态(例如类标签、文本、基因组数据)为条件的辅助模型中采样。作为概念证明,我们引入了文本到大图像合成范例,在该范例中,我们成功地从文本描述中合成了大型病理学和卫星图像。

GraphMaker

论文:GraphMaker:扩散模型可以生成大型属性图吗?

代码:具有节点属性的大规模图是现实场景中的基础,例如社交和金融网络。模拟现实世界的合成图的生成在图机器学习中至关重要,有助于在原始数据无法共享时理解网络演化和保留数据效用。传统的图生成模型受到模型容量有限的影响。扩散模型的最新发展已在图结构生成或具有属性的小分子图生成方面显示出前景。然而,由于捕获复杂模式和可扩展性方面的挑战,它们对大型属性图的适用性仍未得到解决。本文介绍了 GraphMaker,这是一种专为生成大型属性图而定制的新型扩散模型。我们研究耦合或解耦图结构和节点属性生成的扩散模型,以解决它们复杂的相关性。我们还采用节点级调节并采用小批量策略来实现可扩展性。我们进一步提出了一种新的评估流程,使用在生成的合成图上训练并在原始图上进行测试的模型来评估合成数据的质量。对现实世界数据集的实证评估展示了 GraphMaker 在生成有利于下游任务的真实且多样化的大属性图方面的优越性。

摘要:

论文:基于潜在扩散模型的自然对抗补丁生成方法

代码:

摘要:最近,一些研究表明深度神经网络容易受到对抗性攻击,训练有素的样本或补丁可以用来欺骗神经网络检测器或人类视觉感知。然而,这些对抗性斑块的图案引人注目且不寻常,缺乏伪装,很容易在现实世界中引起怀疑。为了解决这个问题,本文提出了一种称为潜在扩散补丁(LDP)的新型对抗性补丁方法,其中首先设计预训练编码器将自然图像压缩到具有关键特征的特征空间中。然后使用上述特征空间训练扩散模型。最后,利用图像去噪技术探索预训练扩散模型的潜在空间。它通过扩散模型强大的自然能力来完善补丁和图像,使它们更容易被人类视觉系统接受。数字世界和物理世界的实验结果表明,LDP 的视觉主观性得分达到 87.3%,同时仍然保持有效的攻击能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/599263.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

软件测试|一篇文章带你深入理解SQL约束

深入理解SQL约束:保障数据完整性和一致性的重要工具 SQL约束是在关系型数据库中用于保障数据完整性和一致性的重要工具。本文将深入探讨SQL约束的概念、类型以及应用,以帮助读者更好地理解和使用SQL约束来确保数据库中的数据质量。 SQL约束 约束&…

“巴渝工匠杯”2022年重庆市职业院校技能大赛(高职组)云计算样题

“巴渝工匠杯”2022年重庆市职业院校技能大赛(高职组)云计算样题 需要软件包环境可私信博主 【赛程名称】云计算赛项第一场次-私有云 某企业拟使用OpenStack搭建一个企业云平台,以实现资源池化弹性管理、企业应用集中管理、统一安全认证和授…

2024年【北京市安全员-A证】考试试卷及北京市安全员-A证试题及解析

题库来源:安全生产模拟考试一点通公众号小程序 北京市安全员-A证考试试卷根据新北京市安全员-A证考试大纲要求,安全生产模拟考试一点通将北京市安全员-A证模拟考试试题进行汇编,组成一套北京市安全员-A证全真模拟考试试题,学员可…

python-查漏补缺笔记-更新中

包导入时__init__.py中命令的执行顺序和sys.modules变化 ref: https://edu.csdn.net/skill/practice/python-3-6/164 在有父包和子包的情况下,父包中的“ __ init__.py”语句会在子包的“ __ init__.py”语句之前执行,然后按下列顺序执行导入子包和模块…

计算机毕业设计选题分享-spring boot疾病查询网站01548(赠送源码数据库)JAVA、PHP,node.js,C++、python,大屏数据可视化等

spring boot疾病查询网站 摘 要 随着互联网时代的到来,同时计算机网络技术高速发展,网络管理运用也变得越来越广泛。因此,建立一个B/S结构的疾病查询网站,会使疾病查询工作系统化、规范化,也会提高医院形象&#xff0c…

SpringBoot集成沙箱支付

前言 支付宝沙箱支付(Alipay Sandbox Payment)是支付宝提供的一个模拟支付环境,用于开发和测试支付宝支付功能的开发者工具。在真实的支付宝环境中进行支付开发和测试可能涉及真实资金和真实用户账户,而沙箱环境则提供了一个安全…

es6中import * as导入方式

es6中import * as导入方式 一、问题和解决方法二、简介import * as三、ES6 模块化语法导入导出1.导入2.导出 一、问题和解决方法 问题报错: export ‘default’ (imported as ‘XLSX’) was not found in ‘xlsx’ (possible exports: CFB, SSF, parse_xlscfb, parse_zip, read…

深入了解Swagger注解:@ApiModel和@ApiModelProperty实用指南

在现代软件开发中,提供清晰全面的 API 文档 至关重要。ApiModel 和 ApiModelProperty 这样的代码注解在此方面表现出色,通过增强模型及其属性的元数据来丰富文档内容。它们的主要功能是为这些元素命名和描述,使生成的 API 文档更加明确。 Api…

STC进阶开发(四)SPI协议、矩阵键盘、EEPROM

前言 这一期我们简单介绍一下SPI协议,然后我们学习一下矩阵键盘,了解EEPROM是干什么用的,话不多说,开整! SPI协议 SPI(Serial Peripheral Interface)是一种同步串行通信协议,用于在…

rtsp解析视频流

这里先说一下 播放rtsp 视频流,尽量让后端转换一下其他格式的流进行播放。因为rtsp的流需要flash支持,现在很多浏览器不支持flash。 先说一下这里我没有用video-player插件,因为它需要用flash ,在一个是我下载flash后,还是无法播放…

Pytorch的GPU版本安装,在安装anaconda的前提下安装pytorch

本文基于conda安装GPU版本的PyTorch 一、CUDA 1.下载CUDA 点击下载 找到对应的版本进行下载 (1)打开命令提示符查看自己的版本,输入 nvidia-smi 根据自己的版本进行下载 (2)点击适合自己的版本进行下载 &#…

【MLOps】使用Ray缩放AI

Ray正在人工智能工程领域崭露头角,对扩展LLM和RL至关重要 Spark在数据工程中几乎是必不可少的。Ray正在人工智能工程领域崭露头角。 雷是伦敦大学学院Spark的继任者。Spark和Ray有很多相似之处,例如用于计算的统一引擎。但Spark主要专注于大规模数据分析…

【Python机器学习】k近邻——模型复杂度与泛化能力的关系

以某数据进行研究,先将数据集分为训练集和测试集,然后用不同的邻居数对训练集合测试集的新能进行评估: from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.neighbors imp…

go执行静态二进制文件和执行动态库文件

目的和需求:部分go的核心文件不开源,例如验证,主程序核心逻辑等等 第一个想法,把子程序代码打包成静态文件,然后主程序执行 子程序 package mainimport ("fmt""github.com/gogf/gf/v2/os/gfile"…

ReCAPTCHA 解决方案的自动识别和解决方法

ReCAPTCHA,作为广泛使用的安全措施,旨在区分人类和自动化机器人。然而,技术的进步导致了自动识别和解决 ReCAPTCHA 挑战的方法的发展。在本文中,我们将探讨自动 ReCAPTCHA 识别和解决技术的概念,以及创新解决方案 Caps…

pandas处理双周数据

处理文件题头格式 部门名称 年度名称 季节名称 商品名称 商品代码 品牌名称 品类名称 颜色名称 商店名称 0M 1L 1XL 27 28 29 2XL 30 31 32 33 3XL 4XL 5XL 6XL S 均1.导入包 导入源 pip install openpyxl -i https://pypi.doubanio.com/simple pip install pandas -i https…

Yapi部署指南:在 Linux 上 Yapi 教程

YApi YApi 是高效、易用、功能强大的 api 管理平台,旨在为开发、产品、测试人员提供更优雅的接口管理服务。可以帮助开发者轻松创建、发布、维护 API,YApi 还为用户提供了优秀的交互体验,开发人员只需利用平台提供的接口数据写入工具以及简单…

《剑指 Offer》专项突破版 - 面试题 2 : 二进制加法(C++实现)

题目链接:67. 二进制求和 - 力扣(LeetCode) 题目: 输入两个表示二进制的字符串,计算它们的和,并以二进制字符串的形式输出。例如,输入的二进制字符串分别是 "11" 和 "10"…

题目:最大数组和(蓝桥OJ 3260)

问题描述: 解题思路: 官方: 总结:使用模拟。排序数组,枚举删除最大个数并推出其删除最小个数 ,即可枚举出每一种可能的区间和,依次比较找最大区间和(使用前缀和求区间和O(1)…

MySQL数据管理(一)

一、列类型 列类型指规定数据库中该列存放的数据类型 列类型分类 数值类型字符串类型日期和时间型数值类型 数值类型 字符串类型 日期和时间类型 MySQL允许“不严格”语法,任何标点符号都可以作为日期部分之间的间隔符,如“24-01-03”、“24.01.03”…