DiffusionMat:Alpha Matting as sequential refinement learning

1.introduction

DiffusionMat的基本思想是未知区域的抠图可以逐步改进,并从每一次的迭代的反馈中受益,纠正和细化结果。

2.related works

Segdiff、BitDiffusion、DiffusionDet、

3.Approach

通过一种新颖的校正策略将trimap引导转化为精确的alpha matte。

3.1 Proceure

        给定输入图像I以及trimap guidance m,我们的目标是推导出相应的alpha,与现有的一次性预测方法不同,引入了一种顺序细化学习策略,将有噪声的trimap转化为清晰的alpha。trimap到alpha的转换可以视为条件图像生成过程,SDEdit为此生成提供了一个简单的流程,通过随机微分方程的迭代去噪来合成给定导向下的输出图像。SDEdit从trimap guidance m开始最初使用随机噪声扰动创建时间步T处的有噪声掩码mT,随后这个破坏的trimap mT通过扩散模型的采样过程经历去噪的迭代,最终得到alphaSDE。

3.1.1 Deterministic Denoising

         在SDEdit中,由于随机噪声带来的随机性,可以将噪声引导的trimap图像去噪为任意的alpha抠图,然而作为一项感知任务,图像抠图只有一个确定性的alpha抠图,为了获取精确的alpha,我们使用GT反转引导来纠正中间去噪结果,具体来说,给定GT alpha,通过DDIM反转将其映射到预训练的扩散模型上,并获得确定性的反转轨迹,可以纠正过程中用作监督信号。在每个去噪时间步t中,使用图像编码器Etheta和纠正模块Ctheta来纠正中间的去噪结果mt,首先使用图像编码器etheta对图像I进行编码,得到图像特征fI,随后,将fI和mt拼接起来,将这个组合输入传递给纠正模块Ctheta,生成纠正的去噪结果mtcorr,

3.1.2 Alpha reliability propagation

        对所有像素学习修正是不必要的,因为trimap和alpha之间的差异只存在与未知区域,引入了Alpha Reliability Propagation(ARP)模块,通过已知区域调整中间的去噪结果。

 3.1.3 loss function        

4.experiments

3090训练,unet架构作为扩散模型,去掉了unet中的att_block,swin-unet作为图像编码器,纠正网络结构和扩散模型相同,都是unet,输入图像512x512,

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/721506.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024-简单点-picamera2除了文档还有哪里可以学习实例?

picamera2学习例子 去github的picamera2库,找app和examples目录,然后学习

自动化测试基础——allure下载安装及配置及pytest + allure-pytest插件生成allure企业级测试报告及企业级定制

文章目录 前言一、allure下载二、allure安装三、allure目录介绍四、allure环境变量配置五、pytest allure-pytest插件生成allure企业级测试报告六、allure企业级报告的log定制七、allure企业级报告功能内容定制1.功能左边层级定制2.功能右边优先级定制3.功能右边测试用例描述定…

Qt绘制动态罗盘

介绍:罗盘指针以30角旋转巡逻,扫描航海范围内的点位,并绘制点云。字段信息在表格中显示,该数据都存储在数据库中。选择不同的范围,显示该范围内的点位。 #include "mainwindow.h" #include "ui_mainwi…

Vue form中明细的el-table中删除行,界面除行时,数据删除了,但是列表不刷新。

<el-table :data"form.dataList"> …… </el-table > 当删除行后&#xff0c;数据为list&#xff0c; 数据代码如下&#xff1a; this.form.dataList list; 经常出现数据不进行刷新&#xff0c;但有时刷新是正确的。 把代码改成如下&#xff0c;就一…

魔行观察-每日品牌监测-书亦烧仙草-开店趋势

今日监测对象&#xff1a;书亦烧仙草&#xff0c;监测时间段&#xff1a;2014年9月至2023年12月&#xff0c;发布时间&#xff1a;2024-03-05 数据获取地址&#xff1a;魔查查https://www.moxingdata.com/品牌基础信息 现有门店人均消费覆盖省份经营模式投资金额837918.431特…

【力扣hot100】刷题笔记Day20

前言 今天学习了一句话“自己如果不努力&#xff0c;屎都吃不上热乎的”&#xff0c;话糙理不糙&#xff0c;与君共勉 35. 搜索插入位置 - 力扣&#xff08;LeetCode&#xff09; 二分查找 class Solution:def searchInsert(self, nums: List[int], target: int) -> int:n…

react hook: useCallback

useCallback的主要使用场景在于优化性能&#xff0c;并确保当传递回调函数给子组件时&#xff0c;子组件不会因为父组件的重渲染而重新创建函数。 使用场景 1.当你需要将回调函数传递给子组件时&#xff0c;使用useCallback可以确保子组件在重新渲染时不会不必要地重新创建函数…

【金三银四】每日一点面试题(Java--JUC篇)

1、如何在java中实现多线程&#xff1f; 在Java中实现多线程主要有四种方式&#xff1a; 继承 Thread 类 当一个类继承自Java的Thread类时&#xff0c;它就成为一个线程类。您需要做的只是覆盖run方法&#xff0c;该方法包含线程启动后执行的代码。 class MyThread extends …

10亿数据如何快速插入MySQL

最快的速度把10亿条数据导入到数据库,首先需要和面试官明确一下,10亿条数据什么形式存在哪里,每条数据多大,是否有序导入,是否不能重复,数据库是否是MySQL? 有如下约束 10亿条数据,每条数据 1 Kb 数据内容是非结构化的用户访问日志,需要解析后写入到数据库 数据存放在…

CMIP6数据处理方法与典型案例分析

气候变化对农业、生态系统、社会经济以及人类的生存与发展具有深远影响&#xff0c;是当前全球关注的核心议题之一。IPCC&#xff08;Intergovernmental Panel on Climate Change&#xff0c;政府间气候变化专门委员会&#xff09;的第六次评估报告明确&#xff1b;指出&#x…

【笔记】【电子科大 离散数学】 3.谓词逻辑

谓词引入 因为含变量的语句&#xff08;例如x > 3&#xff09;不是命题&#xff0c;无法进行逻辑推理。 为了研究简单命题句子内部的逻辑关系&#xff0c;我们需要对简单命题进行分解&#xff0c;利用个体词&#xff0c;谓词和量词来描述它们&#xff0c;并研究个体与总体…

JavaScript实现鼠标移动特效

关键代码&#xff1a; <script>document.onmousemove function (e) {// 加div节点var div document.createElement(div);div.style.width 5px;div.style.height 5px;// 加img节点var img document.createElement(img);// 将Img追加到div里面。div.appendChild(img);…

Python开发工具:pycharm使用注意事项以及设置

上一篇文章写了pycharm的安装以及运行&#xff0c;但是在安装过程中遇到了一些问题&#xff0c;接下来详细解析安装过程中遇到的问题&#xff0c;注意事项以及设置配置依赖等信息 安装遇到的问题&#xff1a; 协议许可证关闭不了&#xff1a;PyCharm安装完成后&#xff0c;打…

数据传输的同步技术包含哪些?如何高效安全传输数据?

在数字化时代&#xff0c;数据传输的同步技术对于确保信息的一致性和通信质量至关重要。本文将探讨数据传输同步技术的种类、如何实现高效安全的数据传输&#xff0c;以及企业在数据迁移中常用的几种方式。最后&#xff0c;我们将重点介绍镭速大数据迁移工具的优势。 数据传输同…

Python成功解决AttributeError: ‘Series‘ object has no attribute ‘set_value‘

Python成功解决AttributeError: ‘Series‘ object has no attribute ‘set_value‘ &#x1f308; 个人主页&#xff1a;高斯小哥 &#x1f525; 高质量专栏&#xff1a;Matplotlib之旅&#xff1a;零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程&am…

简单介绍AudioLM

主要介绍AudioLM&#xff0c;学习资料为知乎文章。这里只介绍核心思想和模块。 AudioLM 基本信息 AudioLM: a Language Modeling Approach to Audio Generation pdf: https://arxiv.org/pdf/2209.03143.pdf 参考资料&#xff1a;https://zhuanlan.zhihu.com/p/637196330 模…

SQL 数据库安全的基本概念和技术

大家好&#xff0c;SQL 是一种功能强大且被广泛使用的操纵关系数据库的语言。数据库开发人员和管理员应该重视数据库安全并承担保护数据安全的责任&#xff0c;确保数据不会被未经授权的访问、修改或删除。本文将介绍 SQL 数据库安全的相关基本概念和技术&#xff0c;帮助大家了…

GPT提示语格式——个人自用

总体格式 指令&#xff1a;将 输入 划分为/翻译为/提取出/... 输出 输出格式&#xff1a;... 输入示例&#xff1a;... 输出示例&#xff1a;... 输入&#xff1a;... 输出&#xff1a;基本概述 示例 指令&#xff1a; 提取以下文本中的介词。 输入&#xff1a;“虽然这些发展…

MQ消息队列

rocketMq 与 kafaka 的区别 RocketMQ 和 Kafka 都是分布式消息中间件&#xff0c;主要用于处理高吞吐量、低延迟的消息传递。它们各自有其特点和适用场景&#xff0c;在以下几个方面存在显著区别&#xff1a; 架构设计&#xff1a; Kafka&#xff1a;采用了多分区&#xff08;p…

Elasticsearch:向量相似度计算 - 可笑的速度

作者&#xff1a;Chris Hegarty 任何向量数据库的核心都是距离函数&#xff0c;它确定两个向量的接近程度。 这些距离函数在索引和搜索期间执行多次。 当合并段或在图表中导航最近邻居时&#xff0c;大部分执行时间都花在比较向量的相似性上。 对这些距离函数进行微观优化是值…