计算机视觉——图像修复综述篇

目录

1. Deterministic Image Inpainting 判别器图像修复

1.1. sigle-shot framework

(1) Generators

(2) training objects / Loss Functions

1.2. two-stage framework

2. Stochastic Image Inpainting 随机图像修复

2.1. VAE-based methods

2.2. GAN-based methods

2.3. Flow-based methods

2.4. MLM-based methods

2.5. Diffusion model-based methods

3. text-guided image inpainting ⽂本引导的图像修复

4. Inpainting Mask 掩码机制

(1) regular mask

(2) irregular mask

5. Loss Function 损失函数

6. Dataset 图像修复领域数据集

(1) faces(CelebA & CelebA-HQ)

(2) real-world encountered scenes(Places2)

(3) street scenes(Paris)

(4) texture(DTD)

(5) objects (ImageNet)

7. Evaluation Protocol 评估指标

7.1. pixel-aware metrics

7.2. (human) perception-aware metriics

8. Performance Evaluation 表现评估

8.1 Representative Image Inpainting Methods

8.2 Loss Functions 

9. Inpainting-based Application 基于图像修复的领域应⽤

(1) Object Removal

(2) Text Editing

(3) Old Photo Restoration

(4) Image Compression

(5) Text-guided image editing

Reference


1. Deterministic Image Inpainting 判别器图像修复

1.1. sigle-shot framework
(1) Generators
1) mask-aware design
2) attention mechanism
3) multi-scale aggregation
4) transform domain
5) encoder-decoder connection
6) deep prior guidance
(2) training objects / Loss Functions
1) Pixel-wise reconstruction loss
2) perceptual loss
3) style loss
4) adversarial loss
5) prevalent training objectives
1.2. two-stage framework
(1) coarse-to-fiine methods
(2) structure-then-texture methods

2. Stochastic Image Inpainting 随机图像修复

2.1. VAE-based methods
2.2. GAN-based methods
2.3. Flow-based methods
2.4. MLM-based methods
2.5. Diffusion model-based methods
(1) sample stratage design
(2) computational cost reduction

3. text-guided image inpainting ⽂本引导的图像修复

4. Inpainting Mask 掩码机制

(1) regular mask
(2) irregular mask

5. Loss Function 损失函数

同1-1.1-(2) training objects

6. Dataset 图像修复领域数据集

(1) faces(CelebA & CelebA-HQ)
(2) real-world encountered scenes(Places2)
(3) street scenes(Paris)
(4) texture(DTD)
(5) objects (ImageNet)

7. Evaluation Protocol 评估指标

7.1. pixel-aware metrics

focus on the precision of reconstructed pixels

(1) l1 error
(1) l2 error
(3) PSNR(peak signal-to-noise ratio)
(4) SSIM(the structure similarity index)
(5) MS-SSIM(muti-scale SSIM)
7.2. (human) perception-aware metriics

the visual perception quality

(1) FID(Frechet Inception diistance)
(2) LPIPS(learned perceptual image patch similarity)
(3) P/U-IDS(pair-unpair Inception discriminative score)

8. Performance Evaluation 表现评估

8.1 Representative Image Inpainting Methods
(1) Models: RFR, MADF, DSI, CR-Fill, CoModGAN, LGNet, RePaint
(2) Dataset: CeleBA-HQ, Places2
(3) Mask: M1, M2, M3, M4, M5, M6
(4) Metrics: l1, PSNR, SSIM, MS-SSIM, FID, LP-IPS
(5) Loss: pixes reconstruction loss, perceptual loss, resnetpl loss, style loss, stylemeanstd,
percept-style loss, lsgan
8.2 Loss Functions 

1-1.1-(2) training objects

9. Inpainting-based Application 基于图像修复的领域应⽤

(1) Object Removal
(2) Text Editing
(3) Old Photo Restoration
(4) Image Compression
(5) Text-guided image editing

Reference

1. Deep Learning-based Image and Video Inpainting: A Survey

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/880987.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

YOLOv11改进 | Conv篇 | YOLOv11引入SKConv

1. SKConv介绍 1.1 摘要:在标准卷积神经网络(CNN)中,每层中阿尔蒂神经元的感受野被设计为共享相同的大小。在神经科学界众所周知,视觉皮层神经元的感受野大小受到刺激的调制,这在构建CNN时很少考虑。我们在CNN中提出了一种动态选择机制,允许每个神经元根据输入信息的多…

[深度学习][python]yolov11+deepsort+pyqt5实现目标追踪

【算法介绍】 YOLOv11、DeepSORT和PyQt5的组合为实现高效目标追踪提供了一个强大的解决方案。 YOLOv11是YOLO系列的最新版本,它在保持高检测速度的同时,通过改进网络结构、优化损失函数等方式,提高了检测精度,能够同时处理多个尺…

【嵌入式软件-数据结构与算法】01-数据结构

摘录于老师的教学课程~~(*๓╰╯๓)~~内含链表、队列、栈、循环队列等详细介绍~~ 基础知识系列 有空再继续更~~~ 目录 【链表】 一、单链表 1、存储结构:带头结点的单链表 2、单链表结点类型的定义 3、创建单链表 1)头插法 2)尾插法 …

Python办公自动化之Word

在现代办公环境中,自动化无疑是提升工作效率的关键。特别是处理文档的工作,很多人可能花费大量时间在重复性任务上。那么,有没有一种方法可以让我们用 Python 来自动化 Word 文档的操作呢?今天,我们来聊聊如何用 Pytho…

k8s-集群部署1

k8s-集群部署1 一、基础环境准备二、docker环境准备三、k8s集群部署1.kubeadm创建集群2.使用kubeadm引导集群 总结 一、基础环境准备 首先,需要准备三个服务器实例,这里我使用了阿里云创建了三个实例,如果不想花钱,也可以在VM上创…

windows配置C++编译环境和VScode C++配置(保姆级教程)

1.安装MinGW-w64 MinGW-w64是一个开源的编译器套件,适用于Windows平台,支持32位和64位应用程序的开发。它包含了GCC编译器、GDB调试器以及其他必要的工具,是C开发者在Windows环境下进行开发的重要工具。 我找到了一个下载比较快的链接&#…

初识Linux · 自主Shell编写

目录 前言: 1 命令行解释器部分 2 获取用户命令行参数 3 命令行参数进行分割 4 执行命令 5 判断命令是否为内建命令 前言: 本文介绍是自主Shell编写,对于shell,即外壳解释程序,我们目前接触到的命令行解释器&am…

技术成神之路:设计模式(十八)适配器模式

介绍 适配器模式(Adapter Pattern)是一种结构型设计模式,它允许接口不兼容的类可以协同工作,通过将一个类的接口转换成客户端所期望的另一个接口,使得原本由于接口不兼容而不能一起工作的类可以一起工作。 1.定义 适配…

基础算法--枚举

枚举算法是一种简单而有效的算法,它通过枚举所有可能的情况来解决问题。它通常用于解决问题规模比较小的问题,因为它的时间复杂度很高,随着问题的规模增加,算法的效率会急剧下降。 枚举算法的基本思路是通过循环遍历所有可能的情…

CSS实现服务卡片

CSS实现服务卡片 效果展示 CSS 知识点 回顾整体CSS知识点灵活运用CSS知识点 页面整体布局 <div class"container"><div class"card"><div class"box"><div class"icon"><ion-icon name"color-pal…

记录一次病毒启动脚本

在第一次下载软件时&#xff0c;目录中配了一个使用说明&#xff0c;说是需要通过start.bat 这个文件来启动程序&#xff0c;而这个 start.bat 就是始作俑者&#xff1a; 病毒作者比较狡猾&#xff0c;其中start.bat 用记事本打开是乱码&#xff0c;但是可以通过将这个批处理…

OpenMV与STM32通信全面指南

目录 引言 一、OpenMV和STM32简介 1.1 OpenMV简介 1.2 STM32简介 二、通信协议概述 三、硬件连接 3.1 硬件准备 3.2 引脚连接 四、软件环境搭建 4.1 OpenMV IDE安装 4.2 STM32开发环境 五、UART通信实现 5.1 OpenMV端编程 5.2 STM32端编程 六、SPI通信实现 6.1 …

查缺补漏----I/O中断处理过程

中断优先级包括响应优先级和处理优先级&#xff0c;响应优先级由硬件线路或查询程序的查询顺序决定&#xff0c;不可动态改变。处理优先级可利用中断屏蔽技术动态调整&#xff0c;以实现多重中断。下面来看他们如何运用在中断处理过程中&#xff1a; 中断控制器位于CPU和外设之…

动态规划最长上升子序列问题讲解和【题解】——最长上升子序列

动态规划最长上升子序列讲解和题解——最长上升子序列 最长上升子序列问题讲解1.概念解析2.举例了解3.示例程序 最长上升子序列题目描述输入格式输出格式输入输出样例输入 #1输出 #1 提示思路解析 最长上升子序列问题讲解 1.概念解析 最长上升子序列 &#xff08; L o n g e s…

微服务sentinel解析部署使用全流程

sentinel源码地址&#xff1a; 介绍 alibaba/Sentinel Wiki GitHub sentinel官方文档&#xff1a; https://sentinelguard.io/zh-cn/docs/introduction.html Sprong Cloud alibaba Sentinel文档【小例子】 : Sentinel alibaba/spring-cloud-alibaba Wiki GitHub 目录 1、…

C# + SQLiteExpert 进行(cipher)加密数据库开发+Costura.Fody 清爽发布

一&#xff1a;让 SQLiteExpert 支持&#xff08;cipher&#xff09;加密数据库 SQLiteExpert 作为SQlite 的管理工具&#xff0c;默认不支持加密数据库的&#xff0c;使其成为支持&#xff08;cipher&#xff09;加密数据库的管理工具&#xff0c;需要添加e_sqlcipher.dll &…

Android-Handle消息传递和线程通信

本文为作者学习笔记&#xff0c;如有误&#xff0c;请各位大佬指点 目录 一、同步异步 二、Java多线程通信 三、Handler是什么 四、Handler相关的类 五、Handler常用方法 1. 发送消息 2. 接收处理消息 3. 切换线程 六、使用Handler 使用Handler更新UI 使用Handler延…

蓝桥杯【物联网】零基础到国奖之路:十八. 扩展模块之光敏和AS312

蓝桥杯【物联网】零基础到国奖之路:十八.扩展模块之光敏和AS312 第一节 硬件解读第二节 CubeMX配置第二节 代码 第一节 硬件解读 光敏和AS312如下图&#xff1a; 光敏电阻接到了扩展模块的5号引脚&#xff0c;5号引脚接了2个电阻&#xff0c;R8和光敏电阻。我们通过ADC读取这…

Python 从入门到实战33(使用MySQL)

我们的目标是&#xff1a;通过这一套资料学习下来&#xff0c;通过熟练掌握python基础&#xff0c;然后结合经典实例、实践相结合&#xff0c;使我们完全掌握python&#xff0c;并做到独立完成项目开发的能力。 上篇文章我们讨论了数据库编程接口操作的相关知识。今天我们将学习…

ASP.NET Zero 多租户介绍

ASP.NET Zero 是一个基于 ASP.NET Core 的应用程序框架&#xff0c;它提供了多租户支持&#xff0c;以下是关于 ASP.NET Zero 多租户的介绍&#xff1a; 一、多租户概念 多租户是一种软件架构模式&#xff0c;允许多个客户&#xff08;租户&#xff09;共享同一套软件应用程序…