【AI最前线】DP双像素sensor相关的AI算法全集:深度估计、图像去模糊去雨去雾恢复、图像重建、自动对焦

Dual Pixel 简介

双像素是成像系统的感光元器件中单帧同时生成的图像:通过双像素可以实现:深度估计、图像去模糊去雨去雾恢复、图像重建

成像原理来源如上,也有遮罩等方式的pd生成,如图双像素视图可以看到光圈的不同一半,这提供了一个深度提示。然而,由于基本的模糊性,如果相机的焦距(或光圈大小或焦距)发生变化,不同的场景可能会产生相同的双像素图像。在(a)中,具有焦距g1的相机在距离Z1处成像聚焦的蓝色点和离焦的橙色点。通过光圈左半部分折射的光(深蓝色和橙色光线)到达每个双像素的右半部分,反之亦然。这导致了一个双像素图像,其中失焦橙色点被d像素(a,“DP数据”)位移,被b像素模糊(a,”图像”)。在(b)中,不同的焦距和场景深度集产生相同的双像素和RGB图像。然而,如文中所示,该场景通过逆深度上的仿射变换与(a)中的场景相关。消费者迅速采用。双像素相机似乎代表了更雄心勃勃的光场相机和传统相机之间的一种有前景的折衷方案——DP相机牺牲了可忽略的空间分辨率来采样光场中的两个角度,而真正的单眼相机只采样一个角度,Lytro Illum等光场相机以牺牲显著的空间分辨率为代价采样196个角度。因此,它们在消费类相机和内窥镜等空间受限的应用中得到了更广泛的采用[6]。

消费类硬件的最新发展可能为深度估计的新方法提供机会。最近,通过使用密集的双像素(DP)传感器(图2),可以使用一台相机同时捕获两张类似于具有微小基线的立体对的图像(图1)。虽然这项技术最初是为相机自动对焦而开发的,但双像素图像也可以用来从单个相机中恢复密集的深度图,从而消除了对额外硬件、校准或同步的任何需求。例如,Wadhwa等人[55]使用经典的立体技术(块匹配和边缘感知平滑)从DP数据中恢复深度。但如图1所示,传统立体技术可以生成的深度图的质量是有限的,因为DP图像中视差和焦点之间的相互作用可能会导致经典立体匹配技术失败。现有的基于单眼学习的技术在这方面也表现不佳

接下来就介绍双像素相关的sota论文和代码,长期更新教学

Table of contents

  • DualPixel
  • Dateset

Dual Pixel

YearPubPaperAppRepo
2018SIGGRAPHSynthetic Depth-of-Field with a Single-Camera Mobile PhoneDepth / Segmenation / Synthetic DoF
2019CVPRReflection Removal Using a Dual-Pixel SensorReflection RemovalCode
2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsDepthCode & Dataset
2020ICCPModeling Defocus-Disparity in Dual-Pixel SensorsDepthCode & Dataset
2020CVPRLearning to AutofocusAutofocusDataset
2020ECCVDu2Net: Learning Depth Estimation from Dual-Cameras and Dual-PixelsDisparity (w/Stereo)
2020ECCVDefocus Deblurring Using Dual-Pixel DataDeblurCode & Dataset
2021CVPRDual Pixel Exploration: Simultaneous Depth Estimation and Image RestorationDepth / DeblurCode & Dataset
2021CVPRWNTIRE 2021 Challenge for Defocus Deblurring Using Dual-pixel Images: Methods and ResultsDeblur
2021CVPRWATTSF Attention! Stay Focus!DeblurCode
2021ICCVDefocus Map Estimation and Deblurring From a Single Dual-Pixel ImageDeblur / Defocus MapCode & Dataset
2021ICCVLearning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel DataDeblurCode & Dataset
2021IEEEWorld Largest Mobile Image Sensor with All Directional Phase Detection Auto Focus FunctionDepth
2021ICTCDisparity probability volume guided defocus deblurring using dual pixel dataDeblur
2021Journal of Electronic ImagingDefocus deblurring: a designed deep model based on CNNDeblur
2021IEEEAll-Directional Dual Pixel Auto Focus Technology in CMOS Image SensorsCircuits
2022WACVImproving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task LearningDeblurCode & Dataset
2022ISSCCA 1/1.57-inch 50Mpixel CMOS Image Sensor With 1.0μm All-Directional Dual Pixel by 0.5μm-Pitch Full-Depth Deep-Trench Isolation TechnologyCircuits
2022ECCVFacial Depth and Normal Estimation using Single Dual-Pixel CameraDepth / Surface Normal / Anti-spoofing / RelightingCode & Dataset
2023CVPRK3DN: Disparity-Aware Kernel Estimation for Dual-Pixel Defocus DeblurringDeblur
2023CVPRSpatio-Focal Bidirectional Disparity Estimation From a Dual-Pixel ImageDepth / DisparityCode
2023ICCPLearning to Synthesize Photorealistic Dual-pixel Images from RGBD framesSimulatorCode & Dataset
2023ICCVExploring Positional Characteristics of Dual-Pixel Data for Camera AutofocusAutofocus

这其中

2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsDepth

 网络的代码被复现在:DualPixelFace/src at main · MinJunKang/DualPixelFace · GitHub ;GitHub - vyi/PdCapture: [google-research/dual-pixels](Forked from https://github.com/google-research/google-research/tree/master/dual_pixels)

GitHub - RugvedKatole/Learning-Single-Camera-Depth-Estimation-using-Dual-Pixels: This Repo is an implementation of paper titled "Learning Single Camera Depth Estimation using Dual-Pixels"

Dataset

YearPubPaperDetail
2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsTrain:2506, Test:684, Res:1512x2016(DP), 16bit png, DP Raw / Depth
2020ICCPModeling Defocus-Disparity in Dual-Pixel SensorsNum:100, Res:5180x2940, RGB 8bit jpg / 16bit tif Depth, DP LR / Depth
2020ECCVDefocus Deblurring Using Dual-Pixel DataNum:500, Res:1680x1120, 16bit, Used for NTIRE 2021 Challenge (CVPRW)
2021CVPRDual Pixel Exploration: Simultaneous Depth Estimation and Image RestorationDP Simulator from NYUD Dataset
2021ICCVLearning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel DataDP Simulator form SYNTHIA-SF dataset
2023ICCPLearning to Synthesize Photorealistic Dual-pixel Images from RGBD framesNum:5130, Res:1680x1120, RGB(DP LRC) 8bit png / Depth 16bit png

小结

欢迎AI深度估计、AI重建、AI恢复图像:图像去雾去雨去模糊降噪方向的同学一起交流,cv君正在打造最大最前沿的AI社区,让你在浓厚的学习氛围中进步,让你在飞速发展的时代中砥砺前行;免费进群交流请私信cv君(免费)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/61652.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

#Verilog HDL# Verilog中的UDP原语

目录 一 UDP符号 1.1 组合UDP 1.2 时序UDP 1.2.1 电平UDP 1.2.2 边沿UDP 标准的Verilog原语,如nand和not,有时可能不足以或不便用于表示复杂逻辑。为了建模组合逻辑或时序逻辑,可以定义称为用户定义原语(UDP)的新原语元素。 所有UDP都有且仅有一个输出,该输出可以是…

Python 版本的 2024详细代码

2048游戏的Python实现 概述: 2048是一款流行的单人益智游戏,玩家通过滑动数字瓷砖来合并相同的数字,目标是合成2048这个数字。本文将介绍如何使用Python和Pygame库实现2048游戏的基本功能,包括游戏逻辑、界面绘制和用户交互。 主…

socket连接封装

效果: class websocketMessage {constructor(params) {this.params params; // 传入的参数this.socket null;this.lockReconnect false; // 重连的锁this.socketTimer null; // 心跳this.lockTimer null; // 重连this.timeout 3000; // 发送消息this.callbac…

docker compose的安装和使用

1. Docker Compose 简介 Docker Compose 是一个工具,用于定义和运行多容器的 Docker 应用。通过编写一个 docker-compose.yml 文件,可以一次性启动所有容器,并且方便管理容器之间的依赖。 2. 安装 Docker Compose 前提条件 确保已安装 Do…

银河麒麟v10 x86架构二进制方式kubeadm+docker+cri-docker搭建k8s集群(证书有效期100年) —— 筑梦之路

环境说明 master:192.168.100.100 node: 192.168.100.101 kubeadm 1.31.2 (自编译二进制文件,证书有效期100年) 银河麒麟v10 sp2 x86架构 内核版本:5.4.x 编译安装 cgroup v2启用 docker版本:27.x …

大语言模型---RewardBench 介绍;RewardBench 的主要功能;适用场景

文章目录 1. RewardBench 介绍2. RewardBench 的主要功能3. 适用场景 1. RewardBench 介绍 RewardBench: Evaluating Reward Models是一个专门用于评估 Reward Models(奖励模型) 的公开平台,旨在衡量模型在多种任务上的性能,包括…

基于Redis实现的手机短信登入功能

目录 开发准备 注册阿里短信服务 依赖坐标 阿里短信 依赖 mybatis-plus 依赖 redis 依赖 配置文件 导入数据库表 短信发送工具类 生成随机验证码的工具类 校验合法手机号的工具类 ThreadLocal 线程工具类 消息工具类 基于 session 的短信登录的问题 开发教程 Redis 结构设计 …

Java语言程序设计 选填题知识点总结

第一章 javac.exe是JDK提供的编译器public static void main (String args[])是Java应用程序主类中正确的main方法Java源文件是由若干个书写形式互相独立的类组成的Java语言的名字是印度尼西亚一个盛产咖啡的岛名Java源文件中可以有一个或多个类Java源文件的扩展名是.java如果…

免费好用的静态网页托管平台全面对比介绍

5个免费好用的静态网页托管平台全面对比 前言 作为一名前端开发者,经常会遇到需要部署静态网页的场景。无论是个人项目展示、简单的游戏demo还是作品集网站,选择一个合适的托管平台都很重要。本文将详细介绍5个免费的静态网页托管平台,帮助…

python正则表达式基本字符字符

字符 描述 text 匹配text字符串 . 匹配除换行符之外的任意一个单个字符 ^ 匹配一个字符串的开头 $ 匹配一个字符串的末尾 在正则表达式中,我们还可用匹配限定符来约束匹配的次数 2. 匹配限定符 最大匹配 最小匹配 描述 * *? 重复匹配前表达式零次或多次 &a…

k8s篇之控制器类型以及各自的适用场景

1. k8s中控制器介绍 在 Kubernetes 中,控制器(Controller)是集群中用于管理资源的关键组件。 它们的核心作用是确保集群中的资源状态符合用户的期望,并在需要时自动进行调整。 Kubernetes 提供了多种不同类型的控制器,每种控制器都有其独特的功能和应用场景。 2. 常见的…

python程序的编写以及发布(形象类比)

最近重新接触python,本人之前对于python的虚拟环境,安装包比较比较迷惑,这里给出一个具象的理解。可以将 Python 程序运行的过程类比成一次 做菜的过程,从准备食材到最后出锅。以下是具体的类比步骤: 1. 安装 Python 环…

shell基础知识3 --- 流程控制之条件判断

条件判断语句是一种最简单的流程控制语句。该语句使得程序根据不同的条件来执行不同的程序分支。 一、if语句语法 1.单分支结构 法1&#xff1a; 法2&#xff1a; if <条件表达式> if…

功耗中蓝牙扫描事件插桩埋点

手机功耗中蓝牙扫描事件插桩埋点 功耗主要监控蓝牙扫描的时间和次数&#xff0c;进而换算为频次监控。其中不同的蓝牙扫描模式带来的功耗影响也是不一样的。 即功耗影响度低延迟扫描>平衡模式扫描>低功耗模式。例如某款机型分别为&#xff1a;低延迟扫描 14.64mA,平衡模…

电容测试流程

一、外观检测 1. 目的&#xff1a;检验电容样品外观是否与规格书一致&#xff0c;制程工艺是否良好&#xff0c;确保部品的品质。 2. 仪器&#xff1a;放大镜 3. 测试说明&#xff1a; &#xff08;1&#xff09;样品上丝印与规格书中相符&#xff0c;丝印信息&#xff08;…

探索 .NET 9 控制台应用中的 LiteDB 异步 CRUD 操作

本文主要是使用异步方式&#xff0c;体验 litedb 基本的 crud 操作。 LiteDB 是一款轻量级、快速且免费的 .NET NoSQL 嵌入式数据库&#xff0c;专为小型本地应用程序设计。它以单一数据文件的形式提供服务&#xff0c;支持文档存储和查询功能&#xff0c;适用于桌面应用、移动…

leetcode刷题记录(四十二)——101. 对称二叉树

&#xff08;一&#xff09;问题描述 . - 力扣&#xff08;LeetCode&#xff09;. - 备战技术面试&#xff1f;力扣提供海量技术面试资源&#xff0c;帮助你高效提升编程技能,轻松拿下世界 IT 名企 Dream Offer。https://leetcode.cn/problems/symmetric-tree/description/给你…

【一个简单的整数问题2——线段树】

题目 代码 下面的两个代码的区别在于modify的分类&#xff0c;modify最简单的分类方式是存在性分类&#xff0c;另一种类似某些query采用的三段式分类&#xff0c;详细见代码 存在性 #include <bits/stdc.h> using namespace std; using ll long long; const int N 1…

从源码到应用:在线教育系统与教培网校APP开发实战指南

时下&#xff0c;各类教培网校APP逐渐成为教育机构的核心工具。那么&#xff0c;如何从源码出发&#xff0c;开发一套符合需求的在线教育系统与教培网校APP&#xff1f;本文将从架构设计、功能实现到部署上线&#xff0c;提供一份全面的开发实战指南。 一、在线教育系统的核心架…

vscode下面python调试报错ImportError: cannot import name ‘Literal‘ from ‘typing‘

1 问题描述 我在vscode下面编写python程序&#xff0c;这个程序是在一个英伟达anoconda环境下的项目。之前能运行能调试&#xff0c;最近发现只能运行ctlf5&#xff0c;但是使用f5进行调试时&#xff0c;报错“File “c:\Users\86137.vscode\extensions\ms-python.debugpy-202…