ISP图像算法面试准备(1)

ISP图像算法面试准备

ISP图像算法面试准备(1)


文章目录

  • ISP图像算法面试准备
  • 前言
  • 一、ISP流程
  • 二、重点关注
    • 1. AWB必须在Demosaic之后进行。
    • 2. Gamma矫正通常在CCM之前进行
  • 三、如何实现ISP参数自动化调试
  • 四、AE,即自动曝光(Auto Exposure)
  • 总结


前言

ISP专注于底层图像任务,了解ISP pipeline流程,对图像理解很有帮助

个人理解:对于ISP图像算法的学习,一般需要专注于:

  1. 光学成像技术,了解CMOS传感器工作原理;
  2. 传统图像处理算法,即数字图像处理相关内容,了解在空域频域如何进行图像运算等;
  3. 图像质量评价,能够准确评估图像的清洗度,对比度,色彩准确性等。
  4. 现在大多注重由传统方法进阶到深度学习算法,所以了解深度学习相关图像处理算法也是很有必要的。

推荐博文:

60. 数码相机成像时的噪声模型与标定

键盘摄影(七)——深入理解图像信号处理器 ISP

如何深入研究ISP算法?

5分钟理解相机ISP (图像信号处理) -----非常推荐

摄像头与成像】长文详解RAW图的来龙去脉

Understanding ISP Pipeline----非常推荐

食鱼者的博客----非常推荐

键盘摄影(一)——相机成像基本元件


一、ISP流程

ISP(Image Signal Processing),图像信号处理器
主要步骤包括:

  1. 光线经过lens镜头,投射到sensor上。
  2. 光线在sensor上进行光电转换成模拟电信号
  3. 模拟电信号通过A/D转换成数字信号
  4. 数字信号进入ISP芯片进行一系列处理,包括:Raw域 RGB域 YUV域

在这里插入图片描述

光线通过镜头进入相机,CMOS作为传感器,将现实世界的光线转换为电信号,经过信号放大和噪声过滤等基本处理后得到一张照片的原始数据(Raw图),ISP对Raw图进行灰度补偿,色彩插值,平滑处理,色彩校正等,将其转换为可供显示的RGB图像,或者YUV格式,最终将图片压缩成一个彩色的JPEG格式的图像,便于存储和传输。

在这里插入图片描述

需要使用ISP模块的原因有两个方面,一个是镜头和Sensor的物理缺陷导致的。
第二是拍摄光线条件多样,镜头和Sensor需要根据环境做适应。

二、重点关注

1. AWB必须在Demosaic之后进行。

在ISP流程中,AWB和Demosaic的顺序是固定的。Demosaic是将Bayer Pattern的原始图像数据转换成RGB全彩色图像的过程,而AWB是在全彩色图像上进行调整,确保“白色”物体在图像中呈现为白色。所以AWB要在Demosaic之后。

2. Gamma矫正通常在CCM之前进行

Gamma矫正:人眼对暗部和亮部的敏感度不同,Gamma矫正可以调整图像的亮度分布,使其更符合人眼的视觉特性。

CCM:在Gamma矫正之后,图像的亮度信息已经得到了正确的处理,此时进行CCM色彩校正可以确保在色彩调整时,不会因为亮度信息的不准确而影响到最终的色彩效果。

三、如何实现ISP参数自动化调试

ISP参数自动化调试通常通过编写自动化测试脚本来实现,具体步骤如下:

  1. 实时获取影响ISP算法参数的值(如YUV数值、快门、增益、iris等)作为基准数据。
  2. 在一段时间后,再次获取这些参数的值,并与基准数据做比较。
  3. 如果参数值发生变化,调用ISP算法接口,截取一帧的数据转换为JPEG格式保存,并记录当前的参数值。
  4. 重复上述步骤,持续记录ISP算法的变化和图像质量情况。
  5. 根据算法的变化曲线和图像质量情况,对算法进行优化。

四、AE,即自动曝光(Auto Exposure)

相机根据外界光线的强弱自动调整曝光量和增益的一种机制。这一机制能够防止曝光过度或者不足,从而确保图像质量。AE不仅是3A算法的重要组成部分,而且在整个相机调试模块中占有重要地位。

自动曝光的影响因素

自动曝光的主要影响因素包括ISO(感光度)、光圈大小和曝光时间。这些因素的调整都会直接影响到图像的亮度和质量。例如,增加ISO会使图像变亮,但可能会增加噪点;光圈控制着瞬时进光量;而曝光时间则是感光芯片的采样时间,过长或过短都会影响图像质量。

运动曝光表中AE的实现

在运动曝光表中实现AE,通常涉及以下步骤:

  1. AE统计模块:这是一个硬件模块,需要强大的运算能力。它负责统计图像的亮度直方图、亮度区域统计值等关键信息,这些信息是后续曝光参数调整的基础。
  2. AE算法模块:根据AE统计模块提供的数据,进行实时计算,以确定合适的曝光参数。这些参数包括光圈大小、曝光时间和ISO感光度等。算法的目标是确保图像达到合适的亮度水平,同时避免过度曝光或曝光不足。
  3. 曝光标准与计算:通常以“18%中性灰”作为人眼可以接受的标准亮度。AE算法会计算当前帧的亮度与目标亮度的差异,即曝光误差,并根据这个误差来调整曝光参数,使图像亮度逐渐趋近于目标亮度。
  4. 实时调整与收敛:AE系统需要能够快速、准确地收敛到合适的曝光参数。这要求AE算法不仅要快速响应光线变化,还要保证收敛过程的平滑性和稳定性。

总结

每个模块的具体功能,可以观看ISP Pipeline

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/27936.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【太原理工大学】软件系统安全—分析题

OK了,又是毫无准备的一场仗,我真是ありがとうございます 凸^o^凸 根据前几年传下来的信息,所谓“分析”,就是让你根据情节自行设计,例如如何设计表单等,这类多从实验中出,王老师强调好好做实验一…

【面经总结】Java集合 - List

ArrayList 要点 实现机制 数组 扩容机制 初始容量为空列表&#xff0c;第一次插入后扩容成默认大小 10。 添加元素时如果已满&#xff0c;会自动扩容为原始大小的 1.5 倍。 类定义 // 类定义 public class ArrayList<E> extends AbstractList<E>implements…

Mybatis框架中结果映射resultMap标签方法属性收录

Mybatis框架中结果映射resultMap标签收录 在MyBatis框架中&#xff0c;resultMap 是一种强大的机制&#xff0c;用于将数据库结果集映射到Java对象上。它允许你定义如何将查询结果中的列映射到Java对象的属性上&#xff0c;尤其是当数据库表的字段名与Java对象的属性名不一致时…

Web前端成绩查询:深入解析与实用指南

Web前端成绩查询&#xff1a;深入解析与实用指南 在数字化时代&#xff0c;成绩查询系统已成为学校、培训机构等教育场所不可或缺的一部分。而xWeb前端成绩查询系统&#xff0c;以其高效、便捷的特点&#xff0c;赢得了广大用户的青睐。本文将从四个方面、五个方面、六个方面和…

HTML静态网页成品作业(HTML+CSS)—— 明星吴磊介绍网页(5个页面)

&#x1f389;不定期分享源码&#xff0c;关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 &#x1f3f7;️本套采用HTMLCSS&#xff0c;未使用Javacsript代码&#xff0c;共有5个页面。 二、作品演示 三、代…

小白月赛96

小白月赛96 a最小胜利数b最小操作次数c最多数组数量 a最小胜利数 最小胜利数 只要有一个超过6次&#xff0c;那么便不可能反败为胜求出两位选手的题目差1&#xff0c;即为反败为胜的条件 ac code #include<iostream> using namespace std; int main(){string a;cin&g…

TCP与UDP案例

udp不会做拆分整合什么的 多大就是多大

【Spine学习08】之短飘,人物头发动效制作思路

上一节说完了跑步的&#xff0c; 这节说头发发型。 基础过程总结&#xff1a; 1.创建骨骼&#xff08;头发需要在上方加一个总骨骼&#xff09; 2.创建网格&#xff08;并绑定黄线&#xff09; 3.绑定权重&#xff08;发根位置的顶点赋予更多总骨骼的权重&#xff09; 4.切换到…

Orange_Pi_AIpro运行蜂鸟RISC-V仿真

Orange_Pi_AIpro运行蜂鸟RISC-V仿真 突发奇想&#xff0c;试一试Orange Pi AIpro上运行蜂鸟RISC-V的仿真。 准备 默认已经有一个Orange Pi AIpro&#xff0c;并且对设备进行一定的初始化配置&#xff0c;可以参考上一篇博文开源硬件初识——Orange Pi AIpro&#xff08;8T&a…

FineReport简单介绍

一、介绍 官网 &#xff1a;FineReport产品简介- FineReport帮助文档 - 全面的报表使用教程和学习资料 报表是以表格、图表的形式来动态展示数据&#xff0c;企业通过报表进行数据分析&#xff0c;进而用于辅助经营管理决策。 FineReport 是一款用于报表制作&#xff0c;分析和…

短视频矩阵系统源码搭建--如何基于各平台原生态坏境做开发

短视频矩阵系统源码搭建是一个涉及多个技术层面的复杂过程&#xff0c;它要求开发者能够理解并利用不同平台的原生环境来开发和部署应用程序。以下是一些基于不同平台原生环境开发短视频矩阵系统的一般步骤和考虑因素&#xff1a; 1.需求分析&#xff1a;首先明确系统需要实现的…

抽奖系统源码_微信抽奖系统PHP源码开源

介绍&#xff1a; 微信抽奖系统源码是一个以php MySQL进行开发的手机抽奖系统源码。用途&#xff1a;适合做推广营销、直播、粉丝抽奖。 功能介绍&#xff1a; 1、后台可以设置每个抽奖用户的抽奖次数,后台添加设置奖品,适和企业和商场搞活动,后台添加用户&#xff0c;才能抽…

[RL9] Rocky Linux 9.4 搭载 PG 16.1

副标题&#xff1a;Rocky Linux 9.4 升级实录&#xff0c;及 PG 16 相关内容 背景 Rocky Linux 9.4 (以下简称 RL) 于5月9日正式发布&#xff0c;本文记录了从 RL 9.3 升级到 9.4 的过程&#xff0c;以及升级前后的一些变化。 之前介绍过 RL 9 的相关内容&#xff0c;请戳&…

学习笔记——网络管理与运维——SNMP(SNMP架构)

三、SNMP架构 1、SNMP结构概述 SNMP被设计为工作在TCP/IP协议族上&#xff0c;基于TCP/IP协议工作&#xff0c;对网络中支持SNMP协议的设备进行管理。所有支持SNMP协议的设备都提供SNMP这个统一界面&#xff0c;使得管理员可以使用统一的操作进行管理&#xff0c;而不必理会设…

个人网站制作 Part 25 添加实时聊天功能 | Web开发项目添加页面缓存

文章目录 &#x1f469;‍&#x1f4bb; 基础Web开发练手项目系列&#xff1a;个人网站制作&#x1f680; 添加实时聊天功能&#x1f528;使用聊天服务&#x1f527;步骤 1: 选择聊天服务&#x1f527;步骤 2: 安装Socket.io&#x1f527;步骤 3: 创建Socket.io服务器 &#x1…

GStreamer 源码编译,在 Clion 下搭建调试环境

前言 最近在学习 GStreamer&#xff0c;官方提供了一些教程&#xff0c;本人希望能够断点调试&#xff0c;以便学习代码逻辑。本文记录如何在 Clion 搭建 GStreamer 源码编译、调试环境 步骤 下载源码 git clone https://gitlab.freedesktop.org/gstreamer/gstreamer.gitCl…

【漏洞复现】英飞达医学影像存档与通信系统 Upload.asmx 任意文件上传漏洞

0x01 产品简介 英飞达 医学影像存档与通信系统 Picture Archiving and Communication System&#xff0c;它是应用在医院影像科室的系统&#xff0c;主要的任务就是把日常产生的各种医学影像(包括核磁&#xff0c;CT&#xff0c;超声&#xff0c;各种X光机&#xff0c;各种红外…

适配不同数据库厂商方案

背景 在对国产化数据有要求的时候&#xff0c;我们会做对 达梦、海量等数据库的配置。 有些SQL 以前没有写成标准SQL&#xff1b; 那么适配的时候怎么办呢&#xff1f;改成标准SQL。 如果不好改呢&#xff1f;比如SQL比较复杂等&#xff0c;需要判断 当前是哪个厂商的数据库…

2024全球边缘计算大会参会企业名单(首批)

6月22日&#xff0c;第九届全球边缘计算大会将在深圳南山区科兴科学园举办&#xff0c;本次大会由边缘计算社区主办&#xff0c;并得到了EMQ、研华科技、网宿科技等单位的大力支持&#xff01;大会邀请了20重磅嘉宾&#xff0c;聚焦边缘计算前沿技术方向和热点趋势。 以下为首批…

HO-VMD-TCN:西储大学轴承故障诊断全流程详解

声明&#xff1a;文章是从本人公众号中复制而来&#xff0c;因此&#xff0c;想最新最快了解各类智能优化算法及其改进的朋友&#xff0c;可关注我的公众号&#xff1a;强盛机器学习&#xff0c;不定期会有很多免费代码分享~ 目录 原理详解 1.数据预处理 2.特征提取 3.故障…