关于 Camera Tuning 岗位的一些认识和看法

前言:

之前也写过几篇关于Camera Tuning岗位的相关介绍:

IQ Tuning 学习路线

关于入职 ISP Tuning 岗位的几个问题及解答

随着工作时间越长,对这个岗位的认识较之前也有了一些更深刻的理解,这里整理总结一下。

一方面是当做现阶段的思考记录,一方面可以给到刚入行或者即将入行的小伙伴以参考。

下面会从如下几个问题去描述:

Camera Tuning岗位是做什么的?

怎样才能做好Tuning的工作?

关于Camera Tuning的岗位前景如何?

1、Tuning岗位是做什么的?

结合我平常的工作任务来看,总结一下其实就两点:解决图像效果相关的问题、调试出符合产品需求的图像效果。

1) 解决图像效果相关的问题

在平常工作中遇到的各种各样的效果问题有很多,从光源-->镜头-->滤光片-->coms sensor-->isp-->编码-->显示,

整个成像系统过程中,每个环节都有可能会出问题。

我们的工作就是得先排查出是哪个模块导致的问题(如果经验足够丰富,可能一眼就知道是哪里的问题,但也不排除会遇到各种稀奇古怪的问题)。

然后再基于该模块,具体问题再去具体分析,能自己解决的就自己解决,涉及到其他模块的,那就需要收集信息,整理分析总结,或者提供建议,推进相应的负责人去解决。

以我自己为例,我是在平台厂工作,负责平台的ISP调试,和我们相关的就是ISP中的各个模块的调试参数、底层配置的sensor驱动、ISP驱动、mipi驱动、还有ISP算法(包含3A),这当中会涉及到和算法组、驱动组的同事联调分析。

另外还包括编码、显示的问题,同样的也是要给出分析结论,推进相应的同事去解决。

如果是sensor的问题,或者是镜头的问题,那就联系客户找sensor厂和镜头厂支持。

很多做Tuning的工程师只是工作在成像系统中某个环节,所以测重点会有所不同,比如工作在sensor厂,那可能会更关注sensor 相关的问题,镜头厂则会更关注镜头导致的效果问题。

2) 调试出符合产品需求的图像效果

首先要了解目标产品的应用需求,这个产品是做什么的,要用在哪里。这决定了成像系统的硬件选型,及后续图像调试的目标。

其次是根据产品的应用需求做好硬件的选型,包括sensor、镜头、滤光片的选型。

这决定了成像系统的指标与局限,比如动态范围、解析力、信噪比,如果本身输入的信息就很糟,光靠后端处理来达到一个好的效果是比较困难的。

如果是在整机厂,也会考虑到平台的选型,不同平台ISP、编码处理性能差异也比较大,是需要重点考量的。

完成上述任务后,接着就是图像效果的调试了,以满足产品需求或者客户需求为标准调试就可以了。

思考:AI ISP的发展是否可以超越硬件本身的限制,达到更好的图像效果呢?

好的镜头,好的sensor决定了获取到的有效数据(比如高分辨率的镜头、高感光度的sensor),

越好的硬件,获取到的有效数据就越多,AI ISP处理出来的效果肯定就越好。和目前用的比较多的生成式AI不一样,

在实际应用中,相机是绝对不能无中生有的,因为它本身就是用于记录/采集外部信息的。

目前AI ISP用的比较多的就是是替代ISP中的降噪模块,但图像噪声本来就是拍摄过程中带来的错误的、额外的信息。所以和传统ISP一样,肯定还是要基于硬件本身的。

另外同样的一套硬件,有AI的加持,处理的效果肯定是要比传统ISP要好的,但好多少,成本增加多少,是现阶段需要考量的。

2、怎样才能做好Tuning?

上文聊到了Tuning是做什么的 —— 解决图像效果相关的问题、调试出符合产品需求的图像效果;

那我们需要思考的就是如何提升自己处理/解决图像效果相关问题的能力,及如何调试出符合产品需求的图像效果;

1) 如何提升自己,处理/解决图像效果相关问题的能力

a、构建对影像系统的整体认知,这个永远都不嫌多。

b、入行时及入行后保持好奇心。

c、求知若渴,多问几个为什么,但同时要学会如何提问。

d、更新知识,对新知识要持怀疑态度,多途径去验证,也可以通过多写几行代码去验证。

e、贴近用户,用户才是真正买单的人,永远不要尝试指点用户。

2)如何调试出符合产品需求的图像效果

如何调试出符合产品需求的图像效果,他需有个流程:

了解目标产品的应用需求 ---> 根据应用需求做好器件选型 ---> 基于对图像的理解,进行效果调优。

a. 了解目标产品的应用需求

应用场景不同的相机,对图像效果的需求是不一样的,比如车载相机对色彩的要求可能就没那么高(只要红绿灯,路上的标识线颜色不偏就可以了),

手机相机对肤色就要求比较高,安防类相机对锐度、通透度、低照度下的噪声/拖影会比较在意,这是我们器件选型及Tuning的目标。

不同相机对图像质量的要求,具体可以看此篇:相机图像质量概述

b. 根据应用需求做好器件选型

上文说过,包括sensor、镜头、滤光片、ISP、编码、显示,他们一同构成了一个成像系统,也决定了该成像系统的指标与局限。

比如 sensor datasheet 中定义的动态范围是60dB,但需求是要达到80dB,这是不合理的。

所以在项目立项时,最好就要参与进去,了解当前硬件的指标和局限。

但目前的现状很多都是选型已经完成了,然后就把设备给到Tuning工程师,你就去调吧,需求合理还好说,要是超出硬件本身的限制就很无奈了。

但这又是不可避免的,这和所在的公司相关,如果是整机厂的Tuning工程师,那就要参与整个器件的选型,他要对后续的图像质量负责。

如果是在sensor厂,平台厂,模组厂,可能就会涉及到,客户给到你,你就调的尴尬境地。

另外也会因为成本,供货问题从而影响到选型,没办法选择性能更好的器件(比如高感光度,高动态范围的sensor、高解析力,大光圈值的镜头等等)导致产品达不到更好的性能指标,这是没有办法改变的,也是可以理解的。

我们能做的就是基于技术指标,去规避掉一些因为选型失误导致的效果差的问题,

比如lens和sensor CRA不匹配导致的shading/迷宫格问题,选择了type3类型的pdaf sensor,ISP又不支持补偿,导致有明显坏点/清晰度差的问题。

之前总结过一篇关于镜头选型的注意事项:关于镜头选型时的一些注意事项

c. 基于对图像的理解,进行效果调优

关于 PS(photoshop),一个强大的图像后处理软件,可以通过PS编辑处理(图像的亮度、清晰度、颜色、对比度等等)一张图像。

Tuning的工作其实也是类似的,通过调试ISP中开放的寄存器参数、及软件的3A参数来达到一个好的图像效果。

差异的点应该是调试的目标不同,摄影师通过PS做后期,可能更偏向于艺术感。而我们 Tuning 更多是以 "真实还原" 外界场景为目标(前提是以人眼视觉为评判标准的相机产品)。

其实做Tuning的话,学习一下摄影还是很有必要的,因为很多时候我们看不出图像怎样调是最好的,这时需要有摄影家的眼力,可以有助于我们调试出更好的作品。

但在做项目的过程中,更多的是客户会提供一个竞品机,要求按照竞品机的风格去调优,但对于画质来说“没有最好,只有更好”,如果调的和竞品机一模一样还有什么竞争力呢?

其实这两者也并不冲突,正确的流程应当是,我们要在满足其真实还原的前提后,再去参照竞品微调一下风格即可。

另外在图像调优过程中,也会遇到需要相互权衡的问题, 比如亮度和对比度的调整,除了会使得画面更通透外,可能也会导致图像高亮处过曝,

那此时就得看具体产品的使用场景,及拍摄主体是什么了,如果过曝不影响主体的识别,我觉得问题是不大的。

3、Tuning岗位的前景?

聊一个岗位的前景如何,肯定是要基于这个行业去看的(Camera Tuning 工程师可以归属于影像行业)。

然后再从两个方面去考量,现阶段市场对影像行业的需求如何?影像行业的发展是否已接近天花板?

这两个问题的答案这里就不详细描述了,大家可以自行去网上调研了解。

调试的未来其实很宽广,从硬件设计到影像终端系统都可以做,最重要的是不能仅仅把自己局限在只是一个调参的岗位。

入技术交流群可添加我的weixin:mudong_771

参考文章:

https://mp.weixin.qq.com/s?__biz=Mzg4MTU1OTIzNA==&mid=2247485370&idx=1&sn=d6e4a2fb1a1d1d6b9a29b7e9074e7729&chksm=cf655417f812dd01cfbeb6dfd4f529667f81dbe80782dcb00024947dd122f29392e3e8420b59&token=614286191&lang=zh_CN#rd

聊聊“影音效果工程师”成长瓶颈及破局思路

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/53991.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PHP一键约课高效健身智能健身管理系统小程序源码

一键约课,高效健身 —— 智能健身管理系统让健康触手可及 🏋️‍♀️ 告别繁琐,一键开启健身之旅 你还在为每次去健身房前的繁琐预约流程而烦恼吗?现在有了“一键约课高效健身智能健身管理系统”,所有问题都迎刃而解…

智能体-AI-Agent-简介

文章目录 一,什么是AI Agent二,扣子个人空间团队空间探索区 一,什么是AI Agent AI智能体并没有什么特别,本质上就是一个帮助你解决工作和学习中的一个工具。 很多自媒体把智能体描述的天花乱坠,那不过是他们畅想的智…

Spring Security认证与授权

1 Spring Security介绍 Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架。由于它是Spring生态系统中的一员,因此它伴随着整个Spring生态系统不断修正、升级,在spring boot项目中加入springsecurity更是…

Vue的学习(三)

目录 一、for循环中key的作用 1‌.提高性能‌: ‌2.优化用户体验‌: ‌3.辅助Vue进行列表渲染‌: 4‌.方便可复用组件的使用‌: 二、methods及computed及wacth的区别 三、过滤器 1.Vue 2 过滤器简介 定义过滤器 使用过滤…

用 Swift 写 Android App ?来了解下 Skip 原生级跨平台框架

最近在找资料的时候,机缘巧合发现了一个有趣的商业跨平台框架 Skip ,刚好看到了它发布 1.0 正式版,主要作用是将 Swift 开发引入到 Android 领域,这样 App 就可以共享 Swift 的业务逻辑,在 SwiftUI 中完成 Android App…

C#基础(8)函数

前言 我们先前已经具备了一些自己写小程序的能力,但是依旧还是逃不过大量的代码,那么今天,我们就将学习一个减少我们重复工作量的东西:函数。 在数学中我们知道,函数就是一个固定的公式,会画固定的图。 …

Python | Leetcode Python题解之第395题至少有K个重复字符的最长子串

题目: 题解: class Solution:def longestSubstring(self, s1: str, k: int) -> int:if k 1: return len(s1)n len(s1)res 0for c in range(1, len(set(s1)) 1):# 滑窗中字母种类个数恰好为 cfreq Counter()l cnt tcnt 0 for r, ch in enu…

代码随想录训练营Day3 | 链表理论基础 | 203.移除链表元素 | 707.设计链表 | 206.反转链表

今天任务:学习链表理论基础 链表的类型 链表的存储方式 链表的定义…

开发一款通过蓝牙连接控制水电表的微信小程序

增强软硬件交互 为了更好的解决师生生活中的实际问题,开发蓝牙小程序加强了和校区硬件的交互。 比如通过蓝牙连接控制水电表,减少实体卡片的使用。添加人脸活体检测功能,提高本人认证效率,减少师生等待时间。 蓝牙水电控展示 蓝…

计算机科学基础 -- 超流水线

超流水线的概念 超流水线是一种进一步提高处理器性能的技术,它在传统流水线的基础上,将多个流水线组合在一起,能够在同一个时钟周期内同时执行多条指令。这种设计允许处理器的多个功能单元并行处理不同的指令,从而提高指令级并行…

HashMap常用方法及底层原理

目录 一、什么是HashMap二、HashMap的链表与红黑树1、数据结构2、链表转为红黑树3、红黑树退化为链表 三、存储(put)操作四、读取(get)操作五、扩容(resize)操作六、HashMap的线程安全与顺序1、线程安全2、…

【LeetCode每日一题】2024年9月第二周(上)

2024.9.9 中等 难度评分 1333 链接:2181. 合并零之间的节点 (1)题目描述: (2)示例 (3)分析 整体来说,描述还算清晰的题目,找到0节点所框定的区域&#xff0c…

Python中列表、元组、字典和集合的详细解释

Python中列表、元组、字典和集合的详细解释 1. 列表(List) 定义:列表是可变的有序集合,可以存储多个项目。列表中的项目可以是不同类型的。 特点: 有序:元素的顺序是固定的。可变:可以修改内…

Pandas读取某列、某行数据——loc、iloc区别

loc:通过行、列的名称或标签来索引 iloc:通过行、列的索引位置来寻找数据 首先,我们先创建一个DataFrame生成数据 import pandas as pddata {a:[1,2,3,4,5],b:[6,7,8,9,10],c:[11,12,13,14,15] } data pd.DataFrame(data) print(data) 运行…

工具、环境等其他小问题归纳

此篇文章内容会不定期更新,仅作为学习过程中的笔记记录 一、查询Windows 10环境下python版本与安装路径 若电脑成功安装了python环境,不小心忘了版本。 I、查询版本 1、cmd窗口快捷查询 Win R 输入cmd 进入窗口; 直接输入 python --version …

QT如何ui上的QTableWidget控件如何使用

在Qt中,QTableWidget是一个常用的控件,用于在UI上展示和操作表格数据。如果你是在Qt Designer中设计UI,那么你可以直接将QTableWidget从Widget Box拖拽到你的窗体上。如果你是在代码中创建UI,那么你需要通过编程方式添加QTableWid…

[数据集][目标检测]血细胞检测数据集VOC+YOLO格式2757张4类别

数据集格式:Pascal VOC格式YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数):2757 标注数量(xml文件个数):2757 标注数量(txt文件个数):2757 标注…

关于武汉芯景科技有限公司的IIC电平转换芯片XJ9517开发指南(兼容PCF9517)

一、芯片引脚介绍 1.芯片引脚 2.引脚描述 二、系统结构图 三、功能描述 1.电平转换 2.芯片使能/失能 EN 引脚为高电平有效,内部上拉至 VCC(B),允许用户选择中继器何时有效。这可用于在上电时隔离行为不良的从机,直到…

4052A/4052B/4052C/4052D/4052E/4052F/4052G /4052H信号/频谱分析仪

4052A/4052B/4052C/4052D/4052E/4052F/4052G /4052H信号/频谱分析仪 苏州新利通 Ceyear 4052具备出色的测试动态范围、相位噪声、幅度精度和测试速度,具备频谱分析、I/Q分析、实时频谱分析、瞬态分析、矢量信号分析、脉冲分析、音频分析等丰富的测试功能。 Ceyear…

qt 槽函数中获取发射信号的对象(widget)

概述 在Qt中,槽函数(slot)默认是不直接知道是哪个对象(widget)发送了信号的。这是因为Qt的信号和槽机制设计上是解耦的,即信号的发送者和接收者之间不需要有直接的依赖或了解。然而,如果确实需…