ISP Pipeline典型场景要点SAT、Bokeh、MFNR、HDR

目录

一、概述

二、通用流程

三、典型场景

1. SAT

2. Bokeh背景虚化 + MFNR

3. HDR(DOL、DCG等)


一、概述

本文解释isp pipeline的一些非常典型的场景,不同厂商对pipeline的连接及node的port口设计可能不同,但核心的思想相同。纯干货!

二、通用流程

一般走向都是sensor,FE0/1/2/..., BE,PE。CVE在旁路进行特征点提取、匹配、映射,各种H矩阵求取等计算,输出给PE或NPU(Face Detection或Motion Detection)等。

FE输出Ideal Raw图给BE,几帧的Ideal Raw图一般存于ZSL队列。

BE进行RAW2YUV处理,输出FULL size图 + DS4图的YUV图给PE经过分时复用实现多pass降噪。

PE输出的就是最终的预览图,给DPU送显。

FE一般会额外输出一路Y图给CVE,用于计算TNR H Matrix,CVE输出的TNR H matrix会作用于PE的TNR warp模块,TNR降噪。当然,这与SAT关系不大,而是预览正常处理。

ZSL队列用于拍照瞬间获取多帧合成still image。

FE\BE\PE\CVE的概念请自己对应,不同厂商不一样。

三、典型场景

1. SAT

SAT一般在普通拍照预览和录像预览下开启,至少两个sensor。

  • Main sensor输出:Main Stream + SAT专用Y图
  • Slave sensor输出:SAT专用Y图

master sensor输出几张IdealRaw图存于ZSL队列,这个是主图,经过BE、PE处理后用于预览。master sensor和slave sensor分别连接的FE0和FE1会输出SAT专用小Y图给CVE计算SAT H matrix,作用于PE的EIS warp模块,将main图的FOV对齐到slave图。

  • 当master为大fov,slave为小fov,上面正常的SAT处理。
  • 当master为小fov,slave为大fov,只有当slave切换为master时SAT H matrix才会作用于EIS warp。

对于SAT,只有master sensor的FE会输出用于TNR的Y图给CVE,因为预览图来源于master sensor,slave sensor主要是用于配合计算SAT H matrix。

2. Bokeh背景虚化 + MFNR

至少需要两个Sensor。

对于预览,Main sensor的PE和Sub sensor的PE均会输出YUV小图给CVE,计算Main-sub H Matrix,生成depth map小图Y格式。depth map作用于Main sensor的PE输出的预览流,进行Bokeh处理。

对于拍照,前面会多一步。FE0和FE1的Ideal RAW输出都会经过RAW MFNR处理,MFNR需要FE0/1输出的Y小图经过CVE,CVE计算MFNR H matrix,该矩阵用于MFNR计算。MFNR后的Bayer RAW图像经过BE、PE、CVE Bokeh就一样了。

3. HDR(DOL、DCG等)

第一个讲2DOL Stagger HDR。

即以“行”为输出单位“长短帧”曝光,以“帧”为单位因为间隔时间太长会有伪影产生,早已过时。

FE接受来自sensor的2DOL图像(Ev0和Ev-),CVE分时读取Ev0长曝光图像和Ev-短曝光图像,求取特征点(FTPT),根据特征点进行match,输出H矩阵,传给BE的HDR warp。

BE读取长短帧图像,利用H矩阵对Ev-图像配准,然后进行HDR融合。可硬件融合或AI融合。

第二个讲DCG HDR。

对于DCG HDR,Sensor只曝光一次,通过不同的AD转换增益获取Ev0和Ev-,其他步骤没有特别的区别。这种方式Sensor有可能直接对两者图像融合。

不断更新...

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/115921.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【面试经典150 | 区间】用最少数量的箭引爆气球

文章目录 Tag题目来源题目解读解题思路方法一:合并区间 其他语言python3 写在最后 Tag 【合并区间】【排序】【数组】 题目来源 452. 用最少数量的箭引爆气球 题目解读 每个气球都有一个占据x轴的一个范围,在这个范围里射出一只箭就会引爆该气球&…

matlab常用函数

绘图函数 一、plot():二维图形绘制 1、plot(y): 对于只含一个输入参数的plot函数,如果输入参数y为向量,则以该参数为纵坐标,横坐标从1开始至与向量的长度相等;如果输入参数y是矩阵时,则按列绘…

C++笔记之关于函数名前的取址符

C笔记之关于函数名前的取址符 相关博文:C之指针探究(十一):函数名的本质和函数指针 code review! 文章目录 C笔记之关于函数名前的取址符一.函数名可以被视为指向函数的地址二.sayHello和&sayHello是不是等同?三.Qt信号与槽中的取地址符& 一…

2023全新小程序广告流量主奖励发放系统源码 流量变现系统

2023全新小程序广告流量主奖励发放系统源码 流量变现系统 分享软件,吃瓜视频,或其他资源内容,通过用户付费买会员来变现,用户需要付费,有些人喜欢白嫖,所以会流失一部分用户,所以就写了这个系统…

【2024秋招】2023-9-14 最右后端开发线下一面

1 自我介绍 2 计算机网络 2.1 说说你对tcp滑动窗口的理解 TCP 滑动窗口是 TCP 协议流量控制的一个重要机制。它的主要目的是确保发送方不会因为发送太多数据而使接收方不堪重负。下面我会详细地描述滑动窗口的概念: 窗口的大小: 滑动窗口的大小&#…

Node编写用户登录接口

目录 前言 服务器 编写登录接口API 使用sql语句查询数据库中是否有该用户 判断密码是否正确 生成JWT的Token字符串 配置解析token的中间件 配置捕获错误中间件 完整的登录接口代码 前言 本文介绍如何使用node编写登录接口以及解密生成token,如何编写注册接…

关于 硬盘

关于 硬盘 1. 机械硬盘1.1 基本概念1.2 工作原理1.3 寻址方式1.4 磁盘磁记录方式 2. 固态硬盘2.1 基本概念2.2 工作原理 1. 机械硬盘 1.1 基本概念 机械硬盘即是传统普通硬盘,硬盘的物理结构一般由磁头与盘片、电动机、主控芯片与排线等部件组成。 所有的数据都是…

利用dns协议发起ddos反射攻击

利用DNS服务器发起反射型DDOS,攻击带宽 基本思路: 1、利用any类型的dns查询,可完成发送少量请求数据,获得大量返回数据。 2、将原请求地址改为受害者地址,则dns会向受害者返回大量数据,占用带宽 警告&…

c# ManualResetEvent WaitHandle 实现同步

//本文演示了ManualResetEvent 类的非静态set()、Reset()、WaitOne()和 //WaitHandle类的静态方法WaitAllWaitAll() //它们用于线程间的同步控制。 //实现了如下功能:线程1(定时控制)通知线程2和线程3采集数据 //线程2和3数据采集完了&am…

QCC 音频输入输出

QCC 音频输入输出 QCC蓝牙芯片(QCC3040 QCC3083 QCC3084 QCC5181 等等)支持DAC、I2S、SPDIF输出,AUX、I2S、SPDIF、A2DP 输入 蓝牙音频输入,模拟输出是最常见的方式。 也可以再此基础上动态切换输入方式。 输入方式切换参考 sta…

POJ 3470 Walls 树上分桶

今天太晚了&#xff0c;代码先发上&#xff0c;思路明天说吧。 陌上花开&#xff0c;树上分桶 #include <iostream> #include <algorithm> #include <vector> using namespace std; /*** 对于y1不等于y2的&#xff0c;可以用datC求解&#xff0c;对于x1不等…

AD9371 官方例程HDL详解之JESD204B TX侧时钟生成 (一)

AD9371 系列快速入口 AD9371ZCU102 移植到 ZCU106 &#xff1a; AD9371 官方例程构建及单音信号收发 ad9371_tx_jesd -->util_ad9371_xcvr接口映射&#xff1a; AD9371 官方例程之 tx_jesd 与 xcvr接口映射 梳理 AD9371 时钟&#xff0c;理解采样率和各个时钟之间的关系 …

linux nginx1.24.0安装

nginx高性能web服务器&#xff0c;可作为一般http应用转发&#xff0c;也可以做mySql、redis、zk、rabbit MQ等tcp数据流转发。 常用Linux服务系统centos和ububtu 只是安装命令不同 yum/apt-get&#xff0c;流程和依赖包是一样的安装方式 1、下载nginx安装包tar.gz官方下载地…

RabbitMQ基础篇 笔记

RabbitMQ 余额支付 同步调用 一步一步的来&#xff0c;支付业务写完后&#xff0c;如果之后加需求&#xff0c;还需要增加代码&#xff0c;不符合开闭原则。 性能上也有问题&#xff0c;openfeign是同步调用&#xff0c;性能太差。 同步调用耦合太多。 同步的优势是可以立…

网站、小程序常见布局样式记录

文章目录 &#x1f380;前言&#xff1a;&#x1f415;网页样式展示小程序&#xff1a;《携程网》&#x1f380;持续更新... &#x1f380;前言&#xff1a; 本篇博客会收藏一些作者见到的网页、小程序页面&#xff0c;目的是用来寻找制作项目网页页面的灵感&#xff0c;有需要…

mysql第一篇---索引

文章目录 mysql第一篇---索引索引的数据结构为什么使用索引&#xff1f;索引的及其优缺点InnoDB中索引的推演常见的索引概念InnoDB的B树索引的注意事项MyISAM中索引方案索引的代价MySQL数据结构选择的合理性 mysql第一篇—索引 索引的数据结构 为什么使用索引&#xff1f; 索…

修炼k8s+flink+hdfs+dlink(六:学习k8s-pod)

一&#xff1a;增&#xff08;创建&#xff09;。 直接进行创建。 kubectl run nginx --imagenginx使用yaml清单方式进行创建。 直接创建方式&#xff0c;并建立pod。 kubectl create deployment my-nginx-deployment --imagenginx:latest 先创建employment&#xff0c;不…

华为OD 高效的任务规划(200分)【java】A卷+B卷

华为OD统一考试A卷+B卷 新题库说明 你收到的链接上面会标注A卷还是B卷。目前大部分收到的都是B卷。 B卷对应20022部分考题以及新出的题目,A卷对应的是新出的题目。 我将持续更新最新题目 获取更多免费题目可前往夸克网盘下载,请点击以下链接进入: 我用夸克网盘分享了「华为O…

紫光展锐携中国联通完成RedCap芯片V517孵化测试

近日&#xff0c;紫光展锐携手中国联通5G物联网OPENLAB开放实验室&#xff08;简称“OPENLAB实验室”&#xff09;共同完成RedCap芯片V517创新孵化&#xff0c;并实现在联通5G全频段3.5GHz、2.1GHz、900MHz下的端到端业务验证测试。 V517是一款基于紫光展锐5G成熟平台设计与研发…

oninput和onchange事件有什么区别以及使用场景

oninput和onchange都是常见的表单元素的事件&#xff0c;它们的区别在于触发的时机不同。 oninput事件会在表单元素的值发生变化时立刻触发&#xff0c;无论是通过键盘输入、粘贴、剪切、拖拽等方式&#xff0c;都能实时响应。比如&#xff1a; <input type"text&quo…