ISP图像处理Pipeline

参考：1. 键盘摄影(七)——深入理解图像信号处理器 ISP2. Understanding ISP Pipeline3. ISP图像处理流程介绍4. ISP系统综述5. ISP(图像信号处理)之——图像处理概述6. ISP 框架7. ISP(图像信号处理)算法概述、工作原理、架构、处理流程8. ISP全流程简介9. ISP流程介绍(Raw格式阶段)

ISP Pipeline流程如下：

ISP处于整个成像系统的中心地位。

ISP功能

器件控制

控制Sensor的Shutter(快门)、Gain(增益)
控制镜头变焦、聚焦
控控制镜头的光圈
控制滤光片的切换
补光灯控制

格式转换

RAG转RGB
RGB转YUV
YUV转HSI
YUV444转YUV420等

画质优化

原始图像修正(光通量不均匀、有畸变)
颜色管理
降噪
动态范围控制
清晰度、锐度提升
后处理
数字去抖
下面左图是没有画质优化的，右图是经过ISP画质优化的。

ISP算法流程

Horizontal Flip：做水平翻转
Test Pattern：ISP内部产生测试图像，ISP内部调试使用
Black Level Correction：黑电平矫正，黑电平是指图像数据为0时对应的信号电平，进行黑电平矫正的目的；一是由于sensor本身会存在暗电流，导致在没有光照进来的条件下pixel也有电压输出，不过这部分一般在sensor端就已经处理掉了，还有一个原因是因为sensor进行模数转换时精度不够，以8bit为例，每个pixel有效范围是0-255，sensor可能无法将接近于0的信息转化出来，由于人眼特性(对暗处细节比较敏感，)所以sensor厂商一般在转换时会加一个固定的偏移量使像素输出在5(非固定值)—255之间，然后传输在ISP端再做一个减法，将5(非固定值)变为0
Bad Pixel Correction：坏点消除
Lens Shadow Correction：镜头阴影矫正(镜头缺陷、光通量不均匀)
AF Statistics in Raw：AF统计信息
CFA Interpolation：去马赛克，将RAW转成RGB
D65 White Balance：做标定，使得在D65下面，使得白色的物体呈现白色
AWB Statistics：做完D65 White Balance后可以做AWB 统计信息
AWB：AWB算法根据色温值做白平衡矫正
CCM：3×3的颜色矩阵，目的是让成像系统颜色符合人眼睛看到的颜色。AWB已经将白色校准了，CCM就是用来校准白色除白色以外其他颜色的准确度的，用一个3X3的CCM矩阵来校准, 其中每一列系数r1+g1+b1等于一个恒定值1。Ccm矫正最终结果可以通过拍摄24色卡图片然后用imatest分析来做分析参考
Gamma：Gamma矫正，原因是人眼睛的非线性特性，亮度发生变化时，人眼感受到的不是成倍的关系
CSC：RGB到YUV色彩空间转换
AE Statistics：AE统计信息
2DNR：空间域降噪
3DNR：时间域降噪
AF Statistics in YUV：AF 统计信息
Local Tone Mapping：图像每一个局部区域都足够清晰
Sharpness：锐化让图像变得更清晰
WDR：宽动态算法让图像的动态范围变得更大
Post-Process：后处理
LDC：镜头畸变矫正
De-shaking：防抖