视频制作中的绿幕与拜耳阵列

先来欣赏一些大片背后的特效。

现在国内的电影市场越来越大，做短视频的自媒体也越来越多，在他们的后期视频制作的片花中可以看到很多都在使用绿幕或者蓝幕，这是为什么呢？

首先肯定是为了抠图的方便。将主体部分抠出再将通过特效渲染的背景图像叠加上去。那么为什么使用的幕布颜色是绿色或者蓝色呢？我们知道光源的三原色是RGBRBG，而抠像的主体一般是人，红色接近人类肤色，在密布红色的工作环境中，长时间的工作也会让电影制作的人员产生暴躁、疲劳的生理反应，十分不利于电影制作，所以红色幕布是很少选择的。这就是幕布一般是绿色或者蓝色的原因，而绿幕又比蓝幕流行，一般认为西方人瞳孔是蓝色的，所以使用绿幕，而东方人使用蓝幕，这样会让角色皮肤显得更加细腻白嫩。

但是正如为什么电影特效多用绿幕？ - 深刻的回答 - 知乎提到的，使用绿幕还有其他专业的技术原因。数码相机中的传感器，不论是CCD还是CMOS，像素排列的方式都是拜耳矩阵，所以感光芯片采集颜色信号是RGGB（其实也是基于人眼对绿色更敏感的研究）。这从另外一方面解释了绿幕使用绿色，因为相机也是对绿色更敏感。

我们大部分的光电传感器只能捕获光的强度而无法捕获光的颜色（频率），而我们知道光的三原色是RBG，理论上只需要知道每个像素的RBG三个通道的颜色强度就可以融合得到真实色彩，而我们也确实可以借助滤波片实现。但问题是在工业上这样相当于在三个通道成了三次像，而且滤波片的难度很高，且需要严格对齐。

原则上需要在三个通道分别成像，最后叠加，得到数码彩色图像。

拜耳阵列是伊士曼·柯达公司科学家Bryce Bayer发明的。通过拜耳阵列，三合一成一个Bayer filter mosaic，其实就是一个颜色滤波器阵列（color filter array (CFA)），在一次成像的过程中将RGB三个通道有规律地排列好。

拜耳矩阵同样借助了滤波片，但是在排列中是三个通道的滤波片以一定的规律排列。下图就是一种排列方式。

这样的结果就是有的像素位置捕获到了红色通道的信息，有的是绿色通道信息，有的是蓝色通道信息。当这些像素位置正好和滤波片的颜色一样时当然可以无失真的捕获真实色彩，但是大多时候没有这么凑巧，我们仍然需要三原色来合成真实色彩。通过拜耳阵列就可以对每个三原色进行插值（去马赛克demosaicing），得到各个位置的其他二原色。而使用的插值方法其实是和常见的插值方法类似的，如最近邻插值，双线性插值。

对绿色通道进行插值时需要特别综合考虑水平方向和竖直方向上其他通道的变化幅度。

下面看一下在我们按下拍摄按键的短时间内相机都做了什么。你会发现，即便你还没有动手p图，相机已经做了一系列的图像处理，即便是实时取景器中也是经过默认参数处理之后的图像。

这是通过拜耳阵列的成像过程分解。图2就是RAW(raw image format)数据得到的灰度图像，传感器只记录了光强信息，再加上Bayer CAF就可以得到图3，这时候只有BGB和黑四种颜色；再通过去马赛克算法就可以重构出其他通道的颜色信息从而优化图像得到图4.而图5是由原图1经过下采样（最近邻算法）和缩放至图4分辨率的结果，可以看到图4和图5已经很接近了。

手机厂商一般会宣称手机相机像素是多少，以Iphone X为例，后置摄像头是1200万像素，那么意味着RBG三种传感器的数目之和是1200万，且三种的比例是1:1:2. 在显示设备如屏幕中，以Iphone X为例，屏幕分辨率2436x1125=2740500. 每个像素由红绿蓝三个子像素组成，如果像成像设备一样以单色像素计算像素总数，那么典型的1080p显示器就有1920x1080x3，大约620万的单色像素。

近年已有一些公司提出了新的传感器排列方式，如适马公司的Foveon X3或富士公司的X-Trans传感器，但在目前市场上拜耳阵列传感器仍然占有绝对的统治地位。拜耳阵列的问题之一是，在拍摄具有重复细节（如纺织品）的画面时，容易产生彩色干扰信息。该问题是由于其规则的分布方式而造成的。其具体表现为在画面中产生难看的色带，而解决该问题的方法是在传感器其安装一块会将画面细节模糊化的AA（anti-aliasing或称低通）滤镜。低通滤镜可以减弱摩尔纹，但同时也降低了相机分辨率。可能造成的人为现象还包括假彩色现象False color artifact和锯齿效应Zippering artifact。

Reference：