计算机视觉基础知识(二)---数字图像

像素

像素是分辨率的单位;
构成位图图像的最基本单元;
每个像素都有自己的颜色;

图像分辨率

单位英寸内的像素点数;
单位为PPI(Pixels Per Inch),为像素每英寸;
PPI表示每英寸对角线上所拥有的像素数目:
$PPI=\sqrt{x^2+y^2}/z$ ,x:长度像素数目,y:宽度像素数目,Z:屏幕大小;
屏幕尺寸(大小)指的是对角线长度;
图像清晰度的评价指标;

颜色模型

色彩三原色(CMYK):品红,黄,青;
光学三原色(RGB):红\绿\蓝;

RGB模型

三维直角坐标颜色系统中的一个单位正方体;
正方体的主对角线上,各原色的量相等;
产生由暗到亮的白色,即灰度;
正方体的其他六个角点分别为红\黄\绿\青\蓝\品红;

灰度

表示图像像素明暗程度的数值;
黑白图像中点的颜色深度;
范围一般为0~255;
白色为255,黑色为0;

通道

把图像分解成一个或多个颜色成分;

单通道

一个像素点只需一个数值表示;
只能表示灰度;
0为黑色,255为白色;
可表示二值图/灰度图;

三通道

RGB模式;
把图像分为红\绿\蓝三个通道;
可以表示彩色;
全0表示黑色;

四通道

RGBA模式;
在RGB的基础上加上alpha通道,表示透明度;
alpha=0表示全透明;

对比度

不同颜色之间的差别;
对比度=最大灰度值/最小灰度值;

RGB转为Gray

浮点算法: $Gray=0.3R+0.59G+0.11B$ ;
整数算法: $Gray=(30R+59G+11B)/100$ ;
移位算法: $Gray=(76R+151G+28B)>>8$ ;
平均值阀: $Gray=(R+G+B)/3$ ;
仅取绿色: $Gray=G$ ;

RGB值转化为浮点数

浮点运算结果更精确;
整数运算中会丢失小数部分;
导致颜色值严重失真;
计算过程越多,失真越严重;
将RGB值转化为[0,1]浮点数:x/255即可;

二值化

阈值随意设置;

if(img_gray[i,j]<=0.5):img_gray[i,j]=0
else:img_gray[i,j]=1

通用概念(库的安装和使用)

使用pip或者conda安装;
百度搜索python 安装xxx;
得到库的名称;
使用的时候用import引入;
不需要死记硬背函数;
需要使用的时候搜索函数名;
可了解函数用法和参数含义;

常用视觉库

opencv:安装使用pip install opencv-python,使用时:import cv2
matplotlib:安装使用pip install matplotlib,使用时:import matplotlib.pyplot as plt
skimage:安装使用pip install scikit-image,使用时:import skimage;

opencv BGR

opencv读进来的图片通道排列:B--G--R;
不是主流的R--G--B;

#opencv读入的矩阵时BGR,想转为RGB,可以这样:
img=cv2.imread('1.jpg')
img=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)

图像频率

灰度值变化剧烈程度的指标;
是灰度在平面空间上的梯度;

图像幅值

在一个周期内;
交流电瞬时出现的最大绝对值;
也是一个正弦波;波峰到波谷距离的一半;

数字图像

计算机保存的图像都是一个个像素点,称为数字图像;

图像数字化过程

由图像的取样与量化来完成;

图像的取样

取样就是决定用多少点来描述一幅图像;
取样结果质量的好坏用图像的分辨率来衡量;
数字化坐标值称为取样;
若横向的像素数(列数)为M,纵向的像素数(行数)为N;
图像的总像素数为MxN个像素;

图像的量化

指要用多大范围的数值表示图像采样之后的一个点;
数字化图像的幅度值称为量化;

上采样

放大图像,或称上采样:upsampling或图像插值:interpolating;
放大原图像;
可将图像显示在更高分辨率的显示设备上;

下采样

缩小图像,或称下采样:subsampled,或降采样:downsampled;
使图像符合显示区域的大小;
生成对应图像的缩率图;

上采样原理

内插值

下采样原理

$(M/s)\times(N/s)$

常用的插值方法

最临近插值;
单线性插值;
双线性插值;

最临近插值

The nearest interpolation;
i+u,j+v为待求像素坐标;
i,j为整数,u,v为大于零小于1的小数;
待求像素灰度值表示为f(i+u,j+v);

单线性插值

$\frac{y-y_0}{y_1-y_0}=\frac{x-x_0}{x_1-x_0}$

$\frac{y-y_0}{x-x_0}=\frac{y_1-y_0}{x_1-x_0}$

$y=\frac{x_1-x}{x_1-x_0}\times y_0+\frac{x-x_0}{x_1-x_0}\times y_1$

双线性插值

$f(i+u,j+v)=(1-u)\times(1-v)\times f(i,j)$

$+(1-u)\times v \times f(i,j+1)$

$+u\times (1-v)\times f(i+1,j)$

$+u\times v \times f(i+1,j+1)$

在x方向做插值:

$f(R_1)=f(x,y_1)\approx \frac{x_2-x}{x_2-x_1}f(Q_{11})+\frac{x-x_1}{x_2-x_1}f(Q_{21})$

$f(R_2)=f(x,y_2)\approx \frac{x_2-x}{x_2-x_1}f(Q_{12})+\frac{x-x_1}{x_2-x_1}f(Q_{22})$

在y方向作插值:

$f(x,y)\approx \frac{y_2-y}{y_2-y_1}f(R_1)+\frac{y-y_1}{y_2-y_1}f(R_2)$

综合起来

$f(x,y)\approx \frac{y_2-y}{y_2-y_1}f(R_1)+\frac{y-y_1}{y_2-y_1}f(R_2)$

$=\frac{y_2-y}{y_2-y_1}(\frac{x_2-x}{x_2-x_1}f(Q_{11})+\frac{x-x_1}{x_2-x_1}f(Q_{21}))$

$+\frac{y-y_1}{y_2-y_1}(\frac{x_2-x}{x_2-x_1}f(Q_{12})+\frac{x-x_1}{x_2-x_1}f(Q_{22}))$

图像双线性插值只用相邻的4个点,上述公式的分母都为1;

双线性插值坐标系的选择

dst像素点的坐标对应到src图像当中的坐标;
通过双线性插值的方法算出src中相应坐标的像素值;

坐标对应关系

按比例对应:

$SrcX=(dstX)\times (srcWidth/dstWidth)$

$SrcY=(dstY)\times(srcHeight/dstHeight)$

源图像和目标图像的左上角对齐

如果源图像和目标图像的原点(0,0)均选择左上角;
根据插值公式计算目标图像每点像素;
假设需要将一幅5x5图像缩小为3x3;
源图像和目标图像各像素之间的对应关系如下图:

源图像和目标图像的中心对齐

两个图像的几何中心重合;
目标图像的每个像素之间等间隔;
目标图像的四边和源图像都有一定的边距;

$SrcX+0.5=(dstX+0.5)\times (srcWidth/dstWidth)$

$SrcY+0.5=(dstY+0.5)\times (srcHeight/dstHeight)$

源图像和目标图像中心对齐平移参数的证明

双线性插值存在的问题

双线新插值较最临近插值算法复杂;
计算量较大;
但是没有灰度不连续的缺点;
图像看起来更光滑;

直方图

图像处理中,经常用到直方图:如颜色直方图,灰度直方图;
灰度直方图描述了图像中灰度分布的情况;
能够直观展示图像中各灰度级所占比例;
灰度直方图是灰度级的函数;
描述图像中该灰度级的像素的个数;
直方图中横坐标是灰度级;
纵坐标是该灰度级出现的频率;

直方图的性质

反映图像中的灰度分布规律;
描述每个灰度级具有的像素个数;
不包含像素在图像中的位置信息;
不关心像素所处的空间位置;
不受图像旋转和平移变化的影响;
可以作为图像的特征;
任何图像都有唯一的直方图对应;
不同的图像可以有相同的直方图;
如果一幅图像有两个不相连的区域组成;
每个区域的直方图已知;
整幅图像的直方图是该两个区域的直方图之和;

直方图的应用

直方图均衡化

将源图像的直方图变换为均匀的直方图;
按均匀直方图修改原图像;
获得灰度分布均匀的新图像;
是用一定的算法使直方图大致平和的方法;
作用是图像增强;

直方图均衡化的应用考虑

为了将原图像的亮度范围扩展;
需要一个映射函数;
将原图像的像素值均衡映射到新直方图中;
映射函数需要满足:
不打乱原有的亮暗布局;
映射后亮\暗的关系不改变;
且映射后必须在原有的范围内,比如(0-255);

直方图均衡化的步骤

依次扫描原始灰度图像的每一个像素;
计算出图像的灰度直方图H;
计算灰度直方图的累加直方图;
根据累加直方图和直方图均衡化的原理;
得出输入与输出之间的映射关系;
最后根据映射关系得出结果:
$dst(x,y)=H(src(x,y))$

直方图均衡化的计算原理

输入图像的任意一个像素p, $p\in [0,255]$ ;
总能在输出图像中有对应的像素q, $q\in [0,255]$ ;
满足输入和输出的像素总量相等;
计算公式为(累加直方图公式):

$\sum^p_{k=0}hist_{input}(k)=\sum^q_{k=0}hist_{iout}(k)$

输出图像每个灰度级的个数为:

$hist_{out}(k)\approx \frac{H\times W}{256},k\in [0,255];$

代入累加直方图公式:

$\sum^p_{k=0}hist_{input}(k)\approx (q+1) \frac{H\times W}{256}$

$\Rightarrow q\approx \sum^p_{k=0}\frac{hist_{intpu}(k)}{H\times W}\times 256-1$

直方图均衡化实例

原图像矩阵,image:5x5,最大像素值max=9,最小像素值min=0;

1	3	9	9	8
2	1	3	7	3
3	6	0	6	4
6	8	2	0	5
2	9	2	6	0

直方图均衡化计算表格:

像素值	该像素值数量 $N_i$	该像素值占图片总像素值数量百分比: $p_i=N_i/25$	百分比加合 $sumP_i$	$sumP_i\times256-1$	四舍五入
0	3	3/25=0.12	0.12	29.72	30
1	2	2/25=0.08	0.2	50.2	50
2	4	0.16	0.36	91.16	91
3	4	0.16	0.52	132.12	132
4	1	0.04	0.56	142.36	142
5	1	0.04	0.6	152.6	153
6	4	0.16	0.76	193.56	194
7	1	0.04	0.8	203.8	204
8	2	0.08	0.88	224.28	224
9	3	0.12	1	255	255