一、Topic:数据处理
这次我们来一段NCNN应用代码中,除了推理外最重要的一部分代码,数据处理:
ncnn::Mat in = ncnn::Mat::from_pixels_resize(bgr.data, ncnn::Mat::PIXEL_BGR, bgr.cols, bgr.rows, 227, 227);const float mean_vals[3] = {104.f, 117.f, 123.f};in.substract_mean_normalize(mean_vals, 0);
这一部分代码由两部分组成:
- from_pixels_resize:将cv::Mat数据转换到ncnn::Mat同时进行resize操作
- substract_mean_normalize:这个就是减均值除方差
二、from_pixels_resize
先看名字,from_pixels_resize由两部分组成:
- from_pixels:从unsigned char* 的数组转换到 ncnn::Mat
- resize:unsigned char* 的数据下进行resize
源码中是先进行resize再进行from_pixels。
A、resize
这个代码支持三种图像类型:单通道的GRAY、三通道的RGB和BGR、四通道的RGBA。源码使用的都是bilinear插值,这里我们挑个简单的单通道GRAY的来看看,函数名字很直观,就叫做resize_bilinear_c1,后面的c1就是chennel 1的意思。具体的代码在mat_pixel.cpp的第1414行,这个我就不细说了,大家可以去看这个文章,这个虽然写的是TNN的,但仔细看下来会发现其实跟NCNN的实现是一样的(变量名也一样)。
这个大体流程就是:
- 先算x、y方向上插值点的位置索引xofs和yofs
- 再算x、y方向上插值点左右的两个插值稀疏iapha和ibeta
- 遍历插值,x方向上的插值用xofs和ialpha得到,y方向上的插值用yofs和ibeta得到
这个计算的细节还是很多的,大家感兴趣的可以去仔细研究一下,这里就不细写了,ncnn的代码为例效率,可能写的不是特别美观。
B、from_pixels
这个就很简单了,就是开辟一块ncnn::Mat的内存,然后遍历数组一个一个填进去就好了,同样的这里支持单通道、三通道、四通道,而且一些颜色转换RGB2BGR、RGB2GRAY这些都是实现支持的,我们挑一个典型的RGB2GRAY的实现来看,源码在mat_pixel.cpp的第539行,函数名就是from_rgb2gray。
static Mat from_rgb2gray(const unsigned char* rgb, int w, int h)
{const unsigned char Y_shift = 8;//14const unsigned char R2Y = 77;const unsigned char G2Y = 150;const unsigned char B2Y = 29;Mat m(w, h, 1);if (m.empty())return m;float* ptr = m;int size = w * h;int remain = size;for (; remain > 0; remain--){*ptr = (rgb[0] * R2Y + rgb[1] * G2Y + rgb[2] * B2Y) >> Y_shift;rgb += 3;ptr++;}return m;
}
这个代码很直观,前面就是定义了转换时R、G、B对应要乘的系数,这里作者用的是整数乘法,所以系数放大了28,后面算结果那里要右移回去。后面就是一个暴力for循环,全部遍历把数据塞进去ncnn::Mat就完了。但这里我还想放一下GRAY2RGB的代码,看下很值得注意的细节。
static Mat from_gray2rgb(const unsigned char* gray, int w, int h)
{Mat m(w, h, 3);if (m.empty())return m;float* ptr0 = m.channel(0);float* ptr1 = m.channel(1);float* ptr2 = m.channel(2);int size = w * h;int remain = size;for (; remain>0; remain--){*ptr0 = *gray;*ptr1 = *gray;*ptr2 = *gray;gray++;ptr0++;ptr1++;ptr2++;}return m;
}
从这个可以看出来,获取ncnn::Mat的三个通道的数据,是要用channel索引出来的,这里就是一个需要留意的点,ncnn::Mat的数据存储,channel间的需要对齐,不一定是连续的,也就是不要理所当然的用channel(0)的指针,自己加加加想去访问其他channel的数据,很容易翻车(我就因为这个翻车过),这个我们后面有时间可以好好写一写ncnn的数据排布。
三、substract_mean_normalize
substract_mean_normalize的源码在mat.cpp的第25行,这个代码是支持只mean不norm,只norm不mean,mean和norm都做得,由于这些都大同小异,我就直接贴都做mean和norm的代码了:
void Mat::substract_mean_normalize(const float* mean_vals, const float* norm_vals)
{int size = w * h;for (int q = 0; q < c; q++){float* ptr = data + cstep * q;const float mean = mean_vals[q];const float norm = norm_vals[q];int remain = size;for (; remain > 0; remain--){*ptr = (*ptr - mean) * norm;ptr++;}}
}
上面比较核心的就一句:
*ptr = (*ptr - mean) * norm;
就是遍历Mat的所有数据,给他减mean乘norm,要注意这里是乘norm,不是一般说的除方差,方差的倒数才是这里的norm。
参考&致谢:
https://zhuanlan.zhihu.com/p/456238585