一、实验目的
在深度学习中,往往需要从一张大图中裁剪出一张张小图,以便适应网络输入图像的尺寸,这可以通过bmcv_image_crop函数实现。 实践中,经常需要对输入图像的尺寸进行调整,以适用于网络输入图片尺寸,这可以通过bmcv提供的resize函数实现。目标检测时需要将检测到的目标位置用矩形框出来,这可以通过bmcv_image_draw_rectangle函数实现。本实验的目的是掌握算能的BMCV函数bmcv_image_crop, bmcv_image_resize,bmcv_image_draw_rectangle的使用方法。
二、实验内容
编写bmcv代码,调用bmcv_image_crop, bmcv_image_resize函数实现图片裁剪及尺寸的变换,调用bmcv_image_draw_rectangle函数来在指定的位置上画矩形框。
三、开发环境
开发主机:Ubuntu 22.04 LTS
硬件:算能SE5
本地如果有SE5硬件,则可以PC机作为客户端,SE5作为服务器端。本地如果没有SE5硬件,只有云空间,则可以直接将客户端和服务器端都通过云空间实现,机在云空间的SE5模拟环境中实现。
四、实验器材
开发主机 + 云平台
五、实验过程与结论
本实验涉及的程序框架与实验4的图4-1一致,仅需根据具体调用的API函数配置相关参数即可,因此接下来重点介绍API函数的参数及其调用方法。
BMCV关键函数介绍-bmcv_image_crop
算能BMCV提供了bmcv_image_crop,方便根据需要裁剪所需数量、大小的图,具体函数形式如下:
bm_status_t bmcv_image_crop(bm_handle_t handle, //句柄int crop_num,bmcv_rect_t* rects,bm_image input,bm_image* output)
函数的接口中,crop_num为需要裁剪出的小图数量,input 指针指向输入图像,即 bm_image 对象;output指向输出图像,rects指针指向bmcv_rect_t的结构体,表示裁剪相关的信息,包括起始坐标、crop 宽高。该指针指向了若干个crop 框的信息,框的个数由crop_num 决定。
返回值bm_status_t为BM_SUCCESS则表示裁剪成功,否则为失败。
bmcv_rect_t结构体的格式如下所示:
Typedef struct bmcv_rect{int start_x; // 起始横坐标int start_y; // 起始纵坐标int crop_x; // 输出图像宽度int crop_y; // 输出图像高度
} bmcv_rect_t;
代码调用方式如下:
//配置crop矩形的相关信息
bmcv_rect_t crop_attr;
crop_attr.start_x = 0;
crop_attr.start_y = 0;
crop_attr.crop_w = 600;
crop_attr.crop_h = 600;
bm_image input, output;
//input, output的创建代码省略
//代码主要框架参考实验4
bmcv_image_crop(handle,1,&crop_attr,input,&output)
算能BMCV提供了bmcv_image_resize,方便对输入的若干张图片进行尺寸调整,或者在一张大图上进行抠图并进行尺寸调整,具体函数形式如下:
bm_status_t bmcv_image_resize(bm_handle_t handle, // bm_handle句柄int input_num,bmcv_resize_image resize_attr[4],bm_image* input,bm_image* output)
函数参数中,返回值为BM_SUCCESS表明尺寸调整成功,否则为失败;
在调用bmcv_image_resize() 之前必须确保输入的image 内存已经申请。支持最大尺寸为2048*2048,最小尺寸为16*16,最大缩放比为32。
input 和output参数为指向输入/输出 bm_image 对象的指针。每个bm_image 需要外部调用bmcv_image_create 创建。image内存可以使用bm_image_alloc_dev_ mem 或者bm_image_copy_host_to_device 来开辟新的内存,或者使用bmcv_ image_attach 来attach 已有的内存,在输出时如无分配将在api 内部自行分配。
image_num 表示输入待调整尺寸的图片数,最多支持4张,如果input_num > 1, 那么多个输入图像必须是连续存储的(可以使用bm_image_alloc_contiguous_mem 给多张图申请连续空间);resize_attr[4]为每张图片对应的 resize 参数, 最多支持 4 张图片,其类型为bmcv_resize_image结构体。
bmcv_resize_image描述了一张图中resize 配置信息,其具体格式如下:
typedef struct bmcv_resize_image_s{bmcv_resize_t *resize_img_attr;int roi_num;unsigned char stretch_fit;unsigned char padding_b;unsigned char padding_g;unsigned char padding_r;unsigned int interpolation;
}bmcv_resize_image;
其中,roi_num 描述了一副图中需要进行resize 的子图总个数;stretch_fit 表示是否按照原图比例对图片进行缩放,1 表示无需按照原图比例进行缩放,0表示按照原图比例进行缩放,当采用这种方式的时候,结果图片中未进行缩放的地方将会被填充成特定值;padding_r,padding_g, padding_b 表示当stretch_fit 设成0的情况下,rgb通道上被填充的值; interpolation 表示缩图所使用的算法, 设为BMCV_INTER_NEAREST 表示最近邻算法,设为BMCV_INTER_LINEAR 表示线性插值算法。
resize_img_attr为bmcv_resize_t结构体类型的指针,其具体内容如下所示:
typedef struct bmcv_resize_s{int start_x;int start_y;int in_width;int in_height;int out_width;int out_height;
}bmcv_resize_t;
其中,start_x 描述了resize 起始横坐标(相对于原图),常用于抠图功能, start_y 描述了resize 起始纵坐标(相对于原图),常用于抠图功能;in_width, in_height描述了crop 图像的宽和高。out_width 和out_height描述了输出图像的宽和高。
函数调用方式如下:
int image_num = 1;
int crop_w = 400, crop_h = 400;
int resize_w = 400, resize_h = 400;
int image_w = 1000, image_h = 1000;
int img_size_i = image_w * image_h * 3;
int img_size_o = resize_w * resize_h * 3;bmcv_resize_image resize_attr[image_num];
bmcv_resize_t resize_img_attr[image_num];for (int img_idx = 0; img_idx < image_num; img_idx++) {resize_img_attr[img_idx].start_x = 0; //抠图的起始横坐标resize_img_attr[img_idx].start_y = 0; //抠图的起始纵坐标resize_img_attr[img_idx].in_width = crop_w; //抠图的宽resize_img_attr[img_idx].in_height = crop_h; //抠图的高resize_img_attr[img_idx].out_width = resize_w; //输出的宽resize_img_attr[img_idx].out_height = resize_h; //输出的高
}for (int img_idx = 0; img_idx < image_num; img_idx++) {resize_attr[img_idx].resize_img_attr = &resize_img_attr[img_idx];resize_attr[img_idx].roi_num = 1;resize_attr[img_idx].stretch_fit = 1;resize_attr[img_idx].interpolation = BMCV_INTER_NEAREST;
}bm_image input[image_num];
bm_image output[image_num];cv::Mat Input,Out;
Input = cv::imread(argv[1], 0);for (int img_idx = 0; img_idx < image_num; img_idx++) {//创建输入输出图像对象,并分配空间,转化为BMI格式bmcv_image_resize(handle, image_num, resize_attr, input, output);
}
BMCV关键函数介绍-bmcv_image_draw_rectangle
算能BMCV提供了bmcv_image_draw_rectangle,以便用矩形框出感兴趣区域。具体函数形式如下:
bm_status_t bmcv_image_draw_rectangle(bm_handle_t handle,bm_image image,int rect_num,* rects,int line_width,unsigned char r,unsigned char g,unsigned char b)
其中,handle为bm_handle 句柄;image是需要在其上画矩形框的bm_image 对象;rect_num为绘制矩形数量,指rects 指针中所包含的bmcv_rect_t 对象个数;rects为指向bmcv_rect_t对象(参考bm_image_resize函数参数说明)的指针,用以表示各个框所绘制的矩形数据(宽高等);line_width表示线宽;r,g,b为所绘制线条三原色的值。
在代码中调用方式如下:
bm_image src;
//创建图像
bmcv_rect_t rect;
rect.start_x = 100;
rect.start_y = 100;
rect.crop_w = 200;
rect.crop_h = 300;//在src对应的图像对象上,画1个框,框的信息在rect对象里描述。矩形线宽为3,颜色为红色。
bmcv_image_draw_rectangle(handle,src,1,&rect,3,255,0,0);
OpenCV函数介绍
在OpenCV中,可以直接通过对图像长、宽维度进行操作,以实现图像剪裁的效果,如下所示
dst=src[200:2560,300:2062]
OpenCV提供resize函数,可以用于图像尺寸缩放,其函数接口如下所示
void resize (InputArray src,OutputArray dst,Size dsize,double fx=0, double fy=0,int interpolation=INTER_LINEAR)
其中,src是原图,dst是输出结果图,fx表达横向的放缩倍数,fy表达纵向的放缩倍数,dsize表达放缩后的图像的横和纵向长度;interpolation为插值方式。
其调用方式如下图所示。
resize(src, dst, Size(), 0.5, 0.5, interpolation);
OpenCV提供rectangle函数,以实现在输入图像img上画出一个矩形,此时矩形通过左上角的点和右下角的点坐标pt1,pt2 表示。 函数参数含义与
void cv::rectangle(InputOutputArray img,Point pt1, // 矩形框左上角点的坐标Point pt2, // 矩形框右下角点的坐标const Scalar & color, // 线的颜色int thickness = 1, // 线的宽度int lineType = LINE_8, // 线的类型int shift = 0 // 点坐标中小数位数。
)
执行结果
bmcv_crop:
执行make后上传到云平台或者SOC盒子中,即可实现对图片的裁剪。
root@06416e512cb7:/tmp/crop# chmod 777 bmcv_crop
root@06416e512cb7:/tmp/crop# ./bmcv_crop cutecat.jpeg
open /dev/jpu successfully,device index = 0, jpu fd = 8,vpp fd = 9
效果如下:
root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_resize# ls
Makefile Readme.md bmcv_resize2 bmcv_resize2.cpp bmcv_resize2.o common.h cutecat.jpeg out.jpe
bmcv_resize:
按照实验1、实验2步骤,生成可执行文件并上传到算能盒子,执行:
bmcv_resize文件夹内的文件如图所示
root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_resize# ls
Makefile Readme.md bmcv_resize2 bmcv_resize2.cpp bmcv_resize2.o common.h cutecat.jpeg out.jpeg
Greycat.jpeg如图所示
给可执行文件赋权限并执行
root@06416e512cb7:/tmp/crop# chmod 777 bmcv_resize
root@06416e512cb7:/tmp/crop# ./bmcv_resize greycat.jpeg bmcv
Open /dev/jpu successfully,device index = 0,jpu fd = 8,vpp fd = 9root@06416e512cb7:/tmp/crop# ./bmcv_resize greycat.jpeg opencv
Open /dev/jpu successfully,device index = 0,jpu fd = 4,vpp fd = 5
执行结果如下所示(生成out.jpg)
root@b3e319d8aoc8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_resize# ls
Makefile Readme.md bmcv_resize2 bmcv_resize2.cpp bmcv_resize2.o common.h cutecat.jpeg out.jpg
bmcv_drawrect:
类似地,执行画矩形框的代码,可画出矩形框,具体如下:
root@06416e512cb7 : /tmp/crop# chmod 777 bmcv_ drawrect
root@06416e512cb7:/tmp/crop# ./bmcv_drawrect greycat.jpeg bmcv
Open /dev/jpu successfully,device index = 0, jpu fd = 4,vpp fd = 5
执行结果如下所示(生成out.jpg)
root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_drawrect# ls
Makefile Readme.md bmcv_drawrect bmcv_drawrect.cpp bmcv_drawrect.o common.h cutecat.jpeg greycat.jpeg out.jpgroot@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_drawrect#
生成的结果out.jpg如上图所示。