背景:
由于手上有一块rk3568的开发板,需要运行yolov5跑深度学习模型,但是原有的opencv不能对x264格式的视频进行解码,这里就需要将ffmpeg+x264编译进opencv。
但是开发板算力有限,所以这里采用在windows下,安装ubuntu的虚拟机,在虚拟机上进行交叉编译,得到arm 版的opencv。
pc主机:windows10
虚拟机:ubuntu-18.04
目标机: armv8
目标芯片:rk3568
目标编译环境: aarch64-linux-gnu-gcc/aarch64-linux-gnu-g++
注:以下所有的环境安装都是在虚拟机上运行的,目标ARM平台需要另外安装运行环境
目录
1、安装交叉编译器和编译工具
2、下载+编译依赖的第三方软件
3、设定第三方软件统一的安装路径和编译安装软件
4、编译opencv
5、测试
1、安装交叉编译器和编译工具
sudo apt-get install g++-aarch64-linux-gnu
sudo apt-get install gcc-aarch64-linux-gnu
sudo apt-get install cmake-gui cmake
sudo apt-get install build-essential
sudo apt-get install vim
sudo apt install pkg-config
2、下载+编译依赖的第三方软件
zlib官网:http://www.zlib.net/
libjpeg下载地址:http://www.ijg.org/files/
libpng下载地址:http://www.libpng.org/pub/png/libpng.html
yasm下载地址:http://yasm.tortall.net/Download.html
x264下载地址:http://www.videolan.org/developers/x264.html
libxvid下载地址:http://ftp.br.debian.org/debian-multimedia/pool/main/x/xvidcore/
ffmpeg下载地址:http://ffmpeg.org/download.html
这里将对应的软件下载下来就行,软件版本的话,我这边选的稍微稳定的版本
软件版本我这边的截图如下:
3、设定第三方软件统一的安装路径和编译安装软件
为什么要设定安装路径?一是方便管理,当依赖的第三方软件都编译成功后,可以统一将所有的lib库文件和include
头文件复制到目标文件夹
为什么要交叉编译安装软件?因为我们要编译arm版本的opencv,该opencv依赖的第三方软件也需要是arm版本的,由于宿主主机是x86架构的,所以只能交叉编译安装
注:编译安装的命令行参数配置
--host: 指明目标平台
--prefix: 指明编译安装的位置
--enable-shared 生成动态库
--enable-static 生成静态库
声明软件的安装位置,以及目标平台使用的 c 语言编译软件平台
vim ~/.bashrc
export OPENCV_DEPEND=/usr/local/arm/opencv-depend
export OPENCV_INSTALL=/usr/local/arm/opencv-install
export CC=aarch64-linux-gnu-gcc
source ~/.bashrc
这里我将CC=aarch64-linux-gnu,这样的话,后续采用configure编译得到的Makefile文件里面的CC都会由gcc改成aarch64-linux-gnu,就不用每次都去Makefile文件里面去改相应的字段了
编译安装zlib
cd zlib-1.3.1/
./configure --prefix=$OPENCV_DEPEND --host=aarch64-linux-gnu
sudo maks && sudo make install
编译安装libjpeg
cd jpeg-8
./configure --host=aarch64-linux-gnu --prefix=$OPENCV_DEPEND --enable-shared --enable-static
sudo make && sudo make install
虽然指令写的没问题,编译也没有问题,但是我后面编译Opencv时,却找不到 ljpeg , 就算我指明了对应的库位置,也不行,所以这一步就当失败了。后面我会有解决方案解决这个问题:那就是将
编译安装libpng
cd libpng-1.4.21/
./configure --host=aarch64-linux-gnu --prefix=$OPENCV_DEPEND --enable-shared --enable-static
sudo make && sudo make install
编译安装x264
cd x264-master/
./configure --enable-shared --host=aarch64-linux-gnu --disable-asm --prefix=$OPENCV_DEPEND
sudo make && sudo make install
x264 是一个很重要的依赖,用于对 x264 编码格式的码流进行解码,我们需要将x264编译进Opencv
编译libxvid
./configure --prefix=$OPENCV_DEPEND --host=arm-linux --disable-assembly
make
make install
编译ffmpeg
./configure --prefix=$OPENCV_DEPEND --enable-shared --disable-static --enable-gpl --enable-cross-compile --arch=arm --disable-stripping --target-os=linux --enable-libx264 --enable-libxvid --cc=arm-linux-gcc --enable-swscale --extra-ldflags=-L$OPENCV_DEPEND/lib --extra-cflags=-I$OPENCV_DEPEND/include
前面已经将一些依赖的第三方软件都安装完成,现在需要将这些依赖包含的头文件include和库文件 lib,都复制到aarch64-gcc的指定路径下,方便编译opencv时能找到
sudo cp -r /usr/local/arm/$OPENCV_DEPEND/include/ /usr/aarch64-linux-gnu/include/
sudo cp -r /usr/local/arm/$OPENCV_DEPEND/lib/ /usr/aarch64-linux-gnu/lib
4、编译opencv
1、获取opencv源码,我这里的源代码版本是opencv-3.4.5
mkdir mybudild
cd mybuild
vim toolchain.cmake
将以下内容填进去
###########user defined#############
set( CMAKE_SYSTEM_NAME Linux )
set( CMAKE_SYSTEM_PROCESSOR arm )
set( CMAKE_C_COMPILER arm-none-linux-gnueabi-gcc )
set( CMAKE_CXX_COMPILER arm-none-linux-gnueabi-g++ )
###########user defined#############
set( CMAKE_FIND_ROOT_PATH "/usr/local/arm/opencv-depend" )
set( CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER )
set( CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY)
set( CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)
######################################
在新建的mybuild文件夹下键入命令cmake-gui
我的路径是 /home/rock/src/opencv-3.4.5/mybuild2
cmake-gui通过Add Entry按钮添加OPENCV_ENABLE_PKG_CONFIG,选择类型为bool并打钩
将以下内容填进去去掉 WITH_CUDA
去掉 WITH_GTK
去掉 WITH_1394
去掉 WITH_GSTREAMER
去掉 WITH_LIBV4L
去掉 WITH_TIFF
去掉 BUILD_OPENEXR
去掉 WITH_OPENEXR
去掉 BUILD_opencv_ocl
去掉 WITH_OPENCL
勾选BUILD_JPEG
这里增加勾选BUILD_JPEG刚好解决我前面编译ljpeg后,CMAKE链接不到的问题
完成后
vim CMakeCache.txt
将该行改成
CMAKE_EXE_LINKER_FLAGS_DEBUG:STRING=-lpthread -lrt
sudo make && make install
大功告成
5、测试
CMakeLists.txt内容为:
cmake_minimum_required(VERSION 3.1)
project(opencv)
SET(CMAKE_CXX_FLAGS ${CMAKE_CXX_FLAGS} "-std=c++11")
include_directories(/home/rock/opencv_test/install/include)
link_directories(/home/rock/opencv_test/install/lib)
#add_executable(opencv opencv.cpp)
add_executable(opencv opencv.cpp)
target_link_libraries(opencv /home/rock/opencv_test/install/lib/libopencv_highgui.so.3.4.5/home/rock/opencv_test/install/lib/libopencv_video.so.3.4.5/home/rock/opencv_test/install/lib/libopencv_core.so.3.4.5/home/rock/opencv_test/install/lib/libopencv_videoio.so.3.4.5 /home/rock/opencv_test/install/lib/libopencv_imgproc.so.3.4.5 /home/rock/opencv_test/install/lib/libopencv_imgcodecs.so.3.4.5)
其中opencv.cpp源代码内容为:
#include <iostream>
#include "opencv2/core/core.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include<bits/stdc++.h>
#include<arpa/inet.h>
#include<sys/socket.h>
#include<unistd.h>
#include<sys/types.h>
int main()
{struct sockaddr_in server_addr;server_addr.sin_family = AF_INET;server_addr.sin_port = htons(9123); // 服务器端口inet_pton(AF_INET, "192.168.0.111", &server_addr.sin_addr.s_addr);int sock_fd = socket(AF_INET, SOCK_DGRAM, 0);if(sock_fd < 0)perror("");cv::VideoCapture capture; capture.open("limeng.mp4");cv::Size S = cv::Size(capture.get(cv::CAP_PROP_FRAME_WIDTH),capture.get(cv::CAP_PROP_FRAME_HEIGHT));//cv::VideoWriter wri("./wri.mp4", capture.get(cv::CAP_PROP_FOURCC), 30,S, true);//cv::VideoWriter wri("./wri.mp4", cv::VideoWriter::fourcc('M', 'P', '4', 'V') , 30,S, true);cv::VideoWriter wri("./wri.mp4", cv::VideoWriter::fourcc('m', 'p', '4', 'v') , 30,S, true);if (!capture.isOpened()){std::cout << "failed to open the video" << std::endl;return -1;}cv::Mat image;//摄像头读取的图像后续会进行压缩 这里进行压缩相关配置std::vector<int> quality;quality.push_back(CV_IMWRITE_JPEG_QUALITY);quality.push_back(30);//进行50%的压缩std::vector<uchar> data_encode;int cnt = 0 ;while(1){capture >> image ; if(image.cols <= 0 || image.rows <=0) return -1;wri << image;cnt ++ ;if(cnt > 1000) return -1;//printf("%d %d \n ", image.cols , image.rows);//imencode(".jpg", image, data_encode, quality);//将图像编码//int nSize = data_encode.size();//unsigned char *encodeImg = new unsigned char[nSize];//for (int i = 0; i < nSize; i++) { encodeImg[i] = data_encode[i]; }将unsigned char * 指针变量转化为const char * 指针变量 方便进行sendto函数调用//const char* p = (const char*)(char*)encodeImg;//sendto(sock_fd, p, nSize, 0, (struct sockaddr *) &server_addr, sizeof(server_addr));
}return 0;
}
编译结果为
运行结果来看,经过交叉编译的Opencv是可以在目标arm平台上运行的