使用RV1126交叉编译工具链交叉编译opencv，c++代码直接调用VideoCapture 读取摄像头数据

使用RV1126交叉编译工具链交叉编译opencv，rv1126直接调用VideoCapture 读取摄像头数据

- 前言
- 环境
- 一、ubantu安装
- 二、交叉编译工具安装
- 三、cmake升级
- 四、ffmpeg安装
- 五、opencv安装
- 六、c++代码测试（上板运行）

前言

交叉编译是一种将软件在操作系统上进行编译，但在另一种不同的操作系统或架构上运行的技术。本文将使用Ubuntu作为主机操作系统，并将OpenCV编译为在另一个目标平台上运行的库。
经过测试，rv1126开发板上的opencv似乎安装的不够完整，没法使用高级的opencv类，导致想调用VideoCapture 函数读取摄像头数据进行模型推理失败（ps：嫌交叉编译opencv麻烦的，也可以使用Linux操作系统中用于支持摄像头和视频设备的框架：v4l2。可以比较方便的读取摄像头数据，不需要做什么配置，教程直接参考正点原子官网中的文档：https://pan.baidu.com/s/1inZtndgN-L3aVfoch2-sKA#list/path=%2F，提取码：m65i，里面有一个文档，名字是：【正点原子】I.MX6U嵌入式Linux C应用编程指南V1.1。想搞懂v4l2代码的话，建议先看第一章、第二章、第四章、第十四章的存储映射IO，最后再看第二十六章，跟着26.2写代码就可以运行，如果还想将图像实时显示到LCD屏幕上的话还需要看第十八章、二十章）。言归正传，我也根据第二十六章的教程实现了摄像头的读取，代码逻辑清晰比较简单，但是真正使用起来肯定还是没有直接opencv调库方便的，所以做了本篇博客的这件事，实现ubantu交叉编译opencv，使得编译的可执行程序在板子上可以使用opencv的高级函数，简化编程。

环境

ubuntu20.04
cmake：3.22.6
交叉编译工具：gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf
opencv：4.5.3

一、ubantu安装

本篇博客使用ubuntu20.04，镜像下载地址：https://releases.ubuntu.com/20.04/
VMWARE安装ubuntu的教程参考：
https://www.bilibili.com/video/BV1W34y1k7ge/?spm_id_from=333.337.search-card.all.click

二、交叉编译工具安装

交叉编译是一种将软件在操作系统上进行编译，但在另一种不同的操作系统或架构上运行的技术：交叉编译器使得我们在主机上能够编译出可以在嵌入式设备上运行的程序。本文的目的也就是这个，在ubuntu编译的可执行程序放到RV1126开发板运行。
下载地址：https://developer.arm.com/downloads/-/gnu-a，进入网页往下翻找到：
在这里插入图片描述
这网站可能需要梯子才能进，可以在windows中下载然后传到ubantu中（filiza、u盘）。
在/home目录中新建RV1126文件夹，将此压缩包放到此文件夹中执行以下命令解压：

 xz -d gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf.tar.xztar -xvf gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf.tar

解压完成后将此工具的bin文件夹目录写入到/.bashrc文件中,也就是设置环境变量：

sudo gedit ~/.bashrc           //编辑bash
export PATH=/home/wzq/RV1126/gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf/bin:$PATH            //将此行添加到bash的最后，注意路径要改成自己的
source ~/.bashrc           //重新执行刚修改的bash文件，使之立即生效

三、cmake升级

ubuntu自带cmake，但是版本过低，这里其实不升级应该也没有影响，但是以后如果想部署深度学习模型到rv1126的话还会用到ubuntu的，此时就有要求cmake的版本不能过低，所以这里直接升级。
下载地址：https://cmake.org/files/v3.22/
在这里插入图片描述
将此压缩包放到RV1126文件夹下，解压：

tar -zxvf cmake-3.22.6-linux-x86_64.tar.gz

接下来执行升级：

cd cmake-3.22.6-linux-x86_64
cd share
sudo cp -r cmake-3.22 /usr/share
cd ..
cd bin
sudo cp cmake /usr/bin/cmake
sync
cmake --version                       //执行这条命令看到cmake的版本是3.22.6的话就表示升级成功了。

在这里插入图片描述

四、ffmpeg安装

未安装ffmpeg的话就没法使用opencv相关读图/视频等相关功能，所以在安装opencv之前先安装ffmpeg。
下载地址：http://www.ffmpeg.org/download.html，下载3.4.13这个版本，如果能找到3.4.8最好。
在这里插入图片描述
同样将此压缩包放到RV1126文件夹下解压：

tar -zxvf ffmpeg-3.4.8.tar.gz

安装它之前需要先安装yasm汇编器，如果不装yasm的话安装过程就会报错：yasm/nasm not found or too old. Use --disable-yasm for a crippledbuild。下载地址：http://www.tortall.net/projects/yasm/releases
在这里插入图片描述
1）将yasm压缩包也放到RV1126文件夹中解压：

tar -zxvf yasm-1.3.0.tar.gz

2）进入yasm文件夹

cd yasm-1.3.0

3)配置yasm

./configure

4）编译、安装yasm

make
make install

1）yasm安装完成后进到ffmpeg-3.4.8目录下：

cd  ..
cd ffmpeg-3.4.8

2）配置ffmpeg

./configure --enable-shared --prefix=/usr/local/ffmpeg               //prefix指定安装路径

3）编译、安装ffmpeg

make
make install

安装完成之后应该可以在/usr/local/ffmpeg/目录下看到如下四个文件夹：
在这里插入图片描述
其中bin是ffmpeg主程序二进制目录，include是C/C++头文件目录，lib是编译好的库文件目录，share是文档目录。
安装完成之后需要手动将这里的lib目录链接到系统库中：

cd /etc/ld.so.conf.d 
touch ffmpeg.conf 
sudo gedit  ffmpeg.conf

在打开的文件中输入：

/usr/local/ffmpeg/lib

保存之后终端输入：ldconfig 使配置立刻生效，此时回到/usr/local/ffmpeg/bin目录中执行：

./ffmpeg -version

可以看到当前ffmpeg的版本信息：
在这里插入图片描述
最后就是设置环境变量，否则安装opencv时会找不到ffmpeg依赖：

sudo gedit /etc/profile                        //打开文件
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/ffmpeg/lib/pkgconfig                    //在打开的文件最后一行添加环境变量
source /etc/profile                   //使环境变量立刻生效

此时ffmpeg的安装才算大功告成。

五、opencv安装

下载地址：https://opencv.org/releases/
在这里插入图片描述

同样将此压缩包放到RV1126文件夹下，解压并进入：

unzip opencv-4.5.3.zip
cd opencv-4.5.3

新建build文件夹并进入：

mkdir build
cd build

此时开始cmake，如果报错说格式有问题，就把所有D后的空格删了：

cmake -D CMAKE_BUILD_TYPE=RELEASE  -D CMAKE_C_COMPILER=arm-linux-gnueabihf-gcc -D CMAKE_CXX_COMPILER=arm-linux-gnueabihf-g++ -D BUILD_SHARED_LIBS=ON -D CMAKE_CXX_FLAGS=-fPIC -D CMAKE_C_FLAGS=-fPIC -D CMAKE_EXE_LINKER_FLAGS=-lpthread -ldl -D ENABLE_PIC=ON -D WITH_1394=OFF -D WITH_ARAVIS=OFF -D WITH_ARITH_DEC=ON -D WITH_ARITH_ENC=ON -D WITH_CLP=OFF -D WITH_CUBLAS=OFF -D WITH_CUDA=OFF -D WITH_CUFFT=OFF -D WITH_FFMPEG=ON -D WITH_GSTREAMER=ON -D WITH_GSTREAMER_0_10=OFF -D WITH_HALIDE=OFF -D WITH_HPX=OFF -D WITH_IMGCODEC_HDR=ON -D WITH_IMGCODEC_PXM=ON -D WITH_IMGCODEC_SUNRASTER=ON -D WITH_INF_ENGINE=OFF -D WITH_IPP=OFF -D WITH_ITT=OFF -D WITH_JASPER=ON -D WITH_JPEG=ON -D WITH_LAPACK=ON -D WITH_LIBREALSENSE=OFF -D WITH_NVCUVID=OFF -D WITH_OPENCL=OFF -D WITH_OPENCLAMDBLAS=OFF -D WITH_OPENCLAMDFFT=OFF -D WITH_OPENCL_SVM=OFF -D WITH_OPENEXR=OFF -D WITH_OPENGL=OFF -D WITH_OPENMP=OFF -D WITH_OPENNNI=OFF -D WITH_OPENNNI2=OFF -D WITH_OPENVX=OFF -D WITH_PNG=OFF -D WITH_PROTOBUF=OFF -D WITH_PTHREADS_PF=ON -D WITH_PVAPI=OFF -D WITH_QT=OFF -D WITH_QUIRC=OFF  -D WITH_TBB=OFF -D WITH_TIFF=ON -D WITH_VULKAN=OFF -D WITH_WEBP=ON -D WITH_XIMEA=OFF -D CMAKE_INSTALL_PREFIX=./outputarm  -D WITH_GTK=OFF ..

cmake成功之后可以看到终端会有输出，如果是以下这两种情况，那就表明opencv可以执行读取视频的操作：
情况①
在这里插入图片描述
情况②

如果是下面这种情况，表面安装过程有错误，或者是安装的一些东西版本不兼容：

如果是上面这种全是no的情况，还有一种方法可以试试：将/usr/local/ffmpeg/lib/pkgconfig目录下的pc文件复制到/usr/local/lib/pkgconfig目录下，不过我有试过一次，是不行的，所以最好还是在前面的安装步骤自信一点，争取安装完就有前两种情况之一。
上面成功之后开始编译和安装：

sudo make -j4
sudo make install

成功之后就大功告成了。接下来写一个简单的c++代码进行测试！

六、c++代码测试（上板运行）

这里写一个简单的代码进行测试，按下键盘的enter键拍照。
home目录下新建test文件并进入:

mkdir test
cd test

新建test.cpp和CMakeLists.txt文件：

touch test.cpp
touch CMakeLists.txt

test.cpp内容如下：

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/opencv.hpp>using namespace std;int main() {// 打开摄像头cv::VideoCapture cap(25);if (!cap.isOpened()) {cerr << "Error: Failed to open camera" << endl;return -1;}// 获取摄像头的分辨率int frameWidth = cap.get(cv::CAP_PROP_FRAME_WIDTH);int frameHeight = cap.get(cv::CAP_PROP_FRAME_HEIGHT);cout << "Camera resolution: " << frameWidth << "x" << frameHeight << endl;// 创建窗口cv::namedWindow("Camera", cv::WINDOW_NORMAL);// 读取图像并显示，等待按下 Enter 键拍照while (true) {cv::Mat frame;cap >> frame; // 读取一帧图像// 检查图像是否读取成功if (frame.empty()) {cerr << "Error: Failed to capture frame" << endl;//break;return 0;}// 检查是否按下 Enter 键int key = cv::waitKey(1);if (key == 13) { // 13 表示 Enter 键的 ASCII 码// 拍照并保存照片string filename = "photo.jpg";cv::imwrite(filename, frame);cout << "Photo saved as " << filename << endl;break; // 退出循环}}// 关闭摄像头cap.release();return 0;
}

CMakeLists.txt文件内容如下：

CMAKE_MINIMUM_REQUIRED(VERSION 3.22) #指定CMake编译最低要求版本PROJECT(test) #给项目命名set(CMAKE_SYSTEM_NAME Linux)# 设置opencv路径
SET(OpenCV_LIBS  /home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/)
SET(OpenCV_INCLUDE_DIRS /home/wzq/RV1126/opencv-4.5.3/build/outputarm/include/opencv4/) set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -s -O3")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11 -s -O3")#指定头文件目录
INCLUDE_DIRECTORIES(${OpenCV_INCLUDE_DIRS})#find_library(FUNC_LIB opencv_core /home/wzq/test/lib)#FILE(GLOB SRC_LIST_CPP ${PROJECT_SOURCE_DIR}/*.cpp)
#FILE(GLOB SRC_LIST_C ${PROJECT_SOURCE_DIR}/*.c)ADD_EXECUTABLE(test test.cpp)# 设置lib绝对路径库链接
link_directories(${OpenCV_LIBS})
target_link_libraries(test /home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_core.so/home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_imgproc.so/home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_highgui.so/home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_imgcodecs.so/home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_videoio.so#${FUNC_LIB})

新建build文件夹并进入：

mkdir build
cd build

执行cmake，此时使用的就是交叉编译！再编译。

cmake  -D CMAKE_CXX_COMPILER=arm-linux-gnueabihf-g++  -D CMAKE_C_COMPILER=arm-linux-gnueabihf-gcc ..
make

此时成功的话会在build文件夹中生成一个可执行文件test！
要想在板子上可以运行这个可执行文件，还需要把用到的opencv库一并拷贝到板子上，这里就不选择了，直接把前面安装的opencv的所有库都复制上去，将build文件夹的内容也拷贝出来，opencv库的路径如下：
在这里插入图片描述
最终上板运行的文件内容如下：

红色是可执行程序，蓝色是build文件夹的文件，其余的就是opencv库。

上板运行
将代码传至开发板的方法有多种：
①adb
②挂载（nfs）
③远程登陆
不管使用哪种，只要能把此文件夹传至开发板端即可。进入代码文件夹：

chmod 777 test          //给予可执行权限
./test          //运行代码

此时按下enter键即可将当前摄像头画面保存为jpg文件，在当前目录下。