一 问题背景
瑞芯微RK3588等嵌入式板作为边缘端设备为算法模型的部署提供了便利，目前很多分类或好检测模型针对边缘端做了优化或量化，使得在边缘端也能达到实时稳定的识别和检测效果。
但嵌入式设备普遍的flash emmc不大，一般在32G左右，如果在嵌入式设备进行大量的编译操作很容易空间不足。通过交叉编译的方式避免文件包在嵌入式上编译，可以通过在x86 PC端等进行交叉编译，然后将编译好的文件夹拷贝到ARM设备平台上。
交叉编译是指在一台计算机上生成目标平台的可执行程序。通常情况下，我们在开发软件时会在同一平台上编译、运行程序，但有时候需要将程序部署到不同体系结构或操作系统的设备上运行，这就需要使用交叉编译工具链来生成适用于目标平台的可执行文件。常见的应用场景包括在开发嵌入式系统、移动应用程序或跨平台软件时进行交叉编译。
二 问题描述
需要将一个类似于CNStream的框架移植到RK3588板子上，跑通示例模型，其中需要用到交叉编译后的带ffmeg的opencv,读取示例MP4视频，作为模型算法输入数据，完成框架移植与测试。
三 环境准备
-linux系统：unbuntu18.04 X86_64
-rk3588软件包：rknn-toolkit2:1.5.2-cp36
-交叉编译工具：gcc-arm-10.3-2021.07-x86_64-aarch64-none-linux-gnu
-硬件平台：寒武纪MLU270
1 创建docker虚拟环境
docker创建命令如下：
docker run -it --privileged --name NewF3588 -p 35886:22 -v /home/lc/hang/rk3588:/workspace/hang/rk3588 rknn-toolkit2:1.5.2-cp36 /bin/bash2 搭建交叉编译环境
step1：交叉编译工具链下载
下载交叉编译工具链，将交叉编译工具放置在docker虚拟环境中，比如/opt目录下改名gcc-arm-10.3-2021.07-x86_64-aarch64-none-linux-gnu为aarch64-rockchip-linux-gnu
step2： 设置交叉编译环境变量
关于linux下环境变量的设置，可看此处博文https://blog.csdn.net/xishining/article/details/119283522
通过vim ~/.bashrc命令打开环境变量配置文件，主要是添加lib、lib64余bin文件
在文件最后添加：
export LD_LIBRARY_PATH=/opt/aarch64-rockchip-linux-gnu/lib:/opt/aarch64-rockchip-linux-gnu/lib64:$LD_LIBRARY_PATHexport PATH=$PATH:/opt/aarch64-rockchip-linux-gnu/bin添加后保存并 source ~/.bashrc
验证交叉编译环境是否搭建成功，在任意目录执行命令：
aarch64-none-linux-gnu-gcc -v
若返回gcc版本号，则表示成功。
四 源码下载与安装
1 两个必要的软件包
apt-get install build-essential pkg-config2 cmake3.23.0
https://cmake.org/download/
http:// https://cmake.org/download/
3 opencv-4.5.1
https://opencv.org/releases/page/2/http:// https://opencv.org/releases/page/2/
4 opencv_contrib-4.5.1
https://github.com/opencv/opencv_contrib/releases/tag/4.5.1http:// https://github.com/opencv/opencv_contrib/releases/tag/4.5.1
5 ffmpeg-4.2.9
https://ffmpeg.org/download.html#releaseshttp:// https://ffmpeg.org/download.html#releases
以上软件下载源码后，解压至/opt目录下，并先创键/arm/fffmpeginstall夹用于后续存放ffmeg相关配置文件
五 源码编译
1 cmake源码编译
cmake --version检查是否安装成功
2 ffmepg交叉编译
#在/opt目录下依次执行以下命令：cd ffmpeg-4.2.9#不带x264的ffmpeg编译
#注意修改--cross-prefix，--cc，--cxx，--prefix为自己相关文件路径，其他不变
./configure --enable-cross-compile --target-os=linux --arch=aarch64 \
--cross-prefix=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu- \
--cc=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-gcc \
--cxx=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-g++ \
--prefix=/opt/arm/fffmpeginstall \
--disable-asm --enable-parsers --disable-decoders --enable-decoder=h264 --disable-debug --enable-ffmpeg --enable-shared --disable-static --disable-stripping --disable-doc#带x264的ffmpeg编译
./configure --enable-cross-compile --target-os=linux --arch=aarch64 \
--cross-prefix=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu- \
--cc=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-gcc \
--cxx=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-g++ \
--prefix=/opt/arm/fffmpeginstall \
--extra-cflags=-I/opt/arm/fffmpeginstall/include \
--extra-ldflags=-L/opt/arm/fffmpeginstall/lib \
--disable-asm --enable-parsers --disable-decoders --enable-decoder=h264 --disable-debug --enable-ffmpeg --enable-shared --disable-static --disable-stripping --disable-doc --enable-libx264 --enable-gpl执行make命令编译，并查看是否编译成功，有无报错。
make -j$(nproc)make install然后进入你的--prefix目录，查看生成的文件（bin,include,lib,share）
在/opt/arm/fffmpeginstall//bin目录下执行，file libavcodec.so.60.35.100命令，若出现aarch64则表示ffmpeg交叉编译成功
设置ffmpeg的环境变量（这里是设置的临时的环境变量）：
export PKG_CONFIG_PATH=/opt/arm/fffmpeginstall/lib/pkgconfig$PKG_CONFIG_PATH
export PKG_CONFIG_LIBDIR=/opt/arm/fffmpeginstall/lib$PKG_CONFIG_LIBDIR
export LD_LIBRARY_PATH=/opt/arm/fffmpeginstall/lib:$LD_LIBRARY_PATH
export 查看环境变量格式是否正确进入/opt/aarch64-rockchip-linux-gnu/aarch64-none-linux-gnu/libc/usr路径下，将ffmpeg生成的文件（bin,include,lib,share目录下的文件）分别对应复制到
usr目录下bin，include，lib，share文件夹中
3 opencv&opencv_contrib交叉编译
STEP1：先把opencv_contrib源码复制到opencv源码目录下
STEP2：进入opencv源码目录，进行以下操作：
mkdir build 用于存放cmake的生成文件
mkdir install用于存放opencv交叉编译的生成文件夹，
vim tool_chain.cmake 创键交叉编译工具链文件
#修改tool_chain.cmake文件，添加以下内容（注意修改相关路径）： set( CMAKE_SYSTEM_NAME Linux ) set( CMAKE_SYSTEM_PROCESSOR aarch64 ) set( CMAKE_C_COMPILER /opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-gcc) set( CMAKE_CXX_COMPILER /opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-g++) #set( OPENCV_ENABLE_PKG_CONFIG ON) #set( CMAKE_C_FLAGS "-Wl,-rpath-link=/opt/arm/fffmpeginstall/lib") set( CMAKE_FIND_ROOT_PATH "/opt/arm/fffmpeginstall/lib" ) set( CMAKE_CXX_FLAGS "-Wl,-rpath=/opt/arm/fffmpeginstall/lib") set( CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER ) set( CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY ) set( CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY )
保存后关闭 tool_chain.cmake文件。
STEP3：进入opencv源码根目录，进入build文件夹，执行以下命令：
cmake -DCMAKE_INSTALL_PREFIX=../install \
-DOPENCV_EXTRA_MODULES_PATH=../opencv_contrib-4.5.1/modules \
-DWITH_FFMPEG=ON \
-DCMAKE_TOOLCHAIN_FILE=../toolchain.cmake ..出现ffmpeg YES 表示链接ffmpeg成功，然后执行make命令编译生成
make -j$(nproc)make install六 应用说明
一般应用：
最后在opencv源码根目录install文件夹下将include和lib里的文件分别拷贝到ARM板的/usr/include 和/usr/lib下 然后打开终端执行可执行文件即可。
本例应用：
最后在opencv源码根目录install文件夹下将include和lib里的文件分别替换框架程序原opencv源码，交叉编译并将生成的文件放到目标嵌入式板子上。
因为采用的是opnecv硬编码ffmpeg,所以需要将前文中ffmpeg编译生成的bin,include,lib,share文件夹放到目标RK3588板上。并设置临时环境变量。
#环境变量设置：
#环境变量查询命令：
echo $PATH
echo $LD_LIBRARY_PATH
echo $PKG_CONFIG_PATH
echo $PKG_CONFIG_LIBDIR#RK3588板子：
#ffmpeg库：
#在板子环境下的/opt目录下新建/arm/fffmpeginstall目录，用于放置ffmpeg的四个文件夹
export PATH=$PATH:/opt/arm/fffmpeginstall/bin
export LD_LIBRARY_PATH=/opt/arm/fffmpeginstall/lib:$LD_LIBRARY_PATH
export PKG_CONFIG_PATH=/opt/arm/fffmpeginstall/lib/pkgconfig:$PKG_CONFIG_PATH
export PKG_CONFIG_LIBDIR=/opt/arm/fffmpeginstall/lib:$PKG_CONFIG_LIBDIR
