TVM:Linux源码编译安装
笔者环境:
OS:Ubuntu 18.04
CMake:3.10.2
gcc:7.5.0
cuda:11.1
编译安装过程总览
本文将简介 tvm 的编译安装过程,包含两个步骤:
- 通过C++代码构建共享库
- 设置相关的语言包(如Python包)
源码获取
官网教程提供了两种源码获取方式:
-
通过下载页面直接下载
-
通过 github 仓库来下载
git clone --recursive https://github.com/apache/tvm tvm
注意一定要有
--recursive
参数,保证子模块正常下载。
构建共享库
构建 tvm 共享库,在我们 Linux 系统上即 libtvm.so
和 libtvmruntime.so
。也可以只构建运行时库 libtvmruntime.so
,在要被部署的远程边缘设备(如树莓派、移动手机等)上,我们通常只需要安装运行时库。这也会在后面介绍远程边缘部署时提到。总之现在,在我们的主机上,我们先完全安装 tvm。
准备工作
官方给出的安装 tvm 的最小要求如下:
- 一个支持C++ 14 的编译器 (如g+±5 or higher)
- CMake 3.5 or higher
- 强烈建议安装 llvm
- Python 3.7 / 3.8 (Python 3.9 暂不支持)
- 如果要使用CUDA,CUDA toolkit version >= 8.0
安装最小依赖
安装上述最小要求的命令(ubuntu / debian):
sudo apt-get update
sudo apt-get install -y python3 python3-dev python3-setuptools gcc libtinfo-dev zlib1g-dev build-essential cmake libedit-dev libxml2-dev
检查一下CMake,如果没有的话,到该下载页面下载。
llvm
llvm 虽然不是强制要求,但我们通常都是需要的,强烈建议大家安装。过程也很简单,从这个下载页面选择适合我们设备和系统的 pre-built 版本(压缩文件 .xz
)下载并解压即可:
wget http://releases.llvm.org/x.x.x/clang+llvm-x.x.x-x86_64-linux-gnu-ubuntu-xx.xx.tar.xztar -xf clang+llvm-x.x.x-x86_64-linux-gnu-ubuntu-xx.xx.tar.xz
解压完成后进入解压目录,找到 bin 目录下的 llvm-config
文件,记下其路径,一会儿要用。
开始编译构建
准备工作完成之后我们开始编译构建。
首先进入到我们刚才下载的 tvm 源码目录下,新建 build 目录,将 cmake 目录下的 config.cmake
拷贝的 build 目录下:
cd tvm
mkdir build
cp cmake/config.cmake build/
然后按需修改 config.cmake
文件:
-
如果要时候用某些后端和库(如CUDA, OpenCL, RCOM, METAL, VULKAN,等)。这里以CUDA为例,将
set(USE_CUDA OFF)
修改为set(USE_CUDA ON)
,其他库同理。 -
为了帮助调试,需要启用嵌入式图形执行器和调试功能
set(USE_GRAPH_DEBUG ON)
、set(USE_PROFILER ON)
-
如果要调试 IR,要启用
set(USE_RELAY_DEBUG ON)
,并设置环境变量:export TVM_LOG_DEBUG="ir/transform.cc=1;relay/ir/transform.cc=1"
-
使用 LLVM,这里要使用到我们刚才记下的 LLVM 路径了,设置
set(USE_LLVM /path/to/your/llvm/bin/llvm-config)
config.cmake
修改完成后,我们开始构建 tvm 及相关库:
cd build
cmake ..
make -j4
Python 包
Python 会根据环境变量 PYTHONPATH
寻找库文件,在 ~/.bashrc
中设置这个环境变量,其中 /path/to/tvm
是上文 tvm 目录的绝对路径。
export TVM_HOME=/path/to/tvm
export PYTHONPATH=$TVM_HOME/python:${PYTHONPATH}
python 依赖安装
-
必需依赖
pip3 install --user numpy decorator attrs
-
如果要使用 RPC 追踪器
pip3 install --user tornado
-
如果要使用 auto-tuning 模块
pip3 install --user tornado psutil xgboost cloudpickle
测试
这里我们用 Google Test 来进行测试,首先先安装 GTest(不要和 tvm 装在一起,建议另找一个目录):
git clone https://github.com/google/googletest
cd googletest
mkdir build
cd build
cmake -DBUILD_SHARED_LIBS=ON ..
make
sudo make install
安装完成后,在 tvm 安装目录下执行测试:
./tests/scripts/task_cpp_unittest.sh
顺利完成无报错的话,即告 tvm 安装完成。
Ref:
https://tvm.apache.org/docs/install/from_source.html#developers-get-source-from-github