1 mmdetection 学习建议

1.1 mmdetection 学习的第一件事

对于任何一个开源框架，找到 GitHub 地址后第一件事情应该是阅读 docs。

MMDetection 2.26.0 文档中文版：https://mmdetection.readthedocs.io/zh_CN/latest/index.html

Tip：目前 MMDetection 实现的算法中主要包括 one-stage 和 two-stage 算法，而 two-stage 算法可以简单认为是 one-stage + pool + one-stage 步骤。

1.2 mmdetection学习路线图

1.2.1 优先看的两个库

简单来说学习 MMDetection 主要是学习两个库：MMCV 和 MMDectection，

MMCV 是面向整个OpenMMLab所有的开源库，均为通用类和工具类，方便下游各个 codebase 复用

1.2.2 阅读代码

在打好基础后，下一步就是深入阅读源码。

由于模型训练过程涉及的内容比较复杂，建议按照如下顺序进行学习：

1.2.3 代码学习步骤

先选择经典算法对前向过程进行深入分析，阅读部分主要包括 DataLoader 构建过程、数据前处理流程、Backbone、Neck、Head 和后处理模块。重点是理解网络输出形式以及后处理的具体步骤，暂时忽略 loss 计算部分。

1.2.4 建议优先学习的两个目标检测模型代码

本阶段目标：充分理解 RetinaNet 和 Faster R-CNN 的前向推理流程

① 优先阅读one-stage模型RetinaNet，多看几遍 RetinaNet 算法后，对 MMDetection 算法的实现方式就会有一个非常清晰的认识。

链接地址：https://zhuanlan.zhihu.com/p/346198300

② 深入阅读 Faster R-CNN 算法

以上两个经典算法可以说是后续所有算法的 baseline，后续大部分算法都或多或少的继承了这个算法，同时实现方式也是非常类似。

1.2.5 loss计算流程的攻坚克难

充分理解前向推理流程后，下一步深入阅读训练过程中 loss 计算流程了，重点关注正负样本定义规则、bbox 编解码规则和 loss 计算函数。

阅读顺序：深入理解 RetinaNet 后，再看 Faster R-CNN。

1.3 遇到问题如何求助

①在阅读过程中，可以再次去查看知乎相关源码解读文章，对照看，多看几遍，应该会加快理解。

②存在问题，去github的issue查找

③如果在阅读过程中有疑问，可以在社区中提问

2 Anaconda3下的安装教程（mmdet+mmdet3d）

MMDetection是MMLab家族的一员，是由香港中文大学和商汤科技共同推出的，以一个统一的架构支撑了15个大方向的研究领域。MMDetection依赖Pytorch和MMCV，因此安装之前需要先安装这两个库。

1.1 Anaconda虚拟环境搭建

conda create -n mmlab python=3.6
# 然后切换到该环境下
activate mmlab

1.2 Pytorch安装

# 注意根据自己电脑的CUDA版本选择。在命令行运行nvcc -V查看当前cuda版本：
nvcc -V
# 当前（2021.10.23）MMCV最新仅支持到pytorch-1.9，安装最新的pytorch1.10会导致MMDetection无法使用，因此安装的时候需要指定pytorch版本为1.9。
conda install pytorch==1.9.1 torchvision torchaudio cudatoolkit=10.2 -c pytorch
# 验证pytorch安装成功：
python

1.3 MMCV安装

MMCV有两mmcv-full和mmcv两个版本，两者差别在于是否包含CUDA操作，如果不需要使用CUDA可以安装mmcv，不过官方还是推荐安装完整版的mmcv-full。

pip install mmcv-full# 如果处于服务器这类无法联网的环境，可以参照官方说明使用源码安装
# https://mmcv.readthedocs.io/en/latest/get_started/build.html

1.4 MMDetection安装

# ①：首先从github上下载mmdetection的源码，然后根据requirements.txt安装所需的依赖库，最后执行setup.py安装mmdetection
git clone https://github.com/open-mmlab/mmdetection.git
cd mmdetection
pip install -r requirements.txt
python setup.py develop# 使用官方Demo验证安装是否成功，位于./demo文件夹下。
# 先新建一个demo_test工程，下载预训练模型（下载链接）放至test_demo\checkpoints文件下，新建main.py并运行：

main.py

import osfrom mmdet.apis import init_detector, inference_detectordef demo_mmdet():base_dir = r'D:\Program Files\Third_Part_Lib\mmdetection'       # mmdetection的安装目录config_file = os.path.join(base_dir, r'configs\faster_rcnn\faster_rcnn_r50_fpn_1x_coco.py')# download the checkpoint from model zoo and put it in `checkpoints/`# url: https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pthcheckpoint_file = r'checkpoints\faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth'# 根据配置文件和 checkpoint 文件构建模型model = init_detector(config_file, checkpoint_file, device='cuda:0')# 测试单张图片并展示结果img = os.path.join(base_dir, r'demo\demo.jpg') # 或者 img = mmcv.imread(img)，这样图片仅会被读一次result = inference_detector(model, img)# 在一个新的窗口中将结果可视化model.show_result(img, result, out_file=None, show=True)if __name__ == '__main__':demo_mmdet()

运行成功效果如下：

1.5 MMDetection3D安装

MMDetection3D依赖MMSegmentation，先安装MMSegmentation：

git clone https://github.com/open-mmlab/mmsegmentation.git
cd mmsegmentation
pip install -r requirements.txt
python setup.py develop

然后再安装MMDetection3D，这一步编译时间可能会久一点

git clone https://github.com/open-mmlab/mmdetection3d.git
cd mmdetection3d
pip install -r requirements.txt
python setup.py develop

最后再利用官方提供的Demo，先下载预训练模型（下载链接）放至test_demo\checkpoints文件下，然后运行下面代码：

import os
from mmdet3d.apis import inference_detector, init_model, show_result_meshlabdef demo_mmdet3d():base_dir = r'D:\Program Files\Third_Part_Lib\mmdetection3d'  # mmdetection3d的安装目录config_file = os.path.join(base_dir, r'configs\second/hv_second_secfpn_6x8_80e_kitti-3d-car.py')# download the checkpoint from model zoo and put it in `checkpoints/`# url: https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pthcheckpoint_file = r'checkpoints\hv_second_secfpn_6x8_80e_kitti-3d-car_20200620_230238-393f000c.pth'# build the model from a config file and a checkpoint filemodel = init_model(config_file, checkpoint_file, device='cuda:0')# test a single binpcd = os.path.join(base_dir, r'demo/data/kitti/kitti_000008.bin')result, data = inference_detector(model, pcd)# show the resultsshow_result_meshlab(data,result,'',0,show=True,snapshot=False,task='det')if __name__ == '__main__':demo_mmdet3d()

运行成功效果如下：