【点云配准】【深度学习】Windows11下PCRNet代码Pytorch实现与源码讲解

提示:最近开始在【点云配准】方面进行研究,记录相关知识点,分享学习中遇到的问题已经解决的方法。

文章目录

【点云配准】【深度学习】Windows11下PCRNet代码Pytorch实现与源码讲解
前言
PCRNet模型运行环境搭建
PCRNet模型运行
- 数据集与模型权重下载
- PFNet训练与测试
总结

前言

PCRNet是由卡内基梅隆大学的Sarode, Vinit等人在《PCRNet: Point Cloud Registration Network using PointNet Encoding【2019】》【论文地址】一文中提出的模型，使用PointNet对点云提取全局特征，不需要计算点云之间的一一对应关系，快速实现了点云的配准。
在详细解析PCRNet网络之前，首要任务是搭建PCRNet【Pytorch-demo地址】所需的运行环境，并完成模型训练和测试工作，展开后续工作才有意义。

博文使用的代码是其他作者用pytorch改写的，非原论文作者源码

PCRNet模型运行环境搭建

在win11环境下安装anaconda环境参考，方便搭建专用于PCRNet模型的虚拟环境。

查看主机支持的cuda版本(最高)

# 打开cmd,执行下面的指令查看CUDA版本号
nvidia-smi

安装GPU版本的torch【官网】，PyTorch的cuda版本与系统自带的cuda版本必须一致。
其他cuda版本的torch在【以前版本】找对应的安装命令。

博主安装环境参考

# 创建虚拟环境
conda create -n PCRNet python==3.10
# 查看新环境是否安装成功
conda env list
# 激活环境
activate PCRNet
# githup下载MiVOS源代码到适合目录内,解压文件
# 分别安装pytorch和torchvision
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 通过清华源安装PCRNet所需的第三方包(博主这里因为已经安装了torch,因此删除了requirements中的的torch==1.4.0)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# 安装open3d,这里适合博主的是0.9以上
python -m pip install open3d==0.16
# 安装自定义的包emd loss
cd loss/cuda/emd_torch & python setup.py install
# 查看所有安装的包
pip list
conda list

安装自定义的包 emd loss 过程中可能出现的问题

解决方法：只安装了CUDA的运行环境，需要再安装开发环境，因此按照下图进行了安装。

正确安装成功

部分错误的解决可能需要安装ninja【参考】，但是也会引入新的错误，博主在安装 emd loss 过程中不需要安装ninja。

PCRNet模型运行

数据集与模型权重下载

名称	下载地址	说明
modelnet40数据集	【下载地址】	ModelNet40是一个常用的三维物体识别数据集，用于训练和评估三维深度学习模型。
预训练模型权重	【Complete: c4z7】【Paritial: pcno】	在modelnet40数据集训练好的权重

将下载好的modelnet40数据集解压并拷贝到当前工程目录下(建议)，这里博主对数据集文件夹进行了重命名。

将下载好的预训练权重(训练好的)拷贝到当前工程目录下(建议)，这里博主对预训练权重文件进行了重命名。

PFNet训练与测试

训练：可以根据硬件条件修改代码中部分训练参数epochs和batch-size修改训练次数和训练的batchsize等，详细的代码内容将在后续博文中介绍。
```
# 源码参考命令 root:数据集的位置 CUDA_VISIBLE_DEVICES:使用gpu 0
CUDA_VISIBLE_DEVICES=0 python modelnet40_train.py --root your_data_path/modelnet40_ply_hdf5_2048
# 博主执行命令 root的modelnet40_ply_hdf5_2048是原始文件名,博主这里是因为重命名
python modelnet40_train.py --root modelnet40 
```
windows下在custom_train.py文件开头添加os.environ[‘CUDA_VISIBLE_DEVICES’] =‘0’，不在命令行使用CUDA_VISIBLE_DEVICES=0。

正在训练：

训练权重保存在work_dirs\models\checkpoints目录下，分别单独保存三个指标下最理想的权重文件：

测试：分别对比了深度学习模型配准、icp配准和fgr配准方法。

# 深度学习模型配准
# 源码参考命令 root:数据集的位置 checkpoint:预训练权重的位置 cuda:使用cuda
python modelnet40_evaluate.py --root your_data_path/modelnet40_ply_hdf5_2048 --checkpoint your_ckpt_path/test_min_loss.pth --cuda
# 博主执行命令 root的modelnet40_ply_hdf5_2048是原始文件名,博主这里是因为重命名了,checkpoint同理
python modelnet40_evaluate.py --root modelnet40 --checkpoint Complete_test_min_loss.pth --cuda

# 深度学习模型配准
# 源码参考命令,root:数据集的位置 checkpoint:预训练权重的位置 show:展示结果
python modelnet40_evaluate.py --root your_data_path/modelnet40_ply_hdf5_2048 --checkpoint your_ckpt_path/test_min_loss.pth --show
# 博主执行命令,root的modelnet40_ply_hdf5_2048是原始文件名,博主这里是因为重命名了,checkpoint同理
python modelnet40_evaluate.py --root modelnet40 --checkpoint Complete_test_min_loss.pth --show

其中绿色点云为源点云，红色点云为参照点云，蓝色点云为配准后的源点云，可以看到蓝色点云与红色点云完全对齐，这表明训练效果极佳。

上述俩个指令的没有什么区别，下面命令只是可视化展现了每个点云的配准效果。

# icp配准
# 源码参考命令,root:数据集的位置 method:使用的方法(默认是深度学习的)
python modelnet40_evaluate.py --root your_data_path/modelnet40_ply_hdf5_2048 --method icp
# 博主执行命令,root的modelnet40_ply_hdf5_2048是原始文件名,博主这里是因为重命名了,checkpoint同理
python modelnet40_evaluate.py --root modelnet40 --method icp

# icp配准
# 博主执行命令,root的modelnet40_ply_hdf5_2048是原始文件名,博主这里是因为重命名了,checkpoint同理
python modelnet40_evaluate.py --root modelnet40 --method icp --show

可以看到蓝色点云与红色点云没有完全对齐，这表明效果不是很理想。

# fgr配准
# 源码参考命令,root:数据集的位置 method:使用的方法(默认是深度学习的)
python modelnet40_evaluate.py --root your_data_path/modelnet40_ply_hdf5_2048 --method fgr  --normal
# 博主执行命令,root的modelnet40_ply_hdf5_2048是原始文件名,博主这里是因为重命名了,checkpoint同理
python modelnet40_evaluate.py --root modelnet40 --method fgr  --normal

# fgr配准
# 博主执行命令,root的modelnet40_ply_hdf5_2048是原始文件名,博主这里是因为重命名了,checkpoint同理
python modelnet40_evaluate.py --root modelnet40 --method fgr  --normal --show

可以看到蓝色点云与红色点云完全对齐，这表明效果极佳。

可能出现的问题1： open3d版本问题。

解决方法： 将icp.py中的o3d.registration更改成o3d.pipelines.registration。
可能出现的问题2： open3d版本问题。

解决方法： 将fgr.py中的o3d.pipelines.registration.registration_fast_based_on_feature_matching更改成o3d.pipelines.registration.registration_fgr_based_on_feature_matching。