在windows上配置pvn3d的环境一直配不成功,主要卡在了与C++联合编译上,不知道如何处理了。索性先看看代码,竟然发现与论文中的代码对应上了。希望这一段时间把环境配置好。
1.论文中的网络结构
1.RGB图像特征,通过CNN提取特征。深度图的特征,通过pointnet++提取,然后把两个特征连接起来。送入到densfusion网络中,变成N*1792特征。
2.N*1792特征 投入到三个网络中,一个是特征点偏移探测网络,一个是实例分割网络,一个是中心偏移网络。后两个网络特征经过投票聚类,得到了实例级的点云目标,然后结合关键点投票,得到关键点位置;最后通过SVD分解求解得到变换矩阵。
2.看代码
2.1pvn3d.py中的几个网络
2.2 深度学习框架
2.3 loss损失
2.4找到点对应
可以看到对应的3D点是mesh_kps和cls_kps
mesh_kps和cls_kps是怎么来的呢?
mesh_kps是模型上提取的3D特征点,是真值点
cls_kps是怎么来
传进来的点,进行meanshift聚类,然后再获得点。
2.4ICP计算与优化
很常规的两个三维点集之间的RT计算:
按照论文图上的流程,特征提取,实例分割、特征提取、偏移提取,loss计算、meanshift,RT计算等找到了位置,整体上构成了整个训练和RT计算的流程。后续打算把代码配置好,跑通,并且把详细细节学习学习。