3D Matching:实现halcon中的find_surface_model

        halcon中的三维匹配大致分为两类,一类是基于形状的(Shape-Based),一类是基于表面的(Surface-Based)。基于形状的匹配可用于单个2D图像中定位复杂的3D物体,3D物体模型必须是CAD模型,且几何边缘清晰可见,使用的相机也要预先进行校准。基于表面的匹配可用于3D场景中快速定位复杂的3D物体,比如在点云中寻找物体,模型可以从CAD或3D传感器中获得,可以包含光滑的表面,基于表面的匹配也称为“体积匹配”。

halcon中的surface matching

        halcon中surface matching参考文献为:Model Globally, Match Locally: Efficient and Robust 3D Object Recognition,该方法已申请专利。通常我们只要知道模型中的三个点,以及其在场景中对应的三个点就可以确定位姿,如果每个点都有一个方向,那么只需要一组对应点和转动角度就能确定位姿。文献中定义了PPF(point pair feature)这样的特征矢量,在创建模板时计算每个特征点与其他特征点的PPF,构建哈希表,将具有相同 feature 的 point pair 放在一起,在匹配时从场景中选取一部分关键点,将每个关键点与其他场景点计算PPF,根据存储好的哈希表对模型点和转动角度进行反向投票,超过设定分数就认为找到了模型的point pair,根据模型点和转动角度算出变换矩阵得到初始位姿,再用ICP求精。

        基于PPF的surface matching网上有很多文章,GitHub上有很多开源实现,opencv中也实现了该算法,对于算法的原理我不再详细展开,感兴趣的可以自己查找相关资料。这里只谈一下我的实现过程及所遇到的问题。

模型点云

        首先是模型训练,最主要的问题是点云降采样,降采样可以加速计算,并且避免一些很接近的点,在点云匹配过程也需要对场景进行降采样,点云的降采样有两种办法,一种是使用kdtree,一种是使用octree,目前两种方法我还在对比中,降采样之后的PPF计算,需要限制两个点的距离和法向量夹角,夹角超过30度都会保留,计算好后保存至本地。

模型点云(降采样后)

        第二步是模型匹配,先对场景点降采样,之后选取一定比例的场景点作为关键点,然后计算每个关键点与其他场景点的PPF,根据模型训练时保存的哈希表对模型点和转动角度进行投票,如果票数高于设定值,保存关键点、模型点与转动角度,并计算变换矩阵,该矩阵即为模型点对应关键点的位姿。值得注意的是计算PPF时要以关键点为圆心,选取指定半径范围内的场景点,因为距离太远的两个点不可能处在同一物体上,在Going Further with Point Pair Features这篇文章就指出使用一大一小两个voting ball做两轮投票,大小半径由bounding box确定。

        第三步是位姿聚类,上一步中得到了很多位姿,这里我们要进行两次聚类,第一次是针对一个参考点对应多个位姿,第二次是针对一个位姿对应多个参考点,两种情况下都需要合并,第一次聚类将位姿转换为axis-angle+translate的形式,通过旋转角度和平移量判断是否为同类,第二次聚类将位姿转换为rotation+translate的形式,直接对模型的box center进行旋转+平移,如果变换后的点非常接近,直接合并。

        第四步是点云配准,即ICP pose refinement,以第三步得到的位姿作为初始值,在场景点中寻找模型点的最近点,根据距离和方向确定对应关系,由新的点对计算新的位姿,再以新的位姿进行下一次计算,迭代至收敛或发散。对于收敛的结果重新进行评分,落在模型上的点越多,分数越高。在配准过程中找到正确的对应点以及使用稳健的icp非常关键,对应点的查找我们借助kdtree或者octree,icp使用robust symmetric icp。

        目前的速度和精度还可以,可视化是在cloudcompare中完成,后续我会发布测试demo,对于位姿筛选、ICP算法、投票过程,我会继续深入研究,也欢迎大家与我讨论。

匹配结果1

匹配结果2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/806272.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

蓝桥杯-python-破损的楼梯(dp)

问题描述 小蓝来到了一座高耸的楼梯前,楼梯共有 N 级台阶,从第 0 级台阶出发。小蓝每次可以迈上上级或2级台阶,但是,楼梯上的第 a1级、第a2 级、第 a3 级,以此类推,共 级台阶的台阶面已经坏了&#xff0c…

性能优化原则

相关链接:【运行环境】加载资源的形式 性能优化 1 性能优化原则 多使用内存、缓存或其他方法 减少CPU计算量,减少网络加载耗时 (适用于所有编程的性能优化----空间换时间) 2 从何入手 性能优化-让加载更快 减少资源体积&#x…

iPad手绘+Ai二合一课程,Procreate+Mj+SD零基础到精通(10节视频课)

课程内容: 1 系统课 AI辅助设计流-从零进阶轻松驾驭AI设计,mp4 2 商务沟通阶段 ChatGPT Midjourney-聊天机器人 项目调研资料收集 ,mp4 3_商务沟通阶段 ChatGPT_Midjourney-Midjourney基础 界面初识初步设置 .mp4 4_商务沟通阶段 ChatGPT_Midjourney-Midjourney…

支持向量机——SVM

SVM 是一种机器学习算法,它的全称是支持向量机(Support Vector Machine)。它主要用于解决二分类问题,即给定一组数据,将它们分为两类。SVM 的基本思想是在特征空间中寻找一个最优的超平面,使得两类数据在该…

康谋分享 | aiSim5 物理相机传感器模型验证方法(一)

摘要: aiSim5可以实时模拟复杂的传感器配置,在多GPU分布式渲支持的支持下,aiSim可以渲染20多个摄像头、10多个雷达和10多个激光雷达在同一环境下运行。aiSim5独有的实时渲染引擎能够满足对物理精确环境和天气模拟的所有要求,具有…

【MATLAB源码-第3期】基于MATLAB的256QAM误码率曲线,使用IQ调制解调,以及星座图展示。

1、算法描述 正交幅度调制(QAM,Quadrature Amplitude Modulation)是一种在两个正交载波上进行幅度调制的调制方式。这两个载波通常是相位差为90度(π/2)的正弦波,因此被称作正交载波。这种调制方式因此而得…

[leetcode]longest-consecutive-sequence 最长连续序列

. - 力扣(LeetCode) 哈希表 思路和算法 我们考虑枚举数组中的每个数 xxx,考虑以其为起点,不断尝试匹配 x1,x2,⋯x1, x2, \cdotsx1,x2,⋯ 是否存在,假设最长匹配到了 xyxyxy,那么以 xxx 为起点的最长连续序…

虚幻引擎启动报错记录

0x00007FFEF0C8917C (UnrealEditor-CoreUObject.dll)处(位于 UnrealEditor.exe 中)引发的异常: 0xC0000005: 写入位置 0x0000000000000030 时发生访问冲突。 解决办法:首先查看堆栈信息,我的项目启动是因为默认场景编译不过,进到编辑器配置文…

蓝桥杯真题代码记录(直线

目录 1. 题目:2. 我的代码:小结: 1. 题目: 本题为填空题,只需要算出结果后,在代码中使用输出语句将所填结果输出即可。 在平面直角坐标系中,两点可以确定一条直线。如果有多点在一条直线上&…

新零售SaaS架构:客户管理系统架构设计(万字图文总结)

什么是客户管理系统? 客户管理系统,也称为CRM(Customer Relationship Management),主要目标是建立、发展和维护好客户关系。 CRM系统围绕客户全生命周期的管理,吸引和留存客户,实现缩短销售周…

CentOS上使用cgroup限制进程使用内存

安装cgroup 要使用cgroup首先需要系统支持,需要安装两个rpm包 yum install libcgroup libcgroup-tools 创建限制内存的cgroup组 cgroup组需要在/sys/fs/cgroup/memory目录下创建,我们创建一个限制进程内存大小为10M的cgroup组,这个组中内存…

CUDA 12.4文档2 内核线程架构

本博客参考官方文档进行介绍,全网仅此一家进行中文翻译,走过路过不要错过。 官方网址:https://docs.nvidia.com/cuda/cuda-c-programming-guide/ 本文档分成多个博客进行介绍,在本人专栏中含有所有内容: https://bl…

LightGBM+深度学习=推荐模型==点击率预估

目录 LightGBM(Light Gradient Boosting Machine) 决策树模型 离散化处理 LightGBM和深度学习

C++设计模式:单例模式(十)

1、单例设计模式 单例设计模式,使用的频率比较高,整个项目中某个特殊的类对象只能创建一个 并且该类只对外暴露一个public方法用来获得这个对象。 单例设计模式又分懒汉式和饿汉式,同时对于懒汉式在多线程并发的情况下存在线程安全问题 饿汉…

ORA-00257:archiver error.Connect internal only,until freed.

问题现象 使用navicat连接oracle时无法连接上去,提示这个错误 问题原因 归档日志占用空间满了,注意这里分为两个 硬盘空间不足了硬盘空间足够但是归档日志空间不够了 解决方案 针对第一种情况,拓展本地硬盘空间,或删除之前日…

【优选算法专栏】专题十三:队列+宽搜(一)

本专栏内容为:算法学习专栏,分为优选算法专栏,贪心算法专栏,动态规划专栏以及递归,搜索与回溯算法专栏四部分。 通过本专栏的深入学习,你可以了解并掌握算法。 💓博主csdn个人主页:小…

智能边缘自动化:HDMI接口钡铼ARM工业电脑实践案例

一款具备HDMI接口的高性能ARM工业计算机应运而生,为实现在工业4.0时代的关键数据实时处理与可视化管理提供了强有力的硬件支撑。这款计算机依托其独特的边缘计算能力,完美解决了工业环境中大规模数据传输至云端的高延迟问题,成功实现了OT&…

单片机家电产品--OC门电路

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 单片机家电产品–OC门电路 前言 记录学习单片机家电产品内容 已转载记录为主 一、知识点 1OC门电路和OD门电路的区别 OC门电路和OD门电路的区别 OC门:三极管…

Asp .Net Core 系列:集成 Refit 和 RestEase 声明式 HTTP 客户端库

背景 .NET 中 有没有类似 Java 中 Feign 这样的框架?经过查找和实验,发现 在 .NET 平台上,虽然没有直接的 Feign 框架的端口,但是有一些类似的框架和库,它们提供了类似的功能和设计理念。下面是一些在 .NET 中用于声明…

神经网络与深度学习(三)

文章目录 一、VGG-161.1结构组成1.2应用场景1.3简单例子 二、残差网络2.1非残差网络的缺陷2.2梯度消失原因2.3残差网络的优势2.4简单例子 三、常用数据集3.1MNIST3.2Fashion-MNIST数据集3.3CIFAR 10数据集3.4PASCAL VOC数据集3.5MS COCO数据集3.6ImageNet数据集与ILSVRC 一、VG…