友思特方案 | 3D点云实例分割现成算法模块助力实现自动化上下料应用

引言

全球范围内的大型汽车制造商和技术公司,以及一些专注于智能制造领域的创新企业,在3D视觉引导汽车部件自动化上下料项目方面都在进行研发和实践。国内外汽车制造行业,越来越多的企业开始采用3D视觉引导技术进行自动化上下料操作。

本文将介绍3D点云实例分割现成算法(Part Finder)模块,通过该算法模块的应用,基于友思特Ensenso的3D相机拍摄的物体点云以及纹理,能够将不同物体分割为独立的实例,准确识别部件的位置和方向,控制机器臂和其他设备动作,自动化上下料、分拣等系统的效率和准确性将得到显著提升。

01 算发模块的具体操作步骤

接下来,我们将为大家介绍应用Part Finder算法模块的具体操作步骤。

1.1 选择相机

选择并打开要在NxView SDK软件中使用的相机。在本文中,我们将使用我们SDK中的文件相机(无需接入真实的相机,直接通过我们提供的相机点云文件,即可读取由相机之前拍摄的图像)。

请注意,您需要使用 STL 或 PLY 模型,目前此两种模型均可以支持。

1.2 打开Part Finder模块

图1 打开Part Finder

如上图所示,使用菜单项打开Part Finder,点击工具,进一步可以找到Part Finder算法模块。

1.3 创建模型

我们必须先生成一个模型,然后才能使用它作为模板找寻相同的目标物。

选择一个 STL 或 PLY 文件,可以支持导入CAD模型。

如果您的模型是对称的或仅从某个方向观察,则可以相应地选择视角选项,可以根据应用场景的需要,也就是场景中定位工件的姿态来选择最优的视角来生成模型。这是可选的,但会提高在特定应用场景下的性能。现在我们将其保留为默认值。

您可以暂时将其他选项保留为其默认值。如果要试验这些不同的参数,请参阅我们所提供的SDK说明文档中的命令文档或工具提示,了解有关不同参数的作用的详细信息。

单击生成模型(Create Model),模型会被自动创建,进入下一步。

图2 在Part Finder中生成模型

 

1.4 实例分割,搜索目标物单体

切换到Part Finder对话框中的选项卡——“查找”

现在我们可以将大多数搜索参数保留为其默认值。对于本文场景下,我们必须减小或禁用最小假设得分参数,才能在 3D点云数据中查找模型的所有匹配项。如果不更改此参数,零件查找器将仅查找场景中的最佳匹配项。

单击开始搜索。搜索完成后,对话框将在结果选项卡中显示检测到的零件表。

图3 在Part Finder中搜索参数

图4 Part Finder的参数

 

检测到的零件也将在NxView SDK软件的3D视图中可视化。可视化效果的颜色表示匹配的覆盖范围。好的匹配将是绿色的,较差的匹配(例如某些部分被遮挡)将是橙色的。并且会生成总报表,将视野范围内所识别定位的所有工件列出来,包含识别分数、XYZ坐标姿态等信息。

图5 Part Finder的可视化结果

至此,透过我们的Part Finder算法功能模块,便可以找到3D相机视野下的每一个单独的目标物。除此之外,为了让用户能够将我们的点云实例分割部署到自己的应用中,我们会提供C++例程,让用户通过调用我们的SDK就可以将网络模型生成和搜索目标物的两个操作非常快速简易实现。

02 Part Finder的使用优势

1. 支持与友思特高精度Ensenso 双目散斑3D相机配合使用。

2. 快速生成模型和搜索匹配目标单体

3. 在定位识别中可同时结合纹理和深度数据

4. 可处理自相似零件方向。

5.支持处理球体、长方体等不同几何体类型。

6. 支持检测复杂的3D表面几何形状

7. 支持识别带有纹理部件的不同姿态

 

END

友思特·智能感知

虹科集团旗下子公司友思特是领先的智能感知与机器视觉解决方案提供商,致力于帮助各行业客户提高效率、改善生产质量。围绕智能制造、智能交通、医疗健康等领域,为用户提供视觉检测与识别、图像采集和FPGA图像处理,以及智慧交通、智慧城市等解决方案。

作为专业的智能感知与视觉解决方案提供商,我们可以为您提供以下产品和服务:

✓ 视觉检测和识别。

✓ 各具特点的3D相机。

✓ 图像采集与处理。

✓ 集成Nvidia边缘计算和高带宽采集接口的专业视觉边缘计算机。

✓ 适用于不同场景的雷达。

✓ 一站式打包视觉方案

我们已经陆续完成了包括华为、三菱、南方电网等客户的自动驾驶传感器图像采集、高端机器人图像处理、工件质量识别等项目。详情请访问官网https://viewsitec.com/

获取电子版资料&咨询更多解决方案&探讨技术问题,欢迎添加下方友思特技术工程师微信!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/115556.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

server error: Preprocessor dependency “less“ not found. Did you install it?

问题描述 在vue项目中的某个组件中使用less报错 <style lang"less" scoped> .main-box{width: 40px; } </style>错误原因 这个错误通常表示在你的项目中缺少了 Less 预处理器的依赖。 解决办法 确保你已经在项目中正确安装了 Less 预处理器。你可以…

优测云测试平台 | 有效的单元测试

一、前言 本文作者提出了一种评价单元测试用例的质量的思路&#xff0c;即判断用例是否达到测试的“四大目标”。掌握识别好的用例的能力&#xff0c;可以帮助我们高效地写出高质量的测试用例。 评判冰箱的好坏&#xff0c;并不需要有制造一台冰箱的能力。在开始写测试用例之…

【unity3D】Scroll Rect组件—制作下滑列表

&#x1f497; 未来的游戏开发程序媛&#xff0c;现在的努力学习菜鸡 &#x1f4a6;本专栏是我关于游戏开发的学习笔记 &#x1f236;本篇是unity的Scroll Rect组件 Scroll Rect组件 基础知识详细说明案例演示——制作一个简单的下滑框扩展 介绍&#xff1a;Scroll Rect组件是用…

装备控制类嵌入式软件开发知识

1.嵌入式系统概念及特点 嵌入式系统是一种可深埋在某一专用设备中的系统。一般而言&#xff0c;由于设备的体积、重量和功耗的限制&#xff0c;嵌入式系统将受到多种条件和环境的制约&#xff0c;这也对嵌入式系统提出了有别于其他计算机系统的特殊要求。 通常&#xff0c;嵌…

【万字长文】向 AI 提问的艺术

向 AI 提问的艺术 本文是我在学习 Prompt Engineering 过程中&#xff0c;总结出来的一些经验和方法。里边包含一些自己的心得和验证有效的技巧。这些技巧在很多其他文章中也有介绍&#xff0c;这里可以当作是一个集大成的汇总。 我会按照“道——法——术”三个层面来介绍向 …

【最经典的79个】软件测试面试题(内含答案)

001.软件的生命周期(prdctrm) 计划阶段(planning)-〉需求分析(requirement)-〉设计阶段(design)-〉编码(coding)->测试(testing)->运行与维护(running maintrnacne) 测试用例 用例编号 测试项目 测试标题 重要级别 预置条件 输入数据 执行步骤 预期结果 0002.问&…

vue2中,下拉框多选和全选的实现

vue2中&#xff0c;下拉框多选和全选的实现 代码布局在methods: 中添加功能函数较为完整的一个整体代码&#xff1a; 如图所示点击全选即可完成下拉框中全部子项的全部的选中&#xff0c;同时取消全选即可全部取消选择。 代码布局 <div class"chos-box2"><…

如何给照片添加水印?请看下面3个简单教程

如何给照片添加水印&#xff1f;随着智能手机的普及和不断提升的拍摄技术&#xff0c;如今人们可以轻松使用手机进行高质量的照片拍摄。从老人到小孩&#xff0c;每个人都可以在日常生活中捕捉到美好瞬间&#xff0c;并将其记录下来。作为一种表达自己的方式&#xff0c;现在手…

安装pythonQt报错

在使用命令行pip install PyQt5安装pythonQt5的时候报错。 镜像源有问题&#xff0c;手动设置可用的源 pip install PyQt5 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com tool工具 pip install PyQt5-tools -i https://pypi.douban.com/simple 安装成…

以赛促教,以赛促研 ——计算机科学系举办“火焰杯”软件测试开发选拔赛颁奖仪式

颁奖仪式 2023年3月9日&#xff0c;第三届“火焰杯”软件测试开发选拔赛颁奖仪式在南海楼124会议室举行&#xff0c;计算机科学系系主任龙锦益教授、指导老师孙玉霞副教授、测吧科技有限公司王雪冬总监及获奖同学参加了颁奖仪式。 会议伊始&#xff0c;龙锦益教授对王雪冬总监…

2023年9月青少年软件编程(Python) 等级考试试卷(一级)

青少年软件编程&#xff08;Python&#xff09;等级考试试卷&#xff08;一级&#xff09;202309 2023年9月 分数&#xff1a;100 题数&#xff1a;37 一、单选题(共25题&#xff0c;共50分) 1. 下列 Python 语句能够正确输出"学而时习之"五个字的是&#xff1f;…

C++ 纠错题总结2

1、for循环中的判断语句: 要注意初始赋值、< 还是 < for(int i 0; i < n; i) 2、cin.getline(char[], int, char) 注意&#xff1a;第二个参数为不是char[]的有效元素个数&#xff0c;因为最后一个元素位置要用来存储 \0 3、函数形参有默认值的&#xff0c;有默认…

使用python_opencv比较图像差异/使用python_opencv找出两张图像的差异范围

目录 1 创建conda环境 2 安装python库 2.1 报错 ModuleNotFoundError: No module named numpy 3 image_diff.py

Jupyter Notebook 设置黑色背景主题

Jupyter Notebook 设置黑色背景主题 # 包安装 pip install jupyterthemes -i https://mirrors.aliyun.com/pypi/simple pip install --upgrade jupyterthemes # 查看可用主题 jt -l # monokai暗背景&#xff0c;-f(字体) -fs(字体大小) -cellw(占屏比或宽度) -ofs(输出段的字…

labelimg使用以及xml和txt转化

一、使用 winr——输入cmd 激活已有的环境 conda activate torch1.2.0 下载lebelme pip install labelme3.16.7 再输入labelme打开软件就可 可以设置自动保存&#xff0c;View——auto save mode打上勾 二、注意 1.自己类的定义名称&#xff0c;在txt中是0&#xff0c;1&a…

C++ string 类相关知识

/* ISO/ANSI C标准通过添加string类扩展了C库,因此现在可以string类型的变量(使用C的话 说是对象)而不是字符数组来存储字符串。读者将看到,string 类使用起来比数组简单,同时提供了将字 符串作为一种数据类型的表示方法。 要使用string类,必须在程序中包含头文件string。s…

java: 警告: 源发行版 8 需要目标发行版 1.8;(可我的项目是其他版本啊?)

我的项目是1.7 可运行时却要求是1.8 情况1 提示需要1.8 而你刚好项目就是1.8 那么就是配置问题 这里就不描述怎么解决了 方案很多。 情况2 项目用的不是XX版本却提示需要XX版本 在你的Maven目录的conf文件夹下settings.xml中下面 不知道maven目录在哪从这里看 如果这里指…

H指数----题解报告

题目&#xff1a;力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 由题目可知&#xff0c;我们要寻找的是一个最大的H值。 首先先对引用次数排序&#xff0c;然后再寻找在规定内的最大H值 public int hIndex(int[] citations) {Arrays.sort(citatio…

索引有哪些缺点以及具体有哪些索引类型

索引的优缺点 优点&#xff1a; 合理的增加索引&#xff0c;可以提高数据查询的效率&#xff0c;减少查询时间 有一些特殊的索引&#xff0c;可以保证数据的完整性&#xff0c;比如唯一索引 缺点&#xff1a; 创建索引和维护索引需要消耗时间 索引需要额外占用物理空间 对创建…

git初学者使用教程(包含Android studio中git使用)

文章目录 1、登录 / 注册git账号2、创建git仓库3、设置git的用户名和邮箱4、创建git仓库5、已有仓库推送代码到远程仓库6、进阶使用&#xff0c;命令行和Android studio软件使用1. 克隆&#xff08;Clone&#xff09;源码仓库2. 查看仓库状态&#xff08;Status&#xff09;3. …