MATLAB - Gazebo 联合仿真 —— 使用 UR10 机械臂检测和采摘水果

系列文章目录

文章目录

  • 系列文章目录
  • 前言
  • 一、设置 Gazebo 仿真环境
  • 二、在 Gazebo 中模拟和控制机器人
    • 2.1 概述
    • 2.2 任务调度器
    • 2.3 感知和目标生成系统
    • 2.4 运动规划
    • 2.5 机械臂和关节控制系统
  • 三、分配用于控制机器人的参数
    • 3.1 定义机器人模型和运动规划参数，
    • 3.2 定义机械手姿势和摄像机参数
    • 3.3 配置 Gazebo 协同仿真设置
    • 3.4 定义夹具控制设置
  • 4. Simulink 模型

前言

本示例演示如何在 Gazebo 物理模拟器中设置 Universal Robotics UR10 机械臂和仿真环境。您需要配置一个机器人从树上摘苹果的仿真环境。

本示例演示如何利用这些工具箱，使用 Universal Robotics UR10 机械手模拟机器人检测并从树上摘取苹果。

  • Robotics System Toolbox™ - 在 Simulink® 和 Gazebo 中对机械手进行建模、规划和模拟。

  • Navigation Toolbox™ - 生成三维环境的占用图。

  • Stateflow® - 调度示例中的高级任务并按顺序执行。

  • Computer Vision Toolbox™ - 处理三维点云数据。

  • Deep Learning Toolbox™ - 使用 Gazebo 中的模拟摄像头检测物体。

  • Computer Vision Toolbox™ Model for YOLO v4 Object Detection - 提供预训练的 YOLO v4 csp-darknet53-coco 物体检测网络。

要使用预训练的 YOLO v4 csp-darknet53-coco 物体检测网络，您必须从附加组件资源管理器下载并安装用于 YOLO v4 物体检测的 Computer Vision Toolbox™ Model。有关安装附加组件的更多信息，请参阅获取和管理附加组件。

本示例中的板条箱模型版权归 Arturo Matheus 所有，采用 1.3 版自由艺术许可协议进行许可。原始板条箱模型可在 sweethome3d 上获取。

一、设置 Gazebo 仿真环境

请按照以下步骤设置仿真环境。

  1. 要下载带有 Gazebo 的虚拟机 (VM)，请按照在 Simulink 和 Gazebo 之间执行协同仿真中的说明操作。

  2. 在虚拟机设置中，在虚拟机 > 设置 > 硬件 > 显示下，禁用加速 3D 图形。有关更多信息，请参阅准备虚拟机以使用加速 3D 图形。

  3. 启动 Ubuntu® 虚拟机桌面。

  4. 在 Ubuntu 桌面上，单击 Gazebo Co-Sim Fruit Picking 启动本例的 Gazebo 世界。

二、在 Gazebo 中模拟和控制机器人

本示例使用 Gazebo 协同仿真 Simulink 模块来连接、读取摄像头图像以及读取和设置关节位置。Gazebo 世界包含一个带有 RGB-D 深度（RGB-D）摄像头传感器的 Universal Robotics UR10 机械臂机器人模型。Gazebo 世界还包含一棵苹果树和一个收集苹果的箱子。

2.1 概述

模拟开始时，机械手处于原点配置。然后，机械手移动到图像抓取位置，从 Gazebo 收集 RGB-D 图像。当机器人接收到图像时，它会使用 YOLO v4 物体检测网络检测并识别苹果。然后，机器人计算出目标位置，并将其发送给运动规划子系统。然后，模型使用操纵器RRT 对象在图像抓取位置和计算出的目标位置之间进行运动规划。当机器人接近目标苹果时，抓手手指张开，当机器人摘到苹果后，抓手手指关闭。然后，模型规划目标位置和苹果下落位置之间的运动。然后，机械手向苹果下落位置移动，并打开抓手，将苹果放入箱子中。接着，机械手移回图像抓取位置。这个过程一直持续到机器人从树上取下所有苹果为止。

在这里插入图片描述

Simulink 模型

在这里插入图片描述

Simulink 模型由这些子系统组成。

  • 任务调度器

  • 感知和目标生成系统

  • 运动规划

  • 抓手和关节控制系统

2.2 任务调度器

状态流程图定义了机器人手臂在取放工作流程中的不同状态。该图包含以下步骤。

  1. 最初，闲置状态（IdleState）触发并过渡到原点状态（HomeState）。

  2. 在 HomeState 状态下，当前配置通过运动规划过渡到图像抓取配置。

  3. 当 HomeState 结束时，它会触发 PerceptionState，捕捉 RGB-D 图像并过渡到 GrabState。

  4. 为了让机械手向目标移动，GrabState 会计算目标苹果的位置并执行运动规划。

  5. 机械手在向目标移动时打开抓手，到达目标后开始关闭抓手。

  6. 当 GrabState 结束时，抓手关闭以抓取苹果。

  7. 然后，ReleaseState 计划目标位置和苹果下落位置之间的运动。

  8. 机械手在到达苹果下落位置后，打开抓手并释放苹果。

  9. 机械手回到原点状态，从树上摘下一个苹果。

  10. 这个过程一直持续到机械手从树上摘下所有苹果为止。

在这里插入图片描述

2.3 感知和目标生成系统

感知系统模块和目标生成系统模块通过 Gazebo 读取模块从 Gazebo 中查询 RGB-D 图像，并通过接收到的 RGB-D 图像检测目标苹果生成目标姿态。

在这里插入图片描述

感知系统使用深度学习对象检测器（计算机视觉工具箱）模块，从输入的 RGB 图像中估计边界框和标签。子系统对标签进行细化，只选择苹果标签。感知系统从所有检测到的苹果标签列表中选择第一个苹果标签作为目标苹果，并通过输入的深度图像计算三维目标姿态。此外，子系统还会根据输入的深度图像计算运动规划中所需的点云。

在这里插入图片描述

2.4 运动规划

感知和目标生成器系统会生成目标姿态，并将其发送至目标配置生成器模块，以生成目标关节配置。获取目标姿势模块利用机械手的基准位置、末端执行器偏移和当前状态输入计算目标姿势。然后，逆运动学程序块根据计算出的目标姿势、权重和初始猜测计算出目标关节配置。

在这里插入图片描述

运动规划模块从 Gazebo 中获取当前关节配置，并使用操纵器RRT 对象进行运动规划。此外，子系统还会使用 occupancyMap3D（导航工具箱）对象为计算出的点云生成三维占位图。为了避免 Gazebo 世界中复杂的树形结构，子系统将该占用图作为运动规划的输入之一。最后，子系统根据运动规划中计算出的航点来估算关节位置。

在这里插入图片描述

2.5 机械臂和关节控制系统

Gazebo 应用命令块将估算的关节位置应用到 Gazebo 模型中。Gazebo 读取模块从 Gazebo 中获取当前的关节位置。抓手控制器模块使用 Gazebo 应用命令块对每个抓手手指关节施加扭矩。此外，任务调度程序中的状态转换会计算关节差，并利用关节差执行状态转换。

在这里插入图片描述

三、分配用于控制机器人的参数

打开 Simulink 模型。

open_system("FruitPickingGazeboManipulator.slx");

3.1 定义机器人模型和运动规划参数，

使用 loadrobot 对 universalUR10 机械手进行加载和可视化。

robot = loadrobot("universalUR10",DataFormat="row",Gravity=[0 0 -9.81]);
show(robot)

在这里插入图片描述

ans = Axes (Primary) with properties:XLim: [-2 2]YLim: [-2 2]XScale: 'linear'YScale: 'linear'GridLineStyle: '-'Position: [0.1300 0.1100 0.7750 0.8150]Units: 'normalized'Show all properties

在 Gazebo 世界中，RGB-D 摄像机和抓手连接到 Universal Robotics UR10 机器人模型的手腕_3_link 上。因此，请指定 wrist_3_link 为末端执行器。

endEffectorName = "wrist_3_link";

为 universalUR10 机器人模型指定所附抓手偏移量。

endEffectorOffset = [0.0 -0.27 0.0];

初始化运动规划参数

initializeMotionPlanningParameters

3.2 定义机械手姿势和摄像机参数

加载要在 Gazebo 模拟器中应用的相机设置。

initializeCameraParameters

要抓取图像，请定义 universalUR10 机器人移动到的位置。

imageGrabPositionTform = eye(4);
imageGrabPositionTform(1:3,4) = [0.1639 -0.6120 0.5839];
imageGrabPositionTform(1:3,1:3) = eul2rotm([0 0 0]);

定义机械手图像抓取位置的初始猜测配置。

imageGrabPositionInitialGuess = [-pi/2 0 -pi/2 pi/2 -pi/2 pi];

定义采摘苹果的下落位置。

releasePositionInitialTform = eye(4);
releasePositionInitialTform(1:3,4) = [-0.1348 -0.5613 0.3530];
releasePositionInitialTform(1:3,1:3) = eul2rotm([5*pi/6 0 -5*pi/6]);

定义机械手目标释放位置的初始猜测配置。

releasePositionInitialGuess = [-2*pi/3 -pi/2 2*pi/3 -pi/3 -pi/2 0];

3.3 配置 Gazebo 协同仿真设置

定义 Gazebo 协同模拟模块的采样时间。

Ts = 0.01;

打开 Gazebo Pacer 块，点击配置 Gazebo 网络和模拟设置链接。在网络地址下拉菜单中，选择自定义。输入 Linux 机器的 IP 地址。Gazebo 的默认端口值是 14581。将响应超时设置为 10。

在这里插入图片描述

单击 "测试 "按钮，测试与运行中的 Gazebo 模拟器的连接。

3.4 定义夹具控制设置

分配机械手开合力度值。

gripperOpenEffort = -0.15;
gripperCloseEffort = 0.15;

4. Simulink 模型

要执行模拟并将其可视化，请单击 “运行”。

在这里插入图片描述

在 MATLAB 中可视化检测到的苹果和深度图像。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/131995.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

OpenCV（应用） —— 目标轮廓的相关应用

OpenCV（应用） —— 目标轮廓的相关应用

文章目录 一、目标轮廓的获取与绘制二、轮廓的信息（面积和周长）三、轮廓外接形状的三种表达方式 一、目标轮廓的获取与绘制 通常，使用findContours() 函数是为了获取一张图像内目标对象的所有轮廓，并且在 OpenCV4.x 版本中&#…
阅读更多...
Python 深度学习导入的一些包的说明

Python 深度学习导入的一些包的说明

Python 深度学习导入的一些包的说明 这段代码导入了一些Python库和模块，并定义了一些数据转换操作。 from future import print_function, division：这是一个Python 2和Python 3兼容性的导入语句。它确保在Python 2中使用Python 3的print函数和除法运算符…
阅读更多...
学习c++的第十一天

学习c++的第十一天

目录 继承和派生 基类 & 派生类 访问控制和继承 派生类的构造函数 派生类的析构函数 继承类型 多继承 重载运算符和重载函数 函数重载 运算符重载 可重载运算符/不可重载运算符 运算符重载实例 继承和派生 先来说继承，这与现实生活中的继承意思差不…
阅读更多...
[直播自学]-[汇川easy320]搞起来（1）给PLC供电

[直播自学]-[汇川easy320]搞起来（1）给PLC供电

从没正儿八经的用一用PLC，所以双11在淘宝入手一个EASY320，大概1000出头。 到货后，汇川官网搜了一下资料，搜到这几个： 首先是给PLC供电吧，看了下PLC前面是24V，不知道供电范围多宽，于…
阅读更多...
YoloV8目标检测与实例分割——目标检测onnx模型推理

YoloV8目标检测与实例分割——目标检测onnx模型推理

一、模型转换 1.onnxruntime ONNX Runtime（ONNX Runtime或ORT）是一个开源的高性能推理引擎，用于部署和运行机器学习模型。它的设计目标是优化执行使用Open Neural Network Exchange（ONNX）格式定义的模型，…
阅读更多...
helm一键部署grafana

helm一键部署grafana

一键部署命令 helm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm repo update helm install prometheus prometheus-community/kube-prometheus-stack暴露服务 kubectl port-forward --address 0.0.0.0 deployment/prometheus-gr…
阅读更多...
https原理

https原理

首先说一下几个概念：对称加密、非对称加密 对称加密： 客户端和服务端使用同一个秘钥，分两种情况： 1、所有的客户端和服务端使用同一个秘钥，这个秘钥被泄漏后数据不再安全 2、每个客户端生成一个秘钥&…
阅读更多...
[云原生案例2.1 ] Kubernetes的部署安装 【单master集群架构 ---- （二进制安装部署）】节点部分

[云原生案例2.1 ] Kubernetes的部署安装 【单master集群架构 ---- （二进制安装部署）】节点部分

文章目录 1. 常见的K8S安装部署方式1.1 Minikube1.2 Kubeadm1.3 二进制安装部署 2. Kubernetes单master集群架构 ---- （二进制安装部署）2.1 前置准备2.2 操作系统初始化2.3 部署 docker引擎 ---- （所有 node 节点）2.4 部署 etcd 集…
阅读更多...
重启某个节点、重启电脑服务器后，kubernetes无法运行，k8s无法运行

重启某个节点、重启电脑服务器后，kubernetes无法运行，k8s无法运行

问题描述 环境：ubuntu18.04 LTS 现象：按步骤安装kubernetes后，正常启动，各个命令均可正常使用。服务器重启后，执行命令错误信息如下： sudo kubectl get nodesThe connection to the server 127.0.0.1:644…
阅读更多...
HTML_案例1_注册页面

HTML_案例1_注册页面

用纯html页面&#xff0c;不用css画一个注册页面。 最终效果如下&#xff1a; html页面代码如下&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>注册页面</title> </head>…
阅读更多...
ffmpeg命令帮助文档

ffmpeg命令帮助文档

一&#xff1a;帮助文档的命令格式 ffmpeg -h帮助的基本信息ffmpeg -h long帮助的高级信息ffmpeg -h full帮助的全部信息 ffmpeg的命令使用方式&#xff1a;ffmpeg [options] [[infile options] -i infile] [[outfile options] outfile] 二&#xff1a;将帮助文档输出到文件 …
阅读更多...
部署ELK

部署ELK

一、elasticsearch #拉取镜像 docker pull elasticsearch:7.12.1 #创建ELK docker网络 docker network create elk #启动ELK docker run -d --name es --net elk -P -e "discovery.typesingle-node" elasticsearch:7.12.1 #拷贝配置文件 docker cp es:/usr/share/el…
阅读更多...
【2023年MathorCup高校数学建模挑战赛-大数据竞赛】赛道A：基于计算机视觉的坑洼道路检测和识别 python 代码解析

【2023年MathorCup高校数学建模挑战赛-大数据竞赛】赛道A：基于计算机视觉的坑洼道路检测和识别 python 代码解析

【2023年MathorCup高校数学建模挑战赛-大数据竞赛】赛道A&#xff1a;基于计算机视觉的坑洼道路检测和识别 python 代码解析 1 题目 坑洼道路检测和识别是一种计算机视觉任务&#xff0c;旨在通过数字图像&#xff08;通常是地表坑洼图像&#xff09;识别出存在坑洼的道路。这…
阅读更多...
轻量封装WebGPU渲染系统示例＜16＞- 使用GPU Compute计算(源码)

轻量封装WebGPU渲染系统示例＜16＞- 使用GPU Compute计算(源码)

当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/feature/rendering/src/voxgpu/sample/ComputeEntityTest.ts 系统特性: 1. 用户态与系统态隔离。 细节请见&#xff1a;引擎系统设计思路 - 用户态与系统态隔离-CSDN博客 2. 高频调用与低频调用隔离。 …
阅读更多...
Pycharm 对容器中的 Python 程序断点远程调试

Pycharm 对容器中的 Python 程序断点远程调试

pycharm如何连接远程服务器的docker容器有两种方法&#xff1a; 第一种&#xff1a;pycharm通过ssh连接已在运行中的docker容器 第二种&#xff1a;pycharm连接docker镜像&#xff0c;pycharm运行代码再自动创建容器 本文是第一种方法的教程&#xff0c;第二种请点击以上的链接…
阅读更多...
【LeetCode】187. 重复的DNA序列

【LeetCode】187. 重复的DNA序列

187. 重复的DNA序列 难度&#xff1a;中等 题目 DNA序列 由一系列核苷酸组成&#xff0c;缩写为 A, C, G 和 T.。 例如&#xff0c;"ACGAATTCCG" 是一个 DNA序列 。 在研究 DNA 时&#xff0c;识别 DNA 中的重复序列非常有用。 给定一个表示 DNA序列 的字符串 …
阅读更多...
Java实现创建链表与打印链表元素（可作为模板）

Java实现创建链表与打印链表元素（可作为模板）

1、通过数组元素值&#xff0c;构造一个单向链表&#xff1b; 2、将链表元素以数组的形式打印出来&#xff0c;如“[1, 2, 3, 4]” package listnodes;//创建节点类 class ListNode {int val;ListNode next;ListNode() {}ListNode(int val) { this.val val; }ListNode(int v…
阅读更多...
个人服务器到期，项目下线，新的开始

个人服务器到期，项目下线，新的开始

告别旧服务器 2023.11.06服务器到期&#xff0c;所有项目正式下线 时间真的过的很快&#xff0c;从开始踏入编程的大门&#xff0c;到现在不知不觉已经陆续经手了两台服务器了&#xff0c;目前这台服务器是一年前的阿里云活动白嫖的嘿嘿嘿&#xff0c;该服务器上目前运行的项…
阅读更多...
项目实战：service业务逻辑组件引入

项目实战：service业务逻辑组件引入

1、第一层DAO层 1.1、FruitDao接口 package com.csdn.fruit.dao; import com.csdn.fruit.pojo.Fruit; import java.util.List; //dao &#xff1a;Data Access Object 数据访问对象 //接口设计 public interface FruitDao {void addFruit(Fruit fruit);void delFruit(String fn…
阅读更多...
计网【链路带宽100Mbps代表什么，“翻译”成人话是？】

计网【链路带宽100Mbps代表什么，“翻译”成人话是？】

这里写目录标题 带宽的概念本来的意思【通信领域】计网中的意思 结论【100Mbps代表什么】 带宽的概念 本来的意思【通信领域】 带宽这个概念本来是通信领域的&#xff0c;表示通信线路允许通过的信号频带范围&#xff0c;单位是赫兹Hz 感觉最简单的意思&#xff0c;例如如果…
阅读更多...
最新文章

Copyright @ 2022~2023