NVIDIA Isaac ROS - 入门教程(一)

系列文章目录


前言

欢迎访问 Isaac ROS,这是一套硬件加速、高性能、低延迟的 ROS 2 软件包,用于制造自主机器人,充分利用 Jetson 和其他英伟达平台的强大功能。

  • 查看入门指南,开始使用 Isaac ROS。
  • 设置 Isaac ROS Buildfarm,在英伟达™(NVIDIA®)Jetson 上构建 ROS 2 软件包
  • 访问资源库和软件包,了解特定软件包。
  • 熟悉 Isaac ROS 的基本概念。
  • 比较软件包在不同平台上的性能。
  • 阅读博文集,了解更多信息。
  • 浏览常见问题解答,了解常见问题的答案。
  • 参考发行说明,了解有关 Isaac ROS 所有更新的详细信息。

一、Isaac ROS Buildfarm

英伟达 Jetson 平台运行在基于 Ubuntu Linux 的 JetPack 操作系统上。JetPack 5.x 是在 Ubuntu 20.04 Focal 的基础上构建的,这意味着由 ROS 2 Buildfarm 为 Ubuntu 22.04 Jammy 构建的 ROS 2 Humble 的 Debian 包不受支持。

由于官方 ROS 2 Buildfarm 只为 Ubuntu 22.04 Jammy 构建,因此 Isaac ROS Buildfarm 的设置是为 Ubuntu 20.04 Focal 从源代码构建 ROS 2 软件包。

1.1 设置

Isaac ROS Buildfarm 是官方 Buildfarm 的一个分叉,经过几处修改,几乎可以为 Ubuntu 20.04 Focal 构建所有 ROS 2 软件包。英伟达的半全球 CDN 发布了这些社区贡献的软件包和即将预构建的 Isaac ROS Debian 软件包。

要将 CDN 设置为 apt 源,请执行以下步骤:

设置地域

locale  # check for UTF-8sudo apt update && sudo apt install locales
sudo locale-gen en_US en_US.UTF-8
sudo update-locale LC_ALL=en_US.UTF-8 LANG=en_US.UTF-8
export LANG=en_US.UTF-8locale  # verify settings

安装依赖项

sudo apt update && sudo apt install gnupg wget
sudo apt install software-properties-common
sudo add-apt-repository universe

设置源代码
首先,在 apt 注册 GPG 密钥。下面列出了两个选项,一个是 .com(美国 CDN),另一个是 .cn(中国 CDN),请选择您喜欢的选项。

wget -qO - https://isaac.download.nvidia.com/isaac-ros/repos.key | sudo apt-key add -
wget -qO - https://isaac.download.nvidia.cn/isaac-ros/repos.key | sudo apt-key add -

现在将软件源添加到你的 apt 源中。

echo 'deb https://isaac.download.nvidia.com/isaac-ros/ubuntu/main focal main' | sudo tee -a /etc/apt/sources.list"
echo 'deb https://isaac.download.nvidia.cn/isaac-ros/ubuntu/main focal main' | sudo tee -a /etc/apt/sources.list"

接下来,对于所有非 Buildfarm ROS 2 软件包,请确保已获取 ROS 2 apt 仓库。

sudo apt update && sudo apt install curl -y \
&& sudo curl -sSL https://raw.githubusercontent.com/ros/rosdistro/master/ros.key -o /usr/share/keyrings/ros-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/ros-archive-keyring.gpg] http://packages.ros.org/ros2/ubuntu focal main" | sudo tee /etc/apt/sources.list.d/ros2.list > /dev/null

这样就可以正常安装几乎所有的 ROS 2 软件包。我们保证支持任何依赖于 Isaac ROS 的 ROS 2 软件包。

1.2 安装 ROS 2 软件包

sudo apt update

根据 ROS 2 文档:

桌面安装(推荐): ROS、RViz、演示、教程。

sudo apt install ros-humble-desktop

或者

sudo apt install ros-humble-desktop-full

ROS 基础安装(裸机): 通信库、消息包、命令行工具。无图形用户界面工具。

sudo apt install ros-humble-ros-base

开发工具: 用于构建 ROS 软件包的编译器和其他工具

sudo apt install ros-dev-tools

二、开始使用

Isaac ROS 套件由英伟达™(NVIDIA®)开发并发布,旨在利用英伟达™(NVIDIA®)Jetson 和独立 GPU 上的硬件加速功能来实现标准的机器人应用。

Isaac ROS 在输入和输出话题上使用标准的 ROS 接口,因此非常易于使用,可直接替代机器人开发人员熟悉的基于 CPU 的常用 ROS 实现。

2.1 系统要求

Platform

Hardware

Software

Notes

Jetson

Jetson Orin Jetson Xavier

JetPack 5.1.2

For best performance, ensure that power settings are configured appropriately.

x86_64

NVIDIA GPU

Ubuntu 20.04+ CUDA 11.8+

ROS 支持
所有 Isaac ROS 软件包的设计和测试都与 ROS 2 Humble 兼容。

如果您的应用程序是使用 ROS 1 Noetic 构建的,您可以使用 Isaac ROS NITROS Bridge 以更快的性能集成 Isaac ROS 软件包。

警告

Isaac ROS 软件包仅针对 ROS 2 Humble 进行过测试。目前还不支持其他 ROS 2 版本。

请按照以下步骤使用 Isaac ROS Dev Docker 镜像建立 ROS 2 开发者环境。或者,你也可以通过 Isaac ROS Buildfarm 安装预构建的 ROS 2 Humble 平台。

注意事项

我们强烈建议你使用 Isaac ROS Dev Docker 镜像来设置开发环境。这将简化您的开发环境设置,为 Jetson 和 x86_64 平台提供正确版本的依赖项。在 Isaac ROS Dev Docker 容器中工作将设置 ROS 并自动配置 Isaac ROS Buildfarm。

2.2 设置

设置运行 Isaac ROS 的硬件:

2.2.1 计算设置

2.2.1.1 x86 平台
  1. 准备一个最低配置如下的英伟达平台:
    • Ubuntu 20.04+
      • 实验:Windows 11 上的 WSL2
    • 16 GB 普通内存
    • 具有以下规格的英伟达™(NVIDIA®)独立 GPU:
      • 支持 CUDA 11.8 和 Volta 或更新版本
      • 最低 8GB VRAM,建议 12GB 以上
  2. 根据官方说明(此处)安装 Docker
  3. 根据官方说明安装最新的英伟达™(NVIDIA®)GPU 驱动程序(此处
2.2.1.2 Jetson 平台
  1. 安装 Jetpack,包括 nvidia-container 软件包。
  2. 启动后,运行以下命令确认已安装 Jetpack 5.1.2。确认输出结果中有 R35(版本)、REVISION: 4.1 的字样。
    cat /etc/nv_tegra_release
  3. 运行以下命令将 GPU 和 CPU 时钟设置为最大值。更多详情,请参阅 "最大化 Jetson 性能"。

    sudo /usr/bin/jetson_clocks
  4. 运行以下命令将电源设置为 MAX。详情请参阅 "电源模式控制"。

    sudo /usr/sbin/nvpmodel -m 0
  5. 将你的用户添加到 docker 组。

    sudo usermod -aG docker $USER
    newgrp docker
  6. 安装 Docker。

    根据官方的 Docker 安装说明(此处),安装 docker-buildx-插件。

    # Add Docker's official GPG key:
    sudo apt-get update
    sudo apt-get install ca-certificates curl gnupg
    sudo install -m 0755 -d /etc/apt/keyrings
    curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
    sudo chmod a+r /etc/apt/keyrings/docker.gpg# Add the repository to Apt sources:
    echo \
    "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
    "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
    sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
    sudo apt-get updatesudo apt install docker-buildx-plugin

    考虑为 Jetson 添加更多存储空间,以获得更好的体验: Jetson 开发人员环境设置

2.2.1.2.1 Jetson 设置

如果您正在使用 Jetson 开发者套件,则需要一个快速且大容量的存储设备来存储容器映像和 rosbag 文件。要增加存储容量,请在 Jetson 开发者套件的载板上安装 NVMe SSD 卡。

注意事项

一般不建议通过 USB 3.x 连接固态硬盘,因为它的写入/读取速度比通过 NVMe(PCIe)接口连接的固态硬盘慢。

不同存储介质(包括固态硬盘)的读写速度比较

要正确配置带有 NVMe SSD 的 Jetson,请选择以下方法之一:

  • 将 NVMe SSD 实际安装在全新的 Jetson 开发套件上,然后使用 Ubuntu PC 上运行的 SDK 管理器在 SSD 上闪存整个 L4T(Jetson Linux)。
  • 将 L4T 闪存到 Jetson 的 eMMC 或 microSD 卡上,然后物理安装 NVMe 固态硬盘,并将固态硬盘配置为 ROS2 工作区和/或 Docker 覆盖文件的可选存储空间。

第一种方案最直接,但需要重新刷新整个 Jetson 开发套件,从而丢失设备上已有的任何文件。

第二个方案需要更多工作,但无需重新刷新 Jetson。本文其余部分将介绍如何使用第二种方法配置固态硬盘。如果您的 Jetson 已经设置并运行,但没有 NVMe 固态硬盘,请按照以下步骤操作。

2.2.1.2.1.1 固态硬盘设置

物理安装固态硬盘并自动安装

  1. 拔下 Jetson 开发套件的电源和任何外围设备。
  2. 在 Jetson 开发套件的载板上物理安装 NVMe SSD 卡。必须正确安装连接器并用螺丝固定。
  3. 重新插入电源线和任何外围设备,并打开 Jetson 开发套件电源。
  4. 验证系统是否在 PCI 总线上识别出新的内存控制器:
    lspci

    典型的输出结果如下:

    0007:01:00.0 Non-Volatile memory controller: Marvell Technology Group Ltd. Device 1322 (rev 02)
  5. 运行 lsblk 查找设备名称。

    lsblk

    典型的输出结果如下:

    NAME         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
    loop0          7:0    0    16M  1 loop
    mmcblk1      179:0    0  59.5G  0 disk
    ├─mmcblk1p1  179:1    0    58G  0 part /
    ├─mmcblk1p2  179:2    0   128M  0 part
    ├─mmcblk1p3  179:3    0   768K  0 part
    ├─mmcblk1p4  179:4    0  31.6M  0 part
    ├─mmcblk1p5  179:5    0   128M  0 part
    ├─mmcblk1p6  179:6    0   768K  0 part
    ├─mmcblk1p7  179:7    0  31.6M  0 part
    ├─mmcblk1p8  179:8    0    80M  0 part
    ├─mmcblk1p9  179:9    0   512K  0 part
    ├─mmcblk1p10 179:10   0    64M  0 part
    ├─mmcblk1p11 179:11   0    80M  0 part
    ├─mmcblk1p12 179:12   0   512K  0 part
    ├─mmcblk1p13 179:13   0    64M  0 part
    └─mmcblk1p14 179:14   0 879.5M  0 part
    zram0        251:0    0   1.8G  0 disk [SWAP]
    zram1        251:1    0   1.8G  0 disk [SWAP]
    zram2        251:2    0   1.8G  0 disk [SWAP]
    zram3        251:3    0   1.8G  0 disk [SWAP]
    nvme0n1      259:0    0 238.5G  0 disk

    识别固态硬盘对应的设备。在本例中,它是 nvme0n1。

  6. 格式化固态硬盘,创建挂载点,并将其挂载到文件系统。

    sudo mkfs.ext4 /dev/nvme0n1
    sudo mkdir /ssd
    sudo mount /dev/nvme0n1 /ssd
  7. 为确保启动后挂载持续进行,请在 fstab 文件中添加一个条目:

    确定固态硬盘的 UUID:

    lsblk -f

    在 fstab 文件中添加一个新条目:

    sudo vi /etc/fstab

    插入以下一行,将 UUID 替换为从 lsblk -f 中找到的值:

    UUID=************-****-****-****-******** /ssd/ ext4 defaults 0 2
  8. 更改 /ssd 目录的所有权。

    sudo chown ${USER}:${USER} /ssd

 将 Docker 目录迁移到固态硬盘


安装固态硬盘并将其提供给你的设备后,你可以使用额外的存储容量来存放空间很大的 Docker 目录。

  1. 停止 Docker 服务。
    sudo systemctl stop docker
  2. 移动现有的 Docker 文件夹。

    sudo du -csh /var/lib/docker/ && \sudo mkdir /ssd/docker && \sudo rsync -axPS /var/lib/docker/ /ssd/docker/ && \sudo du -csh  /ssd/docker/
  3. 编辑 /etc/docker/daemon.json

    sudo vi /etc/docker/daemon.json

    插入类似下面的 "data-root "行:

    {"runtimes": {"nvidia": {"path": "nvidia-container-runtime","runtimeArgs": []}},"default-runtime": "nvidia","data-root": "/ssd/docker"
    }
  4. 重命名旧的 Docker 数据目录。

    sudo mv /var/lib/docker /var/lib/docker.old
  5. 重新启动 Docker 守护进程。

    sudo systemctl daemon-reload && \sudo systemctl restart docker && \sudo journalctl -u docker

在固态硬盘上测试 Docker

  1. [终端 1] 打开终端,在拉取 Docker 映像时监控磁盘使用情况。
    watch -n1 df
  2. [终端 2] 打开一个新终端,开始拉取 Docker。

    docker pull nvcr.io/nvidia/l4t-base:r35.2.1
  3. [终端 1] 观察/ssd 上的磁盘使用量随着容器映像的下载和提取而上升。

    ~$ docker image ls
    REPOSITORY                  TAG       IMAGE ID       CREATED        SIZE
    nvcr.io/nvidia/l4t-base     r35.2.1   dc07eb476a1d   7 months ago   713MB
2.2.1.2.1.2 最终验证

重新启动 Jetson,并验证是否出现以下情况:

~$ sudo blkid | grep nvme
/dev/nvme0n1: UUID="9fc06de1-7cf3-43e2-928a-53a9c03fc5d8" TYPE="ext4"~$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/mmcblk1p1  116G   18G   94G  16% /
none            3.5G     0  3.5G   0% /dev
tmpfs           3.6G  108K  3.6G   1% /dev/shm
tmpfs           734M   35M  699M   5% /run
tmpfs           5.0M  4.0K  5.0M   1% /run/lock
tmpfs           3.6G     0  3.6G   0% /sys/fs/cgroup
tmpfs           734M   88K  734M   1% /run/user/1000
/dev/nvme0n1    458G  824M  434G   1% /ssd~$ docker info | grep RootDocker Root Dir: /ssd/docker~$ sudo ls -l /ssd/docker/
total 44
drwx--x--x  4 root root 4096 Mar 22 11:44 buildkit
drwx--x---  2 root root 4096 Mar 22 11:44 containers
drwx------  3 root root 4096 Mar 22 11:44 image
drwxr-x---  3 root root 4096 Mar 22 11:44 network
drwx--x--- 13 root root 4096 Mar 22 16:20 overlay2
drwx------  4 root root 4096 Mar 22 11:44 plugins
drwx------  2 root root 4096 Mar 22 16:19 runtimes
drwx------  2 root root 4096 Mar 22 11:44 swarm
drwx------  2 root root 4096 Mar 22 16:20 tmp
drwx------  2 root root 4096 Mar 22 11:44 trust
drwx-----x  2 root root 4096 Mar 22 16:19 volumes~$ sudo du -chs /ssd/docker/
752M    /ssd/docker/
752M    total~$ docker info | grep -e "Runtime" -e "Root"Runtimes: io.containerd.runtime.v1.linux nvidia runc io.containerd.runc.v2Default Runtime: nvidiaDocker Root Dir: /ssd/docker

 您的 Jetson 现在已安装好固态硬盘!

2.2.2 传感器设置

注意

如果您无法使用物理传感器,但仍想试用 Isaac ROS 软件包,可以查看我们的 Isaac Sim 指南来设置模拟环境。

Isaac ROS 正式支持 Hawk、RealSense 和 ZED 相机。

2.2.2.1 Isaac ROS Hawk 设置

Leopard Imaging 的 Hawk 相机是与 Isaac ROS 生态系统软件包一起使用的立体相机的热门选择。本文档详细介绍了使用 Isaac ROS 配置 Hawk 相机的重要设置说明。

注意事项

为获得最佳效果,必须更新相机固件。

注意

通过 Argus 的 Hawk 立体相机仅支持 Jetson 平台

2.2.2.1.1 Jetson 平台
2.2.2.1.1.1 相机配置

Hawk 相机必须通过 GMSL 扩展板连接到 Jetson。例如,如果使用 AGX Orin,请参阅 Leopard 板。如需帮助,请联系硬件供应商。

2.2.2.1.1.2 IMU 配置

要达到 Hawk 内置 IMU 的目标传感器更新频率,必须适当设置 Jetson 设备上的某些寄存器:

  1. 确定用于将加速计和陀螺仪连接到 Jetson 的 GPIO 引脚。物理引脚和引脚编号之间的具体对应关系可通过特定 Jetson 设备的引脚复用表查找。
  2. 根据相应的焊盘控制器,确定这些 GPIO 引脚对应的寄存器地址块。具体 Jetson 设备的技术参考手册可在 Jetson 下载网站上找到。
    1. 例如,在 Jetson AGX Orin 系列设备上,Always On Hypervisor (AO_HV) 组中的 GPIO 引脚 8 和 9 位于 PADCTL_A15 下,内存块从 0x0c303000 开始。
  3. 在技术参考手册中,可以找到焊盘控制器到 GPIO 偏移地址的详细说明。确定要索引到相关引脚的具体偏移地址。
    1. 继续前面的例子,上面提到的两个引脚的偏移地址为 0x0c303000,偏移量为 0x00。由于本例中的引脚位于索引 8 和 9,因此它们的偏移量分别为 8 * 8 = 64 = 0x40 和 8 * 9 = 72 = 0x48。
  4. 在技术参考手册中找到 GPIO 寄存器的详细说明。确定将上拉/下拉状态设置为上拉的具体位索引。向先前确定的地址写入一对字节,设置相应位的同时保留其他位的值。这可以使用 devmem2 或类似工具完成。
    1. 完成示例后,如果引脚 8 的当前寄存器设置为 0xC058,但必须将低 4 位设置为 0b0000,才能设置上拉状态,那么正确的命令将是
      sudo devmem2 0x0c303040 w 0xC050

      相应地,如果引脚 9 的当前寄存器设置为 0xD054,则可通过以下命令将低 4 位设置为 0b0000:

      sudo devmem2 0x0c303048 w 0xD050
2.2.2.2 Isaac ROS RealSense 设置
2.2.2.2.1 相机兼容性

RealSense Model

Supported?

D455

D435i

D415

注意事项

要获得最佳效果,必须更新相机固件。

2.2.2.2.2 设置说明

注意

本教程假定您已按照说明完成了开发人员环境设置。

  1. 克隆 librealsense 资源库并设置 udev 规则。按提示移除任何已连接的 RealSense 相机:
    cd /tmp && \
    git clone https://github.com/IntelRealSense/librealsense && \
    cd librealsense && \
    ./scripts/setup_udev_rules.sh
  2. 从 realsense-ros 软件源中克隆 isaac_ros_common 和 4.51.1 版本:

    cd ${ISAAC_ROS_WS}/src
    git clone https://github.com/NVIDIA-ISAAC-ROS/isaac_ros_common.git
    git clone https://github.com/IntelRealSense/realsense-ros.git -b 4.51.1

    注意

    ${ISAAC_ROS_WS} 被定义为指向 /ssd/workspaces/isaac_ros-dev/ 或 ~/workspaces/isaac_ros-dev/。

  3. 在下一步启动 Docker 容器之前,先插入 RealSense 相机。
  4. 配置由 isaac_ros_common/scripts/run_dev.sh 创建的容器,使其包含 librealsense。在 isaac_ros_common/scripts 目录中创建 .isaac_ros_common-config 文件:
    cd ${ISAAC_ROS_WS}/src/isaac_ros_common/scripts && \
    touch .isaac_ros_common-config && \
    echo CONFIG_IMAGE_KEY=ros2_humble.realsense > .isaac_ros_common-config
  5. 启动 Docker 容器

    cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
    ./scripts/run_dev.sh ${ISAAC_ROS_WS}

    这会在其中一个分层阶段使用 Dockerfile.realsense 重建容器镜像。重建可能需要几分钟时间。

  6. 在重建容器镜像并进入容器后,可以运行 realsense-viewer 来验证 RealSense 相机是否已连接。

    realsense-viewer

    如果在图形用户界面中打开 "立体声模块",就会看到类似下面的内容:

2.2.2.3 Isaac ROS ZED 设置

ZED 相机需要以下设备才能将数据发布到 ROS 2 的话题中:

  1. ZED SDK(通过 Dockerfile.zed 安装)
  2. zed-ros2-wrapper (在安装说明步骤 1 中克隆)
  3. ZED X 驱动程序(由用户在安装说明步骤 3 中的主机上安装)
2.2.2.3.1 相机兼容性

zed ros2 封装程序支持的所有相机均可在 Isaac ROS 上运行。

ZED Model

SQA Testing?

ZED 2i

ZED X

ZED 2

ZED

ZED Mini

ZED X Mini

2.2.2.3.2 设置说明

注意事项

本教程假定您已按照此处的说明设置了开发环境。

  1. 克隆 isaac_ros_common 和 zed-ros2-wrapper 软件源:
    cd ${ISAAC_ROS_WS}/src && \
    git clone https://github.com/NVIDIA-ISAAC-ROS/isaac_ros_common.git && \
    git clone --recurse-submodules https://github.com/stereolabs/zed-ros2-wrapper

    注意

    ${ISAAC_ROS_WS} 被定义为指向 /ssd/workspaces/isaac_ros-dev/ 或 ~/workspaces/isaac_ros-dev/。

  2. 如果您使用的是 ZED X 或 ZED X Mini,请参阅相应的立体实验室设置指南。

    注意事项

    你不需要安装 ZED SDK,因为这是由 Dockerfile.zed 完成的。

    注意事项

    您必须安装 ZED 驱动程序。

  3. 在下一步启动 Docker 容器之前,请先插入 ZED 相机的 USB 电缆。

  4. 配置由 isaac_ros_common/scripts/run_dev.sh 创建的容器,使其包含 Dockerfile.zed。在 isaac_ros_common/scripts 目录中创建 .isaac_ros_common-config 文件:

    cd ${ISAAC_ROS_WS}/src/isaac_ros_common/scripts && \
    touch .isaac_ros_common-config && \
    echo CONFIG_IMAGE_KEY=ros2_humble.user.zed >> .isaac_ros_common-config
  5. 启动 Docker 容器

    cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
    ./scripts/run_dev.sh ${ISAAC_ROS_WS}

    这会在其中一个分层阶段使用 Dockerfile.zed 重建容器映像。重建需要一些时间。

  6. 在重建容器映像并进入容器后,你可以运行 /usr/local/zed/tools/ZED_Explorer 检查 ZED 相机是否已连接。

    /usr/local/zed/tools/ZED_Explorer

    如果一切正常,您应该会看到类似下面的内容:

2.2.2.4 单目相机标定

注意事项

这些说明专门针对单目相机。要标定立体相机,请参阅相机标定说明。

  1. 按照 "开发环境设置 "设置开发环境。
  2. 打印一个已知尺寸的大棋盘格。
    1. 本教程使用的是一个 6x8 的棋盘,方格尺寸为 200 毫米。标定使用棋盘的内顶点,因此 "7x9 "棋盘使用内顶点参数 "6x8",如下例所示。具体尺寸的棋盘可在此处下载。
  3. 克隆 ROS 2 usb_cam 软件包:
    cd ${ISAAC_ROS_WS}/src && \git clone -b ros2 https://github.com/ros-drivers/usb_cam

    注意事项

    你的相机供应商可能会提供特定的 ROS 2 兼容相机驱动程序软件包,可以用来代替 usb_cam 软件包。

  4. 使用 run_dev.sh 脚本启动 Docker 容器:

    cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \./scripts/run_dev.sh
  5. 在容器内,构建工作区并为其添加源代码:

    cd /workspaces/isaac_ros-dev && \colcon build --symlink-install && \source install/setup.bash
  6. 运行 usb_cam 图像发布器:

    ros2 run usb_cam usb_cam_node_exe --remap __ns:=/my_camera --ros-args -p framerate:=30.0 -p image_height:=720 -p image_width:=1280
  7. 使用 run_dev.sh 脚本将另一个终端连接到 Docker 容器:

    cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \./scripts/run_dev.sh
  8. 运行相机标定程序:

    ros2 run camera_calibration cameracalibrator --size 6x8 --square 0.20 image:=/my_camera/image_raw camera:=/my_camera
  9. 完成相机标定教程中的第 6-8 步。

  10. 确保按下 "标定",然后按下 "保存 "按钮。

    您应该会在第二个终端中看到以下一行:

    ('Wrote calibration data to', '/tmp/calibrationdata.tar.gz')

    标定文件将保存在 /tmp/calibrationdata.tar.gz。

  11. 保存标定文件后,在每个终端输入 Ctrl+C 停止节点。

  12. 将标定文件移动到所需位置:

    cd /workspaces/isaac_ros-dev/src/<isaac_ros_metapackage>/<isaac_ros_package>/config/ && \
    tar -xvf /tmp/calibrationdata.tar.gz -C ./ ost.yaml && \
    mv ost.yaml camera_info.yaml

2.2.3 开发者环境设置

Isaac ROS 目前支持的开发流程是在目标平台上构建。你可以使用 Isaac ROS Buildfarm 在主机中设置 ROS 2 Humble,并使用 rosdep 设置依赖关系,也可以通过 run_dev.sh 使用基于 Isaac ROS Dev Docker 的开发环境。

我们强烈建议你使用 Isaac ROS Dev Docker 镜像来设置开发环境。这将简化您的开发环境设置,在 Jetson 和 x86_64 平台上使用正确版本的依赖项。在 Isaac ROS Dev Docker 容器中工作,还能自动访问我们的 Isaac ROS Buildfarm。

注意事项

所有 Isaac ROS 快速入门、教程和示例都是以 Isaac ROS Docker 映像作为先决条件设计的。

有关基于 Docker 的 Isaac ROS Dev 开发环境的更多信息,以及如何根据自己的需要对其进行定制,请查看本指南。

注意事项

开始之前,请确认设备上有足够的可用存储空间。我们建议至少要有 30 GB 的空间,以考虑容器和数据集的大小。

在 Jetson 平台上,需要使用 NVMe SSD 存储来提供足够的快速存储空间。请参见此处

  1. 在 x86_64 平台上:
    1. 使用说明安装 nvidia-container-toolkit。
    2. 使用说明为 Docker 配置 nvidia-container-toolkit。
  2. 在 Jetson 平台上: 按照此说明首先为 Jetson 设置固态硬盘,然后返回本文档并从第 2 步继续。
  3. 重新启动 Docker:
    sudo systemctl daemon-reload && sudo systemctl restart docker
  4. 安装 Git LFS,提取所有大文件:

    sudo apt-get install git-lfs
    git lfs install --skip-repo
  5. 创建 ROS 2 工作区,用于 Isaac ROS 的实验:

    用于使用固态硬盘作为可选存储的 Jetson 设置:

    mkdir -p  /ssd/workspaces/isaac_ros-dev/src
    echo "export ISAAC_ROS_WS=/ssd/workspaces/isaac_ros-dev/" >> ~/.bashrc
    source ~/.bashrc
    mkdir -p  ~/workspaces/isaac_ros-dev/src
    echo "export ISAAC_ROS_WS=${HOME}/workspaces/isaac_ros-dev/" >> ~/.bashrc
    source ~/.bashrc

    我们希望将来使用 ISAAC_ROS_WS 环境变量来引用 ROS 2 工作区目录。

要进一步定制开发环境,请查看本指南。

Isaac Sim 设置
Isaac Sim 是由 Omniverse 支持的英伟达机器人仿真平台。

Isaac Sim 可用于运行和测试 ROS2 应用程序。我们可以通过两种方式配置系统。

环路中的软件

环路中的硬件

环路中的软件(SIL)是指被测软件不在目标硬件平台上运行的配置。例如,Isaac ROS 软件包在部署到 Jetson 设备上之前在 x86 上进行测试就是 SIL。

硬件环路(HIL)是指在目标硬件平台上测试软件的配置。例如,Isaac ROS 软件包在 Jetson 设备上测试后再部署就是 HIL。

在这两种配置中,Isaac Sim 始终运行在 x86_64 机器上,提供传感器数据和世界信息。

  1. 安装 Isaac Sim,选择合适的工作环境:
    1. 本地
    2. Docker
    3. 注意

      本教程假设 Isaac Sim 使用本地环境。

  2. 请按照 "运行本地 ROS "的说明操作,确保已安装 ROS 2 和所需软件包,以便在 Omniverse Isaac Sim 中成功启用 ROS 2 桥接器。
  3. 按照说明启动 Isaac Sim 应用程序选择器窗口。
  4. 如果没有安装系统级 ROS 2,请按照 ROS2 -> 无系统级安装 -> Humble 下的步骤操作。

    如果已安装系统级 ROS 2,请单击 "在终端中打开"(Open in Terminal)按钮。它会打开一个终端窗口,然后按照这里的 "ROS2 -> Ubuntu 22.04 -> Humble "概述的步骤操作。在继续之前,请确保您的 ROS 2 安装是源代码。

    如果需要 ROS_DOMAIN_ID 来创建一个独立的逻辑网络,请运行以下命令。

    export ROS_DOMAIN_ID=<your_domain_id>
  5. 启动 Isaac Sim。

    ./isaac-sim.sh
  6. 如下图所示,打开 Isaac ROS 示例场景。

  7. 继续执行特定 Isaac ROS 软件包教程中的下一步。

注意事项

确保在运行示例程序之前设置 ROS_DOMAIN_ID 环境变量(如果先前已设置)。

设置完成后,查看 "资源库和软件包",开始运行 Isaac ROS 软件包!

2.3 Isaac 模拟教程

Isaac ROS 软件包还可以与 Isaac Sim 配合使用,后者是由 Omniverse 支持的英伟达机器人仿真平台。本网站提供了大量教程,供您学习如何将 Isaac Sim 与 Isaac ROS 结合使用。

  • 使用 Isaac Sim 进行 AprilTag 检测的教程
  • 使用 Isaac Sim 的视觉 SLAM 教程
  • 使用 Isaac Sim 的 Nvblox 教程
  • 使用 Isaac Sim 进行 DNN 物体检测的教程
  • 使用 Isaac Sim 的 SGM 立体差分教程
  • 使用 Isaac Sim 进行 DNN 立体深度估计的教程
  • 利用 Isaac Sim 实现 Bi3D 的教程
  • 使用 Isaac Sim 进行自由空间分割教程
  • Isaac ROS 占用网格定位器 Nav2 Isaac Sim 教程
  • 使用 Isaac Sim 进行 DNN 图像分割的教程
  • Isaac ROS 任务客户端教程

三、性能总结

在 Jetson 和 x86_64 平台上对 Isaac ROS 软件包进行基准测试的性能结果如下:

 

3.1 使用方法

以上提供的性能数据是使用 Isaac ROS 基准测得的。此处每个基准的启动脚本中都提供了用于重现结果的配置文件。

每秒帧数(fps)是使用每个所列平台上加速计算管道的最大持续坐标系帧速率测得的。测得的性能包括输入节点 → 性能测试中的节点图 → 输出节点,其中输入节点的发布速率经过自动调整,以发现峰值吞吐量的坐标系掉帧率小于 5%。计算 5 次运行的平均帧频,剔除最小和最大运行;以与传感器捕获速率相匹配的 30hz 发布速率测量延迟。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/650043.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何让思维系统化,拥有「自己的想法」?

先思考一个问题&#xff1a; 如果外星人来访地球&#xff0c;你觉得他们更有可能是善意的&#xff0c;还是恶意的&#xff1f; 你的反应是什么&#xff0c;会如何切入思考&#xff1f; 一般人可能会这样回答&#xff1a; 当然是恶意的&#xff0c;因为要争夺资源啊&#xff0c;…

25考研政治备考计划

各位小伙伴大家好&#xff0c;今天给大家分享的是25考研政治复习备考计划。 政治没有基础阶段&#xff0c;直接就是强化&#xff0c;强化的内容也就是听课&#xff0c;刷题。 【时间安排】 *7-9月中 徐涛老师或腿姐强化课&#xff0c;推荐刷肖1000 *9月中-10月中 背腿姐的背…

ELK+Filebeat 部署实验

Filebeat是轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat&#xff0c;并指定目录与日志格式&#xff0c;Filebeat 就能快速收集数据&#xff0c;并发送给 logstash 进行解析&#xff0c;或是直接发给 Elasticsearch 存储&#xff0c;性能上相比运行…

MySQL介绍、安装和卸载

MySQL入门——网安基础 1. 数据库基本概念2. 数据库类型和常见的关系型数据库2.1 数据库类型2.2 常见的关系型数据库 3. MySQL介绍4. MySQL8的安装和卸载 1. 数据库基本概念 1. 数据 所谓数据&#xff08;Data&#xff09;是指对客观事物进行描述并可以鉴别的符号&#xff0c;…

万物简单AIoT 端云一体实战案例学习 之 空气质量检测系统

学物联网,来万物简单IoT物联网!! 下图是本案的3步导学,每个步骤中实现的功能请参考图中的说明。 1、简介 环境污染、空气污染是人类一直所关心并且讨论的永恒话题,人们对优质的环境和健康的身体非常向往。因此,如果有一种可以检测周围环境的空气质量的设备并且环境数据…

RocketMQ源码分析之消息重试(真相竟然是延时消息)

这里是weihubeats,觉得文章不错可以关注公众号小奏技术&#xff0c;文章首发。拒绝营销号&#xff0c;拒绝标题党 RocketMQ版本 5.1.0 普通消息 消息重试的的实现分并普通消息和顺序消息。两者的重试机制大同小异。我们这里先看看不同消息 这里是官网定义的消息重试次数以及…

docker 存储管理

文章目录 docker 存储管理容器存储方案docker 容器存储解决方案 docker 存储驱动基本概述存储驱动的选择原则主流的 docker 存储驱动docker 版本支持的存储驱动 overlay2 存储驱动OverlayFSoverlay2 存储驱动要求配置 docker 使用 overlay2 驱动 overlay2 存储驱动的工作机制Ov…

Linux的 .bashrc 有什么作用?

一、.bashrc 是什么? 有什么用&#xff1f; .bashrc是一个存储在你的home目录下的隐藏文件&#xff0c;它用来配置和自定义你的终端环境和行为。 每次你启动一个新的终端时&#xff0c;.bashrc文件就会被执行&#xff0c;加载你设置的环境变量&#xff0c;别名&#xff0c;函数…

林浩然矩阵江湖历险记

林浩然矩阵江湖历险记 Lin Haoran’s Matrix Adventures 在那充满神秘色彩的矩阵世界里&#xff0c;林浩然面对的挑战是驯服一个具有六个个性元素的23矩阵——“小三儿”。这个矩阵由两行三列组成&#xff0c;每一个元素都像是棋盘上的一枚棋子&#xff0c;它们紧密排列在一起&…

朴素贝叶斯分类算法

1.分类算法 分类算法是有监督学习的一个核心问题&#xff0c;他从数据中学习一个分类决策函数或分类模型&#xff0c;对新的输入进行预测&#xff0c;输出变量取有限个离散值。 &#x1f30d;分类算法的内容是要求给定特征&#xff0c;让我们得出类别。 那么如何由指定特征&…

【C++】入门基础

前言&#xff1a;C是在C的基础之上&#xff0c;容纳进去了面向对象编程思想&#xff0c;并增加了许多有用的库&#xff0c;以及编程范式等。熟悉C语言之后&#xff0c;对C学习有一定的帮助&#xff0c;因此从今天开始们将进入&#xff23;的学习。 &#x1f496; 博主CSDN主页:…

如何阅读xml电子发票

xml电子发票是官方给出的电子存档的文件格式&#xff0c;本质是文本&#xff0c;所以文件很小&#xff0c;大量发票存储&#xff0c;能够更加凸显优势。 但是xml电子发票不方便阅读&#xff0c;因为里面是xml格式&#xff0c;对于财务人员来讲&#xff0c;看“代码”简直太难了…

Linux报 “no route to host” 异常 ping: sendmsg: No route to host

公司有台服务器迁移机房后跟另一台服务器相互ping不通&#xff0c;但是两台服务器都能上网能ping其他机器&#xff0c;其他机器都能ping通这两台服务器。检查两台服务器没有防火墙规则拦截&#xff0c;交换机上也没检查到acl过滤。 下图是迁移机房的服务器ping截图 下图是nfs服…

【云原生】认识docker容器操作命令

目录 一、容器操作命令 1、创建容器 2、删除容器以及停止容器运行 3、查看容器的运行状态 4、查看容器的详细信息 5、将容器的文件传输到宿主机以及将宿主机的文件传输到容器中 6、批量删除容器 7、进入容器 二、容器的迁移 1、先在容器中创建测试文件 2、将容器存储…

Scrum敏捷研发管理全流程/scrum管理工具

Leangoo领歌是一款永久免费的专业的敏捷开发管理工具&#xff0c;提供端到端敏捷研发管理解决方案&#xff0c;涵盖敏捷需求管理、任务协同、进展跟踪、统计度量等。 Leangoo领歌上手快、实施成本低&#xff0c;可帮助企业快速落地敏捷&#xff0c;提质增效、缩短周期、加速创新…

【详解】贪吃蛇游戏----上篇(介绍控制台和API等知识)

目录 知识点&#xff1a; Win32 API 宽字符的打印 控制台操作&#xff1a; &#xff08;1&#xff09;调整控制台大小 &#xff08;2&#xff09;控制台屏幕上的坐标COORD GetStdHandle GetConsoleCursorInfo CONSOLE_CURSOR_INFO SetConsoleCursorInfo SetConsoleC…

Cesium工具应用

文章目录 0.引言1.场景截图2.卷帘对比3.反选遮罩4.鹰眼视图5.指南针与比例尺6.坐标测量7.距离测量8.面积测量9.热力图10.视频投影11.日照分析12.淹没分析13.通视分析14.可视域分析15.缓冲区分析16.地形开挖17.要素聚合18.开启地下模式19.开启等高线20.坡度坡向21.填挖方量计算2…

排序(插入排序)

现在&#xff0c;我们学习了之前数据结构的部分内容&#xff0c;即将进入一个重要的领域&#xff1a;排序&#xff0c;这是一个看起来简单&#xff0c;但是想要理清其中逻辑并不简单的内容&#xff0c;让我们一起加油把&#xff01; 排序的概念及其运用 排序的概念 排序&…

解释性人工智能(XAI)—— AI 决策的透明之道

在当今数字化时代&#xff0c;人工智能&#xff08;AI&#xff09;已经成为我们生活中不可或缺的一部分。AI 系统的决策和行为对我们的生活产生了深远的影响&#xff0c;从医疗保健到金融服务再到自动驾驶汽车。 然而&#xff0c;有时候 AI 的决策似乎像黑盒子一样难以理解&am…

[C#]winform部署yolov5实例分割模型onnx

【官方框架地址】 https://github.com/ultralytics/yolov5 【算法介绍】 YOLOv5实例分割是目标检测算法的一个变种&#xff0c;主要用于识别和分割图像中的多个物体。它是在YOLOv5的基础上&#xff0c;通过添加一个实例分割模块来实现的。 在实例分割中&#xff0c;算法不仅…