【Ubuntu18.04】激光雷达与相机联合标定（Livox+HIKROBOT）（一）相机内参标定

Livox+HIKROBOT联合标定——相机内参标定

  • 引言
  • 1 海康机器人HIKROBOT SDK二次开发并封装ROS
    • 1.1 介绍
    • 1.2 安装MVS SDK
    • 1.3 封装ROS packge
  • 2 览沃Livox SDK二次开发并封装ROS
  • 3 相机雷达联合标定——相机内参标定
    • 3.1 环境配置
      • 3.1.1 安装依赖——PCL 安装
      • 3.1.2 安装依赖——Eigen 安装
      • 3.1.3 安装依赖——Ceres-solver 安装
      • 3.1.4 下载源码，编译准备
      • 3.1.5 程序节点概括
    • 3.2 相机内参标定
      • 3.2.1 前期准备
      • 3.2.2 cameraCalib标定
        • **`报错`** （若无报错则跳过此步骤）

引言

Livox Lidar + HIKROBOT Camera 联合标定
参考链接：相机雷达标定文档
安装ROS环境，参考笔者的博客：【ROS】Ubuntu18.04安装Ros

1 海康机器人HIKROBOT SDK二次开发并封装ROS

1.1 介绍

参考链接：海康Camera MVS Linux SDK二次开发封装ROS packge过程记录（c++）

海康的相机没有ros驱动，且对linux开发不太友好（但支持windows），因此需要重写了sdk接口，并创建了ros节点封装成ros包，方便linux环境下ros的调用
完整版ros驱动：https://github.com/luckyluckydadada/HIKROBOT-MVS-ROS-package

  • 即使海康的相机是usb传输数据，但是不同于其他usb设备的调用，海康的相机并不会在/dev/目录下映射ttyUSB或video1这样的设备，所以不能用open/read/write这样的system call的方式打开设备，所以https://github.com/ros-drivers/usb_cam这样的usb ros驱动无法支持。因此只能自己开发ros驱动包。
  • 海康的打开设备的方式在MvUsb3VDevice.h和MvGigEDevice.h中实现（分别对应usb3.0相机和以太网相机），具体过程并没有开源，只提供了相应的so文件，海康提供了统一的接口MV_CC_EnumDevices实现对两种设备（usb3.0接口和以太网接口）的调用，因此开发一个ros驱动包是两种相机都适用的。海康的相机sdk虽然不开源，但是提供了armhf和aarch64架构编译的so文件。

1.2 安装MVS SDK

参考笔者的博客：
【HIKROBOT】海康机器人：工业相机SDK二次开发

1.3 封装ROS packge

海康威视工业相机sdk的ros驱动包的安装步骤：

step1：安装

# 创建catkin工作空间
mkdir ws_hk_mvs_ros  
# 克隆源码到工作空间（海康机器人的ROS软件包）
git clone https://github.com/luckyluckydadada/HIKROBOT-MVS-ROS-package.git ws_hk_mvs_ros/src
cd ws_hk_mvs_ros
# 编译Catkin工作空间中的ROS包
catkin_make

在这里插入图片描述

step2：直接运行node
需要先启动roscore
在这里插入图片描述

source ./devel/setup.bash 
rosrun hk_camera hk_camera_node

在这里插入图片描述

step3：launch启动node

source ./devel/setup.bash 
roslaunch hk_camera hk_camera.launch

在这里插入图片描述

step4：launch启动node和rviz node
用 rviz 订阅 /hk_camera_node/image_raw 查看照片

source ./devel/setup.bash 
roslaunch hk_camera hk_camera_rviz.launch

在这里插入图片描述
在这里插入图片描述

2 览沃Livox SDK二次开发并封装ROS

参考笔者博客：【Ubuntu18.04】Livox Tele-15使用教程
安装Livox环境和驱动

# 安装Livox_SDK
git clone https://github.com/Livox-SDK/Livox-SDK.git
cd Livox-SDK
cd build && cmake ..
make
sudo make install# 安装livox_ros_driver
cd  Livox-SDK  # 进入Livox-SDK目录
git clone https://github.com/Livox-SDK/livox_ros_driver.git ws_livox/src
cd ws_livox   # 进入工作空间
catkin_make

3 相机雷达联合标定——相机内参标定

3.1 环境配置

3.1.1 安装依赖——PCL 安装

参考链接：Ubuntu18.04安装PCL 1.9.1(图文详解，附踩坑和测试)

step1：安装依赖

sudo apt-get update
sudo apt-get install git build-essential linux-libc-dev
sudo apt-get install cmake cmake-gui
sudo apt-get install libusb-1.0-0-dev libusb-dev libudev-dev
sudo apt-get install mpi-default-dev openmpi-bin openmpi-common
sudo apt-get install libflann1.8 libflann-dev
sudo apt-get install libeigen3-dev
sudo apt-get install libboost-all-dev
sudo apt-get install libvtk5.10-qt4 libvtk5.10 libvtk5-dev
sudo apt-get install libqhull* libgtest-dev
sudo apt-get install freeglut3-dev pkg-config
sudo apt-get install libxmu-dev libxi-dev
sudo apt-get install mono-complete
sudo apt-get install qt-sdk openjdk-8-jdk openjdk-8-jre

step2：下载源码
建议安装1.9.1

git clone https://github.com/PointCloudLibrary/pcl.git

step3：编译源码

cd pcl
mkdir build
cd build
cmake -DCMAKE_BUILD_TYPE=None -DCMAKE_INSTALL_PREFIX=/usr \ -DBUILD_GPU=ON-DBUILD_apps=ON -DBUILD_examples=ON \ -DCMAKE_INSTALL_PREFIX=/usr ..

make

step4：安装

sudo make install

step5：PCLVisualizer(需要可以安装)

sudo apt-get install libopenni-dev
sudo apt-get install libopenni2-dev

3.1.2 安装依赖——Eigen 安装

简单命令安装

sudo apt-get install libeigen3-dev

3.1.3 安装依赖——Ceres-solver 安装

下载ceres-solver-1.14.0

git clone https://github.com/ceres-solver/ceres-solver

依赖安装

 sudo apt-get install cmakesudo apt-get install libgoogle-glog-devsudo apt-get install libatlas-base-devsudo apt-get install libeigen3-devsudo apt-get install libsuitesparse-devsudo add-apt-repository ppa:bzindovic/suitesparse-bugfix-1319687sudo apt-get updatesudo apt-get install libsuitesparse-dev

安装 ceres-solver

tar zxf ceres-solver-1.14.0.tar.gz
mkdir ceres-bin && cd ceres-bin
cmake ../ceres-solver-1.14.0
make -j3
make install

至此需要的库安装完毕

3.1.4 下载源码，编译准备

# 进入工作空间
cd ws_livox/src
git clone https://github.com/Livox-SDK/livox_camera_lidar_calibration.git 
cd ..    # 返回上一级目录
catkin_make
source devel/setup.bash
  • 此时工作空间的目录结构为：

在这里插入图片描述

3.1.5 程序节点概括

此项目包括如下节点:

  1. cameraCalib - 标定相机内参
  2. pcdTransfer - 将雷达点云rosbag转换成PCD文件
  3. cornerPhoto -获得照片角点
  4. getExt1 - 计算外参节点１，只优化外参
  5. getExt2 - 计算外参节点２，同时优化内参和外参
  6. projectCloud - 把雷达点云投影到照片上 colorLidar - 雷达点云着色

以下程序节点中如果想修改launch文件，需要到src/calibration/launch文件夹中找对应的launch文件。

3.2 相机内参标定

3.2.1 前期准备

  • 准备一块有黑白棋盘格的标定板(如下所示，可以打印出来)

在这里插入图片描述

  • 笔者实际用的标定版规格是：

在这里插入图片描述

3.2.2 cameraCalib标定

  • 要准备20张以上的照片数据，各个角度和位置都要覆盖，拍摄的时候不要距离太近(3米左右)，如下图所示。

采集棋盘格图像：

方法1：直接使用HIKROBOT的上位机来抓取并保存图片

选择指定的保存路径

在这里插入图片描述
抓取图片
在这里插入图片描述

方法2：使用 ROS可视化工具rqt_image_view查看并保存图片

  • 终端1：启动相机的ROS驱动（以HIKROBOT为例）
# 进入工作空间
source devel/setup.bash  # 加载环境
# roslaunch [软件包] 启动文件.launch
roslaunch hk_camera hk_camera.launch
  • 终端2：保存好标定要用的图片
# 加载环境
source devel/setup.bash
# 打开相机画面
rqt_image_view

在这里插入图片描述

  • 说明： 笔者以下数据使用官网下载的数据集来测试：

测试数据下载：data.zip

在这里插入图片描述

  • 获得照片数据后，配置cameraCalib.launch中对应的路径和参数，默认是把照片数据放在data/camera/photos下，然后在data/camera/in.txt中写入所有需要使用的照片名称，如下图所示
    在这里插入图片描述

在这里插入图片描述
输入指令开始标定

#进入工作空间
cd ws_livox/
source devel/setup.bash
roslaunch camera_lidar_calibration cameraCalib.launch
  • 成功运行显示如下：

在这里插入图片描述

  • 标定结果中会保存在data/camera/result.txt中，包括重投影误差，内参矩阵和畸变纠正参数。

内参结果

  • 一个3x3的内参矩阵(IntrinsicMatrix)
  • ５个畸变纠正参数 k1, k2, p1, p2, k3
报错 （若无报错则跳过此步骤）

在这里插入图片描述

解决方法：

参考链接：
解决 cv_bridge 与 opencv4 版本冲突问题

  • 下载 cv_bridge

下载 noetic 版本的 cv_bridge。（noetic 版本的 cv_bridge 在 melodic 下也能使用，不过要做一些修改，后续会说明）
下载地址：https://github.com/ros-perception/vision_opencv/tree/noetic
下载完成后，将 cv_bridge 拷贝到 ros 工作空间的 src 文件夹下。
此时工作空间的目录结构为：
在这里插入图片描述
为了不影响原来的包，将该文件夹重命名为 cv_bridge_new，并且将cv_bridge_new文件夹下 CMakeLists.txt 文件中 project 名称修改为 cv_bridge_new：
在这里插入图片描述

  • 在 CMakeLists.txt 文件中指定我们自己的功能包中所用的 opencv4：
    在这里插入图片描述

  • 并且修改 package.xml 中包的名称：

在这里插入图片描述

  • 报错1：

在这里插入图片描述

  • 解决方法：

直接修改 cv_bridge_new的CMakeLists.txt 文件：

...
if(PYTHONLIBS_VERSION_STRING VERSION_LESS "3.8")
# Debian Buster
find_package(Boost REQUIRED python3)
...

在这里插入图片描述

  • 报错2：

在这里插入图片描述

  • 解决方法：

修改 cv_bridge_new/src/module.hpp 文件下 void* do_numpy_import()函数为 （注意*要删除）

static void do_numpy_import( )
{import_array( );
}

在这里插入图片描述

再次编译：

catkin_make

在这里插入图片描述
再次输入指令开始标定

#进入工作空间
cd ws_livox/
source devel/setup.bash
roslaunch camera_lidar_calibration cameraCalib.launch

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/120310.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

快捷键记录

快捷键记录

文章目录 ctrlaltashftwinsWinRCtrlc和CtrlvCtrl -Xshell的复制粘贴ctrlalt（鼠标跳出）ctrl alt T ctrlalta 这是QQ/TIM的屏幕截图快捷键。截图成功后，会有一栏导航，可以对图片进行勾画、模糊、绘画、标号、撤回、翻译、提取文…
阅读更多...
百度文心一言4.0抢先体验教程！

百度文心一言4.0抢先体验教程！

🍁 展望：关注我, AI学习之旅上，我与您一同成长！ 一、 引言 想快速体验文心一言4.0，但又觉得技术难度太高？别担心，我来手把手教你！ 🚀 10月17日，文心一言4.0…
阅读更多...
【Overload游戏引擎细节分析】PBR材质Shader

【Overload游戏引擎细节分析】PBR材质Shader

PBR基于物理的渲染可以实现更加真实的效果，其Shader值得分析一下。但PBR需要较多的基础知识，不适合不会OpenGL的朋友。 一、PBR理论 PBR指基于物理的渲染，其理论较多，需要的基础知识也较多，我在这就不再写一遍了&…
阅读更多...
Centos使用war文件部署jenkins

Centos使用war文件部署jenkins

部署jenkins所需要的jdk环境如下： 这里下载官网最新的版本： 选择jenkins2.414.3版本，所以jdk环境最低得是java11 安装java11环境 这里直接安装open-jdk yum -y install java-11-openjdk.x86_64 java-11-openjdk-devel.x86_64下载jenkins最新…
阅读更多...
leetcode第80题：删除有序数组中的重复项 II

leetcode第80题：删除有序数组中的重复项 II

题目描述 给你一个有序数组 nums ，请你 原地 删除重复出现的元素，使得出现次数超过两次的元素只出现两次 ，返回删除后数组的新长度。 不要使用额外的数组空间，你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。 …
阅读更多...
人性与理性共赢，真心罐头跃过增长的山海关

人性与理性共赢，真心罐头跃过增长的山海关

在北方不少地方，黄桃罐头是一种抚慰人心的力量。从大连起家，用真材实料打动人心的真心罐头，在朝着国民品牌前进的路上，需要更透彻地洞悉“人性”。 ”人的因素影响太大。我们希望可以告别个人英雄主义，用流程来保证可…
阅读更多...
139.【JUC并发编程-04】

139.【JUC并发编程-04】

JUC-并发编程04 (八)、共享模型之工具1.线程池(1).自定义线程池_任务数小于队列容量(2).自定义线程池_任务数大于队列容量(3).自定义线程池_拒绝策略 2.ThreadPoolExecutor(1).线程池状态(2).构造方法(3).newFixedThreadPool (固定大小线程池)(4).newCachedThreadPool (缓存线程…
阅读更多...
设树B是一棵采用链式结构存储的二叉树，编写一个把树 B中所有结点的左、右子树进行交换的函数 中国科学院大学2015年数据结构(c语言代码实现)

设树B是一棵采用链式结构存储的二叉树，编写一个把树 B中所有结点的左、右子树进行交换的函数 中国科学院大学2015年数据结构(c语言代码实现)

本题代码如下 void swap(tree* t) {if (*t)// 如果当前节点非空 {treenode* temp (*t)->lchild;// 临时存储左子节点 (*t)->lchild (*t)->rchild;// 将右子节点赋值给左子节点(*t)->rchild temp;// 将临时存储的左子节点赋值给右子节点 swap(&(*t)->l…
阅读更多...
【ModbusTCP协议】

【ModbusTCP协议】

ModbusTCP协议 一、搭建一个ModbusTCP环境二、ModbusTCP通信协议报文格式ModbusTCP的特点 一、搭建一个ModbusTCP环境 搭建一个ModbusTCP环境 1、使用ModbusSlave 2、可以用西门子PLC来做 使用西门子搭建ModbusTCP环境，就需要先搭建一个西门子PLC仿真环境 下载软件P…
阅读更多...
NSS [SWPUCTF 2021 新生赛]sql

NSS [SWPUCTF 2021 新生赛]sql

NSS [SWPUCTF 2021 新生赛]sql 很明显是sql，有waf。 参数是wllm get型传参，有回显，单引号闭合，回显位3 跑个fuzz看看waf 过滤了空格 and 报错注入 空格->%09 ->like and->&&爆库：test_db -1%27uni…
阅读更多...
网络扫描与网络监听

网络扫描与网络监听

前言：前文给大家介绍了网络安全相关方面的基础知识体系，以及什么是黑客，本篇文章笔者就给大家带来“黑客攻击五部曲”中的网络扫描和网络监听 目录 黑客攻击五部曲 网络扫描 按扫描策略分类 按照扫描方式分类 被动式策略 系统用户扫描 …
阅读更多...
JS防抖与节流(含实例各二种写法 介绍原理)

JS防抖与节流(含实例各二种写法 介绍原理)

防抖 防抖是什么？ 单位时间内，频繁触发事件，只执行最后一次 通俗易懂点就是把防抖想象成MOBA游戏的回城，在回城过程中被打断就要重来 例子：我们来做一个效果，我们鼠标在盒子上移动，数字就变化 …
阅读更多...
CVE-2021-41773/42013 apache路径穿越漏洞

CVE-2021-41773/42013 apache路径穿越漏洞

影响范围 CVE-2021-41773 Apache HTTP server 2.4.49 CVE-2021-42013 Apache HTTP server 2.4.49/2.4.50 漏洞原理 Apache HTTP Server 2.4.49版本使用的ap_normalize_path函数在对路径参数进行规范化时会先进行url解码，然后判断是否存在…/的路径穿越符&#xf…
阅读更多...
CMMI/ASPICE认证咨询及工具服务

CMMI/ASPICE认证咨询及工具服务

服务概述 质量专家戴明博士的名言“如果你不能描述做事情的过程，那么你不知道你在做什么”。过程是连接有能力的工程师和先进技术的纽带，因此产品开发过程直接决定了产品的质量和研发的效率。 经纬恒润可结合多体系要求，如IATF16949\ISO26262…
阅读更多...
Java 基础面试题，JVM 内存模型？

Java 基础面试题，JVM 内存模型？

我们在 Java 岗位的面试题中，大概率会碰到这样一个面试题：请你解释你对 JVM 内存模型的理解。 今天我们就来回答一下这个问题： JDK 11 中的 JVM 内存模型可以分为以下几个部分： 程序计数器（Program Counter&#xff…
阅读更多...
汽车行驶性能的主观评价方法(1)-底盘校准方法

汽车行驶性能的主观评价方法(1)-底盘校准方法

底盘校准的目的是，从行驶性能和行驶舒适性两个方面进行协调，从而优化行驶动力学特性。为了达到这一目标，工程人员早在设计阶段，就对大多数对行驶动力性有重要意义的部件提出了要求。这些要求不仅与底盘的组件有关，还必…
阅读更多...
每日汇评：黄金争取本周收于2000美元上方

每日汇评：黄金争取本周收于2000美元上方

在周五美国个人消费支出通胀之前，金价巩固了周四的双向价格走势； 在市场情绪改善之际，美元与美债收益率一同下跌； 黄金价格在日线图上确认了一个多头标志，相对强弱指数仍然指向更多的上涨； 周五早盘&#x…
阅读更多...
django建站过程（3）定义模型与管理页

django建站过程（3）定义模型与管理页

定义模型与管理页 定义模型[models.py]迁移模型向管理注册模型[admin.py]注册模型使用Admin.site.register(模型名)修改Django后台管理的名称定义管理列表页面应用名称修改管理列表添加查询功能 django shell交互式shell会话 认证和授权 定义模型[models.py] 模仿博客形式&…
阅读更多...
minio + linux + docker + spring boot实现文件上传与下载

minio + linux + docker + spring boot实现文件上传与下载

minio docker spring boot实现文件上传与下载 1.在linux上安装并启动docker2.在docker中拉取minio并启动3.Spring Boot 整合 minio4.测试 minio 文件上传、下载及图片预览等功能 1.在linux上安装并启动docker 检查linux内核，必须是3.10以上 uname ‐r安装docker…
阅读更多...
LiveGBS流媒体平台GB/T28181常见问题-海康大华宇视硬件NVR摄像头通道0未获取到视频通道如何排查如何抓包分析

LiveGBS流媒体平台GB/T28181常见问题-海康大华宇视硬件NVR摄像头通道0未获取到视频通道如何排查如何抓包分析

LiveGBS常见问题海康大华宇视硬件NVR摄像头通道0未获取到视频通道如何排查如何抓包分析？ 1、硬件NVR配置接入示例2、通道数为0处置2.1、判断信令是否畅通2.1.1、点击更新通道2.1.2、有成功提示2.1.2.1、确认设备的视频通道编码是否填写2.1.2.2、确认是否超过授权数目…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023