Nvidia Orin/Jetson +GMSL/RLINC/VbyOne/FPDLink 同轴AI多相机同步车载视觉解决方案

在本次演讲中,介绍了多相机同步技术在自主机器中的应用情况,围绕无人配送小车、控制器视觉传感器方案升级、人形机器人三个典型案例中如何为客户提供高效的多相机同步解决方案进行了详细的讲解,并进一步介绍如何通过创新的多相机同步技术,来满足自主机器的多相机组合感知、不同相机数据精准同步的需求。

多相机在无人配送小车的应用

无人配送小车作为典型的L4自动驾驶场景,常用NVIDIA Jetson Orin平台作为核心计算处理器,需要同时处理激光、摄像头、GPS、IMU等多种传感器信息,从而进行自主导航、识别信号灯、避开障碍。

在无人车的应用中,对不同功能的相机要求不同,比如红绿灯相机需要能够识别红绿灯,因此对相机分辨率HDR AWB的要求非常高,需要它能在不同的光线环境下准确还原红绿灯的轮廓和颜色;感知相机用于车辆四周环境的识别,对于HDR对比度清晰度要求会比较高;环视相机用于平行驾驶,不仅要求能够清晰看清车辆四周的环境,而且还需要在晚上也能够清晰成像来保障24小时运行,因此对相机的低照度要求非常高。

为了提升感知算法的准确率,基于NVIDIA Jetson自动驾驶控制器通过精准的授时技术,完成整个系统的时间同步,对多路相机实现同步曝光。

工业机器人控制器解决方案升级

随着AI的发展,工业机器人在进行算法升级时,需要同时接入多路相机,并且要求摄像头进行同步曝光,能够完成物品的拍摄、识别、抓取等作业过程。

由于传统的工业机器人大多使用USB摄像头或者以太网摄像头,因此无法实现摄像头的同步曝光。为了解决以上问题,基于NVIDIA Jetson Orin平台提供一整套多相机同步解决方案。

首先,通过同轴相机(比如GMSL/RLINC/VbyOne/FPDLink)将多路相机接入Jetson Orin控制器,Jetson Orin通过触发方式实现多个摄像头的精准同步曝光,然后Jetson Orin在对多路摄像头的数据进行拼接等预处理之后,用相同的接口接入到工业机器人的主控中。

这样不仅可以实现多相机同时具备边缘算力,还可以通过Jetson Orin的处理多相机同步,来解决原来USB相机无法实现的精准同步曝光问题。

多传感器在人形机器人上的应用

人形机器人作为当下的热点,它也是一种典型的高依赖相机作为感知/识别的自主机器,机器人要实现自主工作,需要对周边的环境、目标进行精确感知,这就需要高度依赖摄像头。

常见的人形机器人相机布置方案大致:头部布置一个双目相机,类似人的眼睛;在胸前和胸后各布置两个相机,覆盖机器人前后的视野;在关节的相机可以起到补盲的效果,能够更好的满足目标识别等作业过程。

另外,人形机器人在工作过程中需要对复杂场景进行感知,为了满足目标的精确定位需要计算深度信息,因此要求不同的摄像头需要严格同步。

总结来看,人形机器人相机需要具备长距离传输、高稳定性传输、多相机时间同步等特点,而采用基于NVIDIA Jetson平台加上多路数字同轴相机(比如GMSL/RLINC/VbyOne/FPDLink)的同步技术,能够很好地满足机器视觉应用的需求。

基于NVIDIA  Jetson Orin推出系列产品

作为全球领先的成像感知产品和服务供应商,自创立以来专注于成像和视觉技术,通过打造优秀的摄像头模组和解决方案,为智能驾驶、无人驾驶、自主机器、车路协同等领域提供一流的服务。

NVIDIA的合作由来已久,目前已经基于NVIDIA Jetson Orin平台推出了同轴相机(比如GMSL/RLINC/VbyOne/FPDLink)、MIPI相机、EVS仿生事件相机等一系列开发套件。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/17200.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Boot 统一数据返回格式

在 Spring Boot 项目中,统一的数据格式返回是一种良好的实践,它提高了代码的可维护性和一致性,并改善了客户端与服务端之间的通信。本文将介绍如何在 Spring Boot 中实现统一的数据格式返回。 1 为什么需要统一数据返回格式 ⽅便前端程序员更…

VS Code开发Python配置和使用教程

在Visual Studio Code (VSCode) 中配置和使用Python进行开发是一个相对直接的过程,下面是一份简明的指南,帮助你从零开始设置环境: 1. 安装Visual Studio Code 首先,确保你已经安装了Visual Studio Code。如果还没有安装&#x…

2024年03月 Python(三级)真题解析#中国电子学会#全国青少年软件编程等级考试

Python等级考试(1~6级)全部真题・点这里 一、单选题(共25题,共50分) 第1题 在Python中,hex(2023)的功能是?( ) A:将十进制数2023转化成十六进制数 B:将十进制数2023转化成八进制数 C:将十六进制数2023转化成十进制数 D:将八进制数2023转化成十进制数 答案:A …

JVM-之GC日志

一、 开启gc 日志 在项目中开启GC 日志打印后会查看gc 日志如下 nohup java -Xms768m -Xmx768m -XX:HeapDumpOnOutOfMemoryError -XX:HeapDumpPath./dumplog/dumplog.log -Xloggc:./dumplog/gc.log -XX:PrintGCDetails -XX:PrintGCDateStamps -XX:PrintHeapAtGC -jar xxxx…

Git如何将pre-commit也提交到仓库

我一开始准备将pre-commit提交到仓库进行备份的,但是却发现提交不了,即使我使用强制提交都不行。 (main) $ git add ./.git/hooks/pre-commit(main) $ git status On branch main nothing to commit, working tree clean# 强制提交(main) $ git add -f .…

医学预测模型进入临床实践的三个考量

医学预测模型进入临床实践的三个考量 预测模型能够从患者的临床数据中挖掘出有价值的信息,用于辅助诊断、预后评估、治疗决策和风险分层等。随着,临床预测模型不断地被构建出来,需要考虑的一个问题是临床预测模型如何进入临床实践&#xff0…

前端基础入门三大核心之JS篇:解锁JavaScript的魔法密钥

前端基础入门三大核心之JS篇:解锁JavaScript的魔法密钥 🧙 基础概念与作用:JS,不仅仅是“脚本”👨‍💻 基础语法探险:从Hello World到变量声明🎯 Hello JavaScript📚 变量…

188M2传奇BLUEM2引擎源码开源版附带编译教程2024最新开源

2024最新开源188M2传奇BLUEM2引擎源码开源2版最初开源版本附带编译教程 源码下载地址:极速云 如果需要优惠可以选择第一版最初开源188M2传奇BLUEM2引擎源码开源1版最初开源版本附带编译教程2024最新开源

Android 通过布局生成图片

通过布局生成图片 首先效果图 在竖屏的情况下通过,一般情况下,只要布局在页面上可见,并显示全,通过布局生成图片,都可以,但是横屏就不行了,会出现图片显示不完全的情况。 val bitmap Bitmap.c…

异常捕获知识点

作用 通过异常捕获,可以避免当代码报错时,造成程序卡死的情况。 //将玩家输入的内容,存储string类型的变量(容器)中 string str Console.ReadLine(); //Parse转字符串为数值类型时,必须要合法合规 int i…

TCP/UDP 套接字的编写

文章目录 基础知识 socket编程UDP套接字编程TCP套接字编写 套接字编写注意事项 基础知识 IP地址:互联网协议地址(Internet Protocol Address),分配给互联网互联中设备的单一标识,理解成生活中的邮箱地址是比较类似的。…

mac pro 解决No module named ‘_lzma‘

问题描述: Traceback (most recent call last): File "/Users/liutiecheng/Tylers Job/finetuning/tiny/train.py", line 1, in <module> import datasets …… import lzma File "/Users/liutiecheng/.pyenv/versions/3.9.2/lib/python3.9/lzma.py&quo…

HubSpot企业商机管理和销售自动化:提升业务效率的利器

在当今数字化时代&#xff0c;企业出海已成为拓展市场、增加营收的重要途径。然而&#xff0c;如何高效地管理商机和实现销售自动化&#xff0c;成为许多企业面临的挑战。HubSpot作为一款强大的营销、销售和服务自动化平台&#xff0c;为企业提供了全方位的解决方案。今天运营坛…

图解 BERT 模型

节前&#xff0c;我们星球组织了一场算法岗技术&面试讨论会&#xff0c;邀请了一些互联网大厂朋友、参加社招和校招面试的同学. 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集&…

busco,checkM2,checkM:基因组或MAG完整度分析

busco安装&#xff08;应该是一般用于真核生物&#xff09; mamba create -n BUSCO biopython1.79 conda activate BUSCO mamba install -c bioconda python3.8 sepp4.3.10 mamba install -c bioconda busco5.7.1 busco 使用 #下载数据库&#xff08;2024-01-08&#xff09…

【Docker】docker-compose 常用命令

启动服务&#xff1a; docker-compose up 如果你想在后台运行服务&#xff0c;可以添加 -d 标志&#xff1a; docker-compose up -d 开启所有服务 docker-compose start 停止服务&#xff1a; docker-compose down 查看服务状态&#xff1a; docker-compose ps 查看…

5-21作业

流式域套接字 服务器端实现 #include <stdio.h> #include <unistd.h> #include <stdlib.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <pthread.h> #include <semaphore.h> #include <…

Host头攻击

Host头攻击&#xff08;也被称为HTTP Host头注入攻击&#xff09;是一种Web安全漏洞&#xff0c;攻击者通过篡改HTTP请求中的Host头部字段来执行恶意操作。在HTTP协议中&#xff0c;Host头部字段用于指定请求所针对的域名&#xff0c;以便服务器能够正确地将请求路由到相应的We…

【MiniCPM-V】win10本地部署OCR等性能测试

性能尝试 本地配置如下 --------------------------------------------------------------------------------------- | NVIDIA-SMI 546.80 Driver Version: 546.80 CUDA Version: 12.3 | |-----------------------------------------------------…

QQ名片满级会员装x助手HTML源码

源码介绍 QQ名片满级会员展示生成HTML源码&#xff0c;源码由HTMLCSSJS组成&#xff0c;双击html文件可以本地运行效果&#xff0c;也可以上传到服务器里面&#xff0c;保存素材去选择QQ个性名片-选择大图模板-把图上传照片墙即可 源码效果 源码下载 蓝奏云&#xff1a;http…