元矿山下的音视频应用

  //  

近年来,矿业的技术和管理模式随着元宇宙的火爆和自动驾驶技术的发展逐渐变化、升级,进而衍生出元矿山的概念,音视频技术也在其中成为了关键一环。LiveVideoStackCon 2023 上海站邀请了来自希迪智驾的任思亮,为大家分享希迪智驾的元矿山建设历程以及音视频技术在元矿山体系中的应用。

文/任思亮

整理/LiveVideoStack

大家好,我是来自希迪智驾的任思亮,主要从事自动驾驶技术研发和产品的落地。大家对希迪智驾可能还比较陌生,因此接下来先对我们的企业进行一个简要介绍。

-01-

企业介绍

3ca22a23ddc43a740b82ea3beb17bb82.png

希迪智驾成立于2017年,又名长沙智能驾驶研究院有限公司,它是由大疆创新前董事长李泽湘教授创立的一家独角兽公司,云鲸科技、正浩EcoFlow和Zuvi原里等企业同为李教授创业体系下的孵化公司。

e1ad7c6f0150f6448484aad73db57c9d.png

希迪智驾当前的员工规模超过500人,其中研发团队占比近70%,团队博士、硕士占比超过40%,是一家以技术研发为核心驱动力的科技公司。

e8d763603162a6a9943177817741f4a5.png

我们的主营业务围绕自动驾驶板块,涵盖园区物流车、清扫车、港口集卡和矿用卡车等封闭环境下法定允许的无人驾驶技术以及保障无人车辆安全的智能V2V、V2X车联网技术。

-02-

 元矿山介绍

03001a5405632f92bd1ab5773069b261.png

近两年矿用卡车自动驾驶需求的增长催生了希迪智驾的云矿山理念。而无人驾驶矿卡的诞生具体要从一场社会事件说起。大家可能对2023年2月内蒙古阿拉善左旗新井煤矿的坍塌事故有所了解,至今还有47名工友被掩埋在几十米深的地下。

6aeabbe7ef1fe5c3a824dcdd52896b82.png

传统矿业在占据国民经济重要地位的同时,也存在高风险、高能耗、从业者老龄化和工作效率低等挑战。

e05d5f623d1248f5d8e8e62c47e43160.png

希迪智驾在充分调研矿业当前痛点的基础上推出了自主研发的无人驾驶纯电矿卡,它结合智能调度系统、V2X车路协同系统和远程驾驶系统等技术助力智慧矿山建设,也是希迪智驾元矿山体系的主要组分。上图展示了我们正式向江苏省句容市台泥矿区交付的14辆实车。

923fb88b80e23b1f800a926ea7e67687.png

自2022年9月起,句容矿区实现常态化无安全员生产作业。

7df5df62fac2f5535bc0fcc442020203.png

我们的无人驾驶矿卡是全国唯一经国家计量科学院认证超过人工效率的自动驾驶系统。按单车的装载量计算,它的自动驾驶效率是人工的1.04倍。

38e8f0518958e45fa18d534c897efe2a.png

综合考虑车辆维护、能源、人工等因素,有人驾驶柴油矿卡的运行成本是自动驾驶的8.6倍。

6bd2d299e48c7aed5f341081c143999f.png

上图展示了我们的元矿山“车-路-云”整体解决方案,从挖掘机装载、矿产运输、破碎站卸载到停车场充电一整套流程全部实现了无人化。该方案的落地使20到30人规模的传统矿场可将运营人员压缩至2到3人,无人化车辆的日常管理工作可以全部在调度中心完成。

0389496f8f4e40647c8e2f916a6e8c79.png

上图展示了无人矿卡动态装载的实地演示效果,车辆可随着矿场挖掘作业面的不断变化动态调整装载停车位置,这也是元矿山体系的关键环节。

cca02c51ac6588633e386b8853a91926.png

运输过程中,无人车辆的均匀碾压功能可以避免重复碾压路面造成深车辙,有利于保持道路平整,降低维护成本。

c3130d9c8367f4ac704a6135b24b1ae4.png

相对于传统矿场,元矿山无人矿卡支持全天候自动驾驶运行,进一步提高了工作效率。

31e5cd0fefc65d2184f205a8b212f13f.png

在音视频技术运用方面,首先为了应对自动驾驶可能难以处理的少数场景,我们借助腾讯云的低延时传输协议落地了远程驾驶方案,可使驾驶舱端到车辆的指令延时低于100毫秒,保证舱端操作员基本感受不到延迟。

该方案还包括一键修坡,动态归位、防碰撞等L2级驾驶功能,舱端的显示器应用了我们自研的裸眼3D算法,可以逼真显示车身前方的障碍环境,有助于提升工作效率。

除了矿卡外,该方案还可应用于挖掘机、钻机、转载机或炸药安放机器人,进一步保证生产安全,实现作业无人化。

aab8f3612e14ee9ac227872f3d7d36b2.png

接下来展示几个远程驾驶的实际运用场景。如上图所示,车辆自动行驶中如果遇到无法避让的障碍物,则可切换为远程驾驶模式处理。

d5b9ecf1bf11312de711a0adf6dba6da.png

上图展示了无人驾驶技术在甘肃金川二矿地下1000米环境下的实际应用,驾驶员可通过远程驾驶舱屏幕实时掌握车辆位置,保证了安全生产。

d7f6719a41c096e1cdad3ee6be765471.png

结合V2X车路协同和自动驾驶技术,我们在重庆涪陵大业建材矿山落地了30台无人驾驶纯电矿卡与有人车的混编生产运输。充分运用V2X系统的感知能力,可以实现无人车辆在封闭环境下L3、L4,乃至L5级自动驾驶。

5312a82782cccfe6fccb17337a293d0e.png

上图展示了远程驾驶技术在清扫车和港口集卡场景的应用。

7f7efed62a2c2b3ea2da97bea9c2592e.png

类似VR眼镜之于元宇宙,我们希望远端驾驶舱也能成为元矿山的入口,从而助力改善工作环境。

e304e06757e7236676ecf6f20d39b5e2.png

通过自动驾驶+远程驾驶,我们希望年轻人可以“舒适、游戏化”地进行远程工作,解决传统矿业高风险、招工难等等问题。

ebe2e04a8f531bf66d448115710662d6.png

音视频技术在元矿山体系中的第二个应用为网页直播,它主要用于对外宣传、客户讲解和矿场无人监控等等场景。上图为无人监控场景的演示效果,运营人员通过监控画面可实时查看车辆前方环境、行驶轨迹、速度、档位、装载模式和运输里程等等信息,其中左图黄线代表的行驶边界可借助车身雷达动态探测现场环境进行实时更新。

346a80355a10534a99a457421e998b8e.png

音视频技术在元矿山体系的第三个应用为图像识别。不同于特斯拉运用图像识别进行车载决策,我们更多将其用于增加车辆的安全冗余,通过毫米波雷达、激光雷达、视觉、超声雷达等多种传感器感知融合,综合几种传感器的优势实现车身360度范围,前方100米的行人、车辆和石块等障碍物稳定感知。

40c87624312b8e1caf291ea65be13a50.png

如上图所示,我们通过融合2D视觉图像和3D SLAM点云建图完成障碍物识别,有效节约了CPU资源。

6739ae063351f56446e0b1919be4bff3.png

上图展示了图像识别的实地效果,受矿区灰尘和雾霾等恶劣天气因素影响,它并不是主要的障碍物识别手段。雾霾等恶劣天气下的图像识别检测也是我们当前面临的一大技术挑战。

20490084f91c8fce99aec4a872a98986.png

我们的360度智能环视系统可实时采集车身周围的高清视频画面形成三维全景图,同时可检测弱势交通参与者并分级预警,提供行车轨迹指引,保证行车安全。

b7ead9e6967050ef53ccffd2eed1c60a.png

音视频技术在元矿山体系的第四个应用为视觉定位。它类似于前面提到的融合感知,针对隧道等传统GPS+IMU方案难以精准定位的场景,通过摄像头预扫描环境特征并建立SLAM点云地图,依据车辆行驶时与周围特征点的位置关系来实现定位。但该方案在高速公路等车辆两侧景物高度相近的场景下并不适用,实际工作中我们一般采用GPS+IMU、RTK差分定位和视觉定位的组合方案。

-03-

项目案例

b5a8c267666c027012f55614196de9b5.png

最后向大家介绍几个项目案例,首先是甘肃金川二矿金属矿山,它是国内最大的镍矿,作业环境位于地下1000米以下,无人驾驶矿卡的交付极大改善了矿区人员的工作环境。

46be16c2414b3a07e5f79950b1ba791b.png

2022年8月,我们向大同冀东水泥矿山交付了4台无人驾驶纯电矿卡及配套系统,矿区已进入常态化生产。

8d9650c9c2a6064afa716d1622d26436.png

我们的无人驾驶纯电矿卡一般适用于水泥矿等砂石骨料矿区的运输,这是由于矿卡在砂石骨料自上而下的运输过程中可以进行动能回收,有利于降本增效。

cbd8a4d298cdbc8cac026b2cd448209c.png

重庆涪陵大业建材矿山无人驾驶矿卡项目是当前国内最大的纯电宽体车自动驾驶项目。2023年3月已交付了10台实车并完成了试运行。

aaa1910b3dbf3fb4623b9f0225fccc5d.png

江苏句容台湾水泥矿区的14台无人纯电矿卡完成部署仅用时3个月,目前已实现7x24全天候无人运行。

我们元矿山的最终目标是实现可以远程采矿的矿山,而我们的愿景是让天下没有难采的矿。我今天的分享就到这里,谢谢大家。


094aced9ba333cd3f7dc62dc89109368.png

扫描图中二维码或点击“阅读原文 

直通LiveVideoStackCon 2023深圳站 8折购票通道

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/54286.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于神经网络的3D地质模型

地球科学家需要对地质环境进行最佳估计才能进行模拟或评估。 除了地质背景之外,建立地质模型还需要一整套数学方法,如贝叶斯网络、协同克里金法、支持向量机、神经网络、随机模型,以在钻井日志或地球物理信息确实稀缺或不确定时定义哪些可能是…

机器学习笔记之优化算法(十九)经典牛顿法的收敛性分析

机器学习笔记之优化算法——经典牛顿法的收敛性分析 引言回顾:算法的收敛性分析 Wolfe \text{Wolfe} Wolfe准则的收敛性分析梯度下降法在凸函数的收敛性分析梯度下降法在强凸函数的收敛性分析 经典牛顿法的收敛性分析收敛性定理介绍证明过程关于隐含条件的说明 引言…

FFmpeg5.0源码阅读——FFmpeg大体框架

摘要:前一段时间熟悉了下FFmpeg主流程源码实现,对FFmpeg的整体框架有了个大概的认识,因此在此做一个笔记,希望以比较容易理解的文字描述FFmpeg本身的结构,加深对FFmpeg的框架进行梳理加深理解,如果文章中有…

Android Mvvm设计模式的详解与实战教程

一、介绍 在开发设计模式中,模式经历了多次迭代,从MVC到MVP,再到如今的MVVM。发现的过程其实很简单,就是为了项目更好的管理。 设计模式严格来说属于软件工程的范畴,但是如今在各大面试中或者开发中,设计模…

三方接口调用设计方案

在为第三方系统提供接口的时候,肯定要考虑接口数据的安全问题,比如数据是否被篡改,数据是否已经过时,数据是否可以重复提交等问题 在设计三方接口调用的方案时,需要考虑到安全性和可用性。以下是一种设计方案的概述&a…

C# 学习笔记--个人学习使用 <2>

C# 学习笔记 Chapter 2 比较硬的基础部分Section 1 委托Part 1 Action 与 func 委托的示例Part 2 自定义委托Part 3 委托的一般使用Part 4 委托的高级使用Part 5 适时地使用接口 Interface 取代一些对委托的使用 Section 2 事件Part 1 初步了解事件Part 2 事件的应用Part 3 事件…

【Luniux】解决Ubuntu外接显示器不显示的问题

Luniux】解决Ubuntu外接显示器不显示的问题 文章目录 Luniux】解决Ubuntu外接显示器不显示的问题1. 检查nvidia显卡驱动是否正常2. 更新驱动3. 检查显示器是否能检测到Reference 1. 检查nvidia显卡驱动是否正常 使用命令行 nvidia-smi来检查显卡驱动是否正常,如果…

持续集成与持续交付:现代软件测试的变革之路

引言 在数字化时代,软件开发的速度和复杂性都在不断增加。为了满足市场的需求,企业需要更快、更高效地交付高质量的软件产品。在这样的背景下,持续集成与持续交付(CI/CD)成为了软件开发和测试的核心实践。 软件开发的…

论文阅读 The Power of Tiling for Small Object Detection

The Power of Tiling for Small Object Detection Abstract 基于深度神经网络的技术在目标检测和分类方面表现出色。但这些网络在适应移动平台时可能会降低准确性,因为图像分辨率的增加使问题变得更加困难。在低功耗移动设备上实现实时小物体检测一直是监控应用的…

小研究 - Java虚拟机性能及关键技术分析

利用specJVM98和Java Grande Forum Benchmark suite Benchmark集合对SJVM、IntelORP,Kaffe3种Java虚拟机进行系统测试。在对测试结果进行系统分析的基础上,比较了不同JVM实现对性能的影响和JVM中关键模块对JVM性能的影响,并提出了提高JVM性能的一些展望。…

css之文字连续光影特效、动画、scss

文章目录 效果图htmlscsscss 效果图 html <div><span>C</span><span>O</span><span>L</span><span>O</span><span>R</span><span>F</span><span>U</span><span>L</span&…

WOFOST模型与PCSE模型应用

实现作物产量的准确估算对于农田生态系统响应全球变化、可持续发展、科学粮食政策制定、粮食安全维护都至关重要。传统的经验模型、光能利用率模型等估产模型原理简单&#xff0c;数据容易获取&#xff0c;但是作物生长发育非常复杂&#xff0c;中间涉及众多生理生化过程&#…

Java学数据结构(2)——树Tree 二叉树binary tree 二叉查找树 AVL树 树的遍历

目录 引出什么是树Tree&#xff1f;树的实现二叉树binary tree查找树ADT——二叉查找树Binary Search Tree1.contains方法2.findMax和findMin方法3.insert方法4.remove方法&#xff08;复杂&#xff09;二叉查找树的深度 AVL(Adelson-Velskii和Landis)树——平衡条件(balance c…

流处理详解

【今日】 目录 一 Stream接口简介 Optional类 Collectors类 二 数据过滤 1. filter()方法 2.distinct()方法 3.limit()方法 4.skip()方法 三 数据映射 四 数据查找 1. allMatch()方法 2. anyMatch()方法 3. noneMatch()方法 4. findFirst()方法 五 数据收集…

Day43|leetcode 1049.最后一块石头的重量II、494.目标和、474.一和零

leetcode 1049.最后一块石头的重量II 题目链接&#xff1a;1049. 最后一块石头的重量 II - 力扣&#xff08;LeetCode&#xff09; 视频链接&#xff1a;动态规划之背包问题&#xff0c;这个背包最多能装多少&#xff1f;LeetCode&#xff1a;1049.最后一块石头的重量II_哔哩…

date_range()函数--Pandas

1. 函数功能 生成连续的日期时间序列 2. 函数语法 pandas.date_range(startNone, endNone, periodsNone, freqNone, tzNone, normalizeFalse, nameNone, inclusiveboth, *, unitNone, **kwargs)3. 函数参数 参数含义start可选参数&#xff0c;起始日期end可选参数&#xff…

01-Flask-简介及环境准备

Flask-简介及环境准备 前言简介特点Flask 与 Django 的比较环境准备 前言 本篇来介绍下Python的web框架–Flask。 简介 Flask 是一个轻量级的 Web 框架&#xff0c;使用 Python 语言编写&#xff0c;较其他同类型框架更为灵活、轻便且容易上手&#xff0c;小型团队在短时间内…

QtCreator指定Windows Kits版本

先说下事件起因&#xff1a;之前一直在用Qt5.12.6&#xff0b;vs2017在写程序&#xff0c;后面调研了一个开源库Qaterial&#xff0c;但是翻来覆去的编译都有问题&#xff0c;后面升级到了Qt5.15.2&#xff0b;vs2019来进行cmake的编译&#xff0c;搞定了Qaterial&#xff0c;但…

软考A计划-系统集成项目管理工程师-小抄手册(共25章节)-下

点击跳转专栏>Unity3D特效百例点击跳转专栏>案例项目实战源码点击跳转专栏>游戏脚本-辅助自动化点击跳转专栏>Android控件全解手册点击跳转专栏>Scratch编程案例点击跳转>软考全系列点击跳转>蓝桥系列 &#x1f449;关于作者 专注于Android/Unity和各种游…