Omniverse合成数据生成【城市交通场景】

智慧城市是城市生活的未来。 然而,它们可能给城市规划者带来各种挑战,尤其是在交通领域。 为了取得成功,城市的各个方面—从环境和基础设施到商业和教育—必须在功能上整合。

这可能很困难,因为单独管理交通流量是一个复杂的问题,充满了拥堵、事故应急响应和排放等挑战。

为了应对这些挑战,开发人员正在创建具有现场可编程性和灵活性的人工智能软件。 这些软件定义的物联网解决方案可以为交通管理、车牌识别、智能停车和事故检测等实时环境提供可扩展、可立即部署的产品。

尽管如此,构建有效的人工智能模型说起来容易做起来难。 遗漏值、重复示例、错误标签和错误特征值是训练数据的常见问题,可能导致模型不准确。 对于自动驾驶汽车来说,不准确的结果可能是危险的,还可能导致交通系统效率低下或城市规划不良。

在线工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 

1、实时城市交通的数字孪生

NVIDIA Metropolis 合作伙伴、端到端 AI 工程公司 SmartCow 在 NVIDIA Omniverse 上创建了交通场景的数字孪生。 这些数字孪生生成合成数据集并验证人工智能模型的性能。

该团队通过使用 NVIDIA Omniverse Replicator 生成合成数据,解决了由于缺乏足够数据来构建优化的 AI 训练管道而导致的常见挑战。

所有 Omniverse 扩展的基础是通用场景描述,称为 OpenUSD。 USD 是一种功能强大的交换工具,具有高度可扩展的属性,虚拟世界就建立在其基础上。 智慧城市的数字孪生依赖于高度可扩展和可互操作的 USD 功能来实现准确模拟现实世界的大型高保真场景。

Omniverse Replicator 是 Omniverse 平台的核心扩展,使开发人员能够以编程方式生成带注释的合成数据,以引导 AI 模型感知的训练。 当真实数据集有限或难以获取时,合成数据特别有用。

通过使用数字孪生,SmartCow 团队生成了准确代表现实世界交通场景和违规情况的合成数据。 这些合成数据集有助于验证人工智能模型并优化人工智能训练管道。

2、构建车牌检测扩展

智能交通管理系统面临的最重大挑战之一是车牌识别。 开发一个适用于具有不同规则、法规和环境的多个国家和城市的模型需要多样化且强大的训练数据。 为了为模型提供充足且多样化的训练数据,SmartCow 在 Omniverse 中开发了一个扩展来生成合成数据。

Omniverse 中的扩展是可重用的组件或工具,可提供强大的功能来增强管道和工作流程。 在 Omniverse Kit 中构建扩展后,开发人员可以轻松地将其分发给客户,以便在 Omniverse USD Composer、Omniverse USD Presenter 和其他应用程序中使用。

SmartCow 的扩展名为车牌合成生成器 (LP-SDG),它使用环境随机化器和物理随机化器来使合成数据集更加多样化和真实。

环境随机发生器模拟数字孪生环境中的照明、天气和其他因素(例如雨、雪、雾或灰尘)的变化。 物理随机发生器模拟可能影响模型识别车牌号码的能力的划痕、污垢、凹痕和变色。

3、用Omniverse Replicator 生成合成数据

数据生成过程从在 Omniverse 中创建 3D 环境开始。 Omniverse 中的数字孪生可用于许多模拟场景,包括生成合成数据。 最初的 3D 场景是由 SmartCow 的内部技术艺术家构建的,确保数字孪生尽可能与现实相匹配。

生成场景后,将使用域随机化来改变光源、纹理、相机位置和材质。 整个过程是使用内置的 Omniverse Replicator API 以编程方式完成的。

生成的数据与边界框标注和训练所需的其他输出变量一起导出。

4、模型训练

初始模型使用 3,000 张真实图像进行训练。 目标是了解基线模型性能并验证正确的边界框尺寸和光线变化等方面。

接下来,该团队进行了实验,以比较综合生成的 3,000 个样本、30,000 个样本和 300,000 个样本的数据集的基准。

SmartCow 软件工程师 Natalia Mallia 表示:“凭借 Omniverse 获得的真实感,基于合成数据训练的模型有时会优于基于真实数据训练的模型。” “使用合成数据实际上消除了真实图像训练数据集中自然存在的偏差。”

为了提供准确的基准测试和比较,该团队在对三种大小的综合生成的数据集进行训练时,将数据随机化到一致的参数(例如一天中的时间、划痕和视角)。 真实世界数据不会与合成数据混合进行训练,以保持比较准确性。 每个模型都根据大约 1,000 张真实图像的数据集进行了验证。

SmartCow 的团队将 Omniverse LP-SDG 扩展的训练数据与 NVIDIA TAO 集成,后者是一个低代码 AI 模型训练工具包,利用迁移学习的力量来微调模型。

该团队使用 NGC 目录中提供的预训练车牌检测模型,并使用 TAO 和 NVIDIA DGX A100 系统对其进行微调。

5、使用 NVIDIA DeepStream 进行模型部署

然后使用 NVIDIA DeepStream SDK 将 AI 模型部署到自定义边缘设备上。

然后,他们实施了一个持续学习循环,其中包括从边缘设备收集漂移数据,将数据反馈回 Omniverse Replicator,并合成可重新训练的数据集,这些数据集通过自动标记工具传递并反馈回 TAO 进行训练。

这个闭环管道有助于创建准确有效的人工智能模型,用于自动检测每条车道的交通方向以及任何异常时间停滞的车辆。

6、结束语

用于生成合成数据集和验证人工智能模型性能的数字孪生工作流程是为智慧城市交通构建更有效的人工智能模型的重要一步。 使用合成数据集有助于克服数据集有限的挑战,并提供准确有效的人工智能模型,从而实现高效的交通系统和更好的城市规划。


原文链接:Omniverse合成数据生成 - BimAnt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/162524.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

程序员护城河:保障系统安全与网络稳定的不可或缺力量

引言: 在当今数字化时代,计算机和互联网的广泛应用使得程序员的角色变得越来越重要。作为保障系统安全与网络稳定的关键力量,程序员需要具备一系列的基本能力,同时还需掌握一些专业技术和策略,以确保系统运行的安全性…

Navicat 技术指引 | 适用于 GaussDB 的查询编辑器

Navicat Premium(16.2.8 Windows版或以上) 已支持对 GaussDB 主备版的管理和开发功能。它不仅具备轻松、便捷的可视化数据查看和编辑功能,还提供强大的高阶功能(如模型、结构同步、协同合作、数据迁移等),这…

leecode | HTML 解析器

提供一串字符串,根据给定的规则,去解析该字符串,并返回结果 简而言之,就是根据指定的格式,替换内容 HTML 里这些特殊字符和它们对应的字符实体包括: 双引号:字符实体为 " ,对应…

立言

根据我的理解,不了解佛法 和 了解佛法 得看 因缘。相比较了解佛法,理解佛法则显得更难;相比较理解佛法,见解佛法则显得更难;相比较见解佛法,证解佛法则显得更难;相比较证解佛法,真正…

vue 文件md5

一、在项目根目录下安装 npm install --save js-md5 二、在vue文件中引入 import md5 from ‘js-md5’; 三、在vue文件中使用 md5(1); // d41d8cd98f00b204e9800998ecf84273// 加密中文 md5(中文);// 其他 md5([]);// Different output md5(1); // d41d8cd98f00b204e98009…

智能导视电子指路牌是什么?

SVIP-3800系列智能电子指路牌也称智慧指路灯杆,智能指路牌,导航立柱,多功能指示牌,多功能路标,智能指路机器人,智能导视指路牌,问路导航机器人,智能路牌,叁仟智慧路牌、智…

统计学显著性检验

方差齐性: 方差齐性指在两个或多个总体中,它们的方差是相等的。 方差齐性是t检验、方差分析的前提条件之一。 方差分析(ANOVA): 通过比较组间变异与组内变异的大小关系,来判断样本均值是否有显著性差异&a…

数据结构-leetcode(设计循环队列)

1.学习内容: 今天 我们讲解一道能够很好的总结所学队列知识的题目---设计循环队列 622. 设计循环队列 - 力扣(LeetCode) 2.题目描述: 让我们设计一个队列 要求是循环的 这和我们的双向链表有些类似 让我们按要求设计出这些相对…

多线程解决大数据批量导出问题(demo)

1.首先从网上找一个到工具类,我这里是ExcelUtils,如下 package com.org.util;import org.apache.poi.xssf.streaming.SXSSFCell; import org.apache.poi.xssf.streaming.SXSSFRow; import org.apache.poi.xssf.streaming.SXSSFSheet;import java.beans.I…

Navicat 技术指引 | GaussDB 数据查看器

Navicat Premium(16.2.8 Windows版或以上) 已支持对GaussDB 主备版的管理和开发功能。它不仅具备轻松、便捷的可视化数据查看和编辑功能,还提供强大的高阶功能(如模型、结构同步、协同合作、数据迁移等),这…

读论文模板

文章简介 文章标题:文章链接作者单位:文章来源:会议视频ppt1.他人代码 2.作者代码 文章思路 文章总结 1.解决问题 2.使用方法 3.文章不足

解释器模式 (Interpreter Pattern)

定义 解释器模式(Interpreter Pattern)是一种行为型设计模式,用于定义一种语言的语法表示,并提供一个解释器来处理这种语法。这种模式用于实现语言解释器,通常用于专业领域或复杂文本处理中。在解释器模式中&#xff…

220V转12V固定输出12V非隔离芯片WT5106WT5105

220V转12V固定输出12V非隔离芯片WT5106WT5105 今天给大家介绍一款实用芯片,WT5106。它是一款高效率高精度的非隔离降压开关电源恒压控制驱动芯片。 WT5106适用于85VAC~265VAC全范围输入电压的非隔离Buck、Buckboost拓扑结构,小家电、电机驱动、继电器驱…

量子计算争霸战加码?美国将拨款30亿美元发展量子计算

(图片来源:网络) 美国众议院科学、太空和技术委员会认为,如果不采取措施加速量子计算系统的发展,美国将落后于俄罗斯和中国。 因此,该小组的领导人——主席Frank Lucas(共和党)和高…

云贝教育 |【PostgreSQL PGCA题目解析5】PostgresSQL是否能够自动检测到死锁,然后退出其中一个事务?

考试科目:PGCA-E-090 考试题量:40 道单项选择题、10 道多项选择题(每题 2 分) 通过分数:60% 考试时间:60min 本文为云贝教育刘峰(微信:yunbee_DBA)原创,请…

基于 Modbus 的工业数据采集、控制(part 3)

Modbus 设备(利用 slave 模拟) Modbus 采集程序 client.c #include "client.h"modbus_t *ctx; key_t key_shm, key_msg; int shmid, msgid; struct shm *shm0; struct msgbuf msg0;void *collector(void *arg) {struct shm *p = (struct shm *)arg;while (1){sle…

浏览器事件循环原理 —— JS为何会阻碍渲染?

系列文章目录 第一章 浏览器事件循环原理 —— 浏览器进程模型第二章 浏览器事件循环原理 —— 渲染主线程如何工作?第三章 浏览器事件循环原理 —— 何为异步? 文章目录 系列文章目录 文章目录 前言 代码解析 总结 前言 该文章作用于 “web前端大…

桥接模式 (Bridge Pattern)

定义: 桥接模式(Bridge Pattern)是一种结构型设计模式,用于将抽象部分与其实现部分分离,使它们可以独立地变化。这种模式通过创建一个桥接接口,将抽象类和其实现类解耦,使得修改或扩展独立的抽…

改进YOLOv5 | C3模块改动篇 | 轻量化设计 |骨干引入动态卷积|CondConv

🗝️YOLOv5实战宝典--星级指南:从入门到精通,您不可错过的技巧   -- 聚焦于YOLO的 最新版本, 对颈部网络改进、添加局部注意力、增加检测头部,实测涨点 💡 深入浅出YOLOv5:我的专业笔记与技术总结   -- YOLOv5轻松上手, 适用技术小白,文章代码齐全,仅需 …

信号功率放大器的工作原理和特点是什么

信号功率放大器是一种电子设备,用于将输入信号的功率进行放大,以达到所需的输出功率水平。它在各个领域中都有广泛的应用,包括音频放大器、射频放大器、激光功率放大器等。下面将详细介绍信号功率放大器的工作原理和特点。 工作原理&#xff…