对话NVIDIA英伟达:AI已照进现实 | 最新快讯

文 | MetaPost

NVIDIA 创始人兼首席执行官黄仁勋在 GTC 2024 主题演讲上表示:下一波 AI 浪潮将是 AI 对物理世界的学习。

当下,全球范围内价值超过50万亿美金的行业正在竞相实现数字化,数字孪生技术正在赋能千行百业。NVIDIA Omniverse 中国区业务负责人何展表示,AI 正在进入物理世界。每一栋建筑、每一个仓库、每一个工厂,都将实现 AI 化,并持续优化。新一代的数字孪生更需要使用数字化的技术、模拟世界的技术,来训练和测试 AI。

生成式 AI 有望彻底改变它所触及的每一个行业,掌握技术是迎接挑战的关键。而我们想要的 AI 一定是值得信赖的、高性能的,这样级别的 AI,需要在一个遵守物理定律的数字孪生世界中进行模拟、验证和仿真。

来听 NVIDIA 英伟达的专家们聊聊,如何将物理世界模拟和 AI 融合在一起。

0NVIDIA 的“三大灵魂”

今年的 GTC 主题演讲上,黄仁勋说:“计算机图形学、物理学引擎模拟仿真和 AI 是 NVIDIA 的灵魂所在。”

1、计算机图形学

众所周知,NVIDIA 是靠图形学起家的。何展表示,不夸张地说,几乎每一位 NVIDIA 的员工都以此为傲。利用 NVIDIA 的底层技术,开发者们可以将现实世界中每一个真实存在物品,都极度逼真地渲染及模拟出来。

2、 物理世界模拟技术

有了可以以假乱真的计算机图形学技术,做出了好的数字资产,要真正赋能到应用,还缺一个要素——物理世界模拟技术。

来看两个例子,一个是从宏观的世界去模拟,一个是在极其微小的粒子世界里做模拟技术,以赋能应用。

通过 Omniverse 渲染引擎模拟粒子爆炸的实际情况,运用大量的计算去模拟真实的粒子分析,并且加速了很多倍,以呈现真实的效果。

微观世界分子结构异常复杂的设计也需要模拟,且物理准确模拟非常重要。一个简单的例子,如果模拟精准度不够真实,那么我们今天的靶向药物治疗等方式,就都是无效的。

3、 AI 技术

过去几年,AI 技术的变革颠覆了众多行业。有了 AI 的加持,Omniverse 也带来了全新的功能和体验。

怎样通过 AI 技术快速构建一座数字孪生工厂?首先用 2D 的 PDF 图纸,通过文字描述生成 3D 结构,用到的工具是 NVIDIA 的 DeepSearch,可以通过深度学习的方式检索出你想要的模型资产,并放置在数字孪生环境中。接着调用SA软件 BlenderGPT,通过文字生成工厂系统。再用 Adobe 通过文字生成大理石地面。然后通过其他软件生成 GIS 数据,最终一个数字孪生工厂的 Demo 便完成了。

这一过程较传统设计有了巨大的变化,无需操作其他软件,只需通过文字和 Omniverse 便完成了这样一个复杂的数字孪生制作过程。过去,如此复杂、专业的设计需要科班出身的设计师以及在工厂的实践经验才能完成。现在,NVIDIA 提供的技术和平台可以让每个用户,只需输入文字、会使用 Omniverse 的平台软件,就可以完成。

这就是 AI 和 Omniverse 结合之后实现的全新设计流程。

以上,NVIDIA 的三大灵魂,融合起来就是 Omniverse 。数据显示,Omniverse 由超过300万行的代码编写而成,在全球范围内已经集成和整合了超过240款工具软件。如今,Omniverse 的数字孪生几乎无处不在,涵盖汽车、制造、媒体、建筑、能源、科学运算仿真等等各行各业。

0融合三大灵魂的 Omniverse 能做什么?

“三大灵魂”全部融合在一起,能做什么?

全球气候模型 Earth-2,需要进行 3D 交互式的天气和季候数据的数字孪生模型,不仅要训练大量的数据,还要把它们数字化。在这个模型中,我们可以看气象的走向、大气河的流动,还能看到飓风,并且精确到1公里范围内,以帮助人类预测它的准确路径。充分应用了图形学、物理世界模拟仿真,以及 AI。

能否用“三大灵魂”分析更多事呢?如何把这些技术融入到真实的企业应用环境中至关重要。

比如,用 AMR 小车(自主移动机器人)眼中的数字孪生,同时还制作了大量“场站”数字孪生,以及工作人员视角下的数字孪生,这么多的数字孪生,通过 USD API,连接到 Omniverse Cloud 上,整合背后超强的算力,不断优化布局,来响应突发事件的管理,以及和 LLM 一系列的交互。

每一个场站的布局背后都有很多的数字孪生模型,就像有一只无形的手在操作,这个手就是 AI Agents,辅助这个标点符号里每一个场站 ARM 小车最优的路径,这就是物理世界和数字世界交互的一个非常生动的例子。

给一辆小车布一个最优路径尝试一下,再给它一个突发事件,看它如何实时调整路径。假设这边货架突然倒塌,它能否及时调整路径?可以看到,ARM 小车不但重新规划了自己的路径,路过时还对 AI Agents 说:“我感觉出现问题了,你赶紧去处理。”这个过程背后技术的复杂程度其实是非常高的,同时需要数字孪生模型、AI 和算力。

而随着各行业竞相将自己重塑为软件驱动的科技公司,每个领域的生成式 AI 也都如雨后春笋般兴起,3D 数据正在实现互操作性,高级图形学以及从边缘到云的仿真计算能力的进步,都为各行业的物理流程数字化带来了全新机遇。

0仿真工作流 加速 AI 训练

今年 GTC 上,Omniverse 带来的最大更新便是 Omniverse Cloud API,把 Omniverse 放到云端,提供一个应用程序编程接口 API,让开发人员可以将 Omniverse 最核心的技术直接集成到已有的应用层和工作流中。

Omniverse 不仅可以帮助全球工业企业加速自动驾驶车辆、人形机器人、智能仓储、大规模智慧城市等工作流程,Omniverse Cloud API,更将为基于 AI 的数字孪生仿真工作流的训练、模拟,以及后阶段的部署带来全新加速。

随着全球自动驾驶汽车和机器人需求的不断增加,AI 开发人员可能需要更多的传感器数据来进行训练、测试、验证这些 AI 的感知系统,而这些感知系统可以通过传感器模拟方式去实现一个合成数据的 1:1 数字孪生世界,在 Omniverse 构架的虚拟世界里进行训练、测试、仿真、验证等。这些合成数据都需要物理上非常精确的、符合物理定律的渲染。

AI 是如何在虚拟世界中进行训练的?

AI 和仿真最重要的是软件在环(SIL)和硬件在环(HIL)。将所有机器人、自动驾驶汽车、自主移动设备、传感器全部仿真放在 Omniverse 里,环境、场景都是实时渲染出来的,以实时喂料的方式喂给机器人的传感器,传感器看到的数据是假的,传感器本身也是虚拟出来的,汽车传感器看到的画面也是合成数据。把虚拟传感器捕捉到的数据,和汽车传感器得到的数据融合在一起,放在数字孪生里渲染,称之为 SIL。将 SIL 里训练好的模型,部署到硬件设备上,再做物理的路测或环境测试,叫做 HIL。做强化学习的时候,要确保学习环境是真实有效的,训练好的模型也是真实有效的,最后再到物理世界去部署。

最终,机器人系统、AI 和 Omniverse 形成了技术闭环。

0Omniverse 登录 Apple Vision Pro

全球最受瞩目的两家科技巨头携手,NVIDIA 与 Apple 一起,把 Omniverse 带到了 Apple Vision Pro 中去,将许多 3D 工作流尤其是工业环境下的数字孪生的工作流游戏化,打破了传统的工业工作流程。

Omniverse 里的 GPU 是顶尖的 RTX GPU,三大核心点:

1.传统着色的部分,可以用来做像素的渲染,确保画面是美轮美奂的;

2.光线追踪加速,用包裹体便利的方式去做实时光线追踪,延迟更低,帧率更高,与用户的互动性也更强;

3. Tensor,RTX GPU 里有针对张量运算的 tensor 运算,还可以加速 AI 的训练,如大模型、GenA、neural graphics、NeRF 等,都可以用 AI 去运算。

在云端 Omniverse API 连接各种应用程序,基于 USD 或 OpenUSD 打通数字资产之间的连接和调用,再通过 RTX GPU 强大的算力和符合物理定律的实时光线追踪完成画面渲染,最后呈现在 Apple Vision Pro 用户眼前的就是真实的 3D 空间场景。

Omniverse 强大的空间计算带来的全新工作流,使得设计师可以在 Apple Vision Pro 里实现沉浸式体验,以及人、产品、流程与物理空间之间的无缝互动。在 MR 里设计出的虚拟产品将与物理世界中的实际产品一模一样,所见即所得,想想都令人兴奋。

结语:

波士顿咨询公司(BCG)对企业最高管理层的调查显示,近四分之三的管理者计划在今年增加公司的技术投资,89% 的管理者将 AI 和生成式 AI 列为前三大优先事项中。超半数的企业希望利用 AI 提高生产力、改善客户服务和提升 IT 效率,以实现降本增效。

“AI 已经进入了物理世界。未来将是可生成的。”

java相关学习资源、电视剧等资源下载,请点击

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/10380.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

TriDet: Temporal Action Detection with Relative Boundary Modeling

标题:TriDet:采用相对边界建模的时间动作检测 原文链接:TriDet: Temporal Action Detection With Relative Boundary Modeling (thecvf.com)https://openaccess.thecvf.com/content/CVPR2023/papers/Shi_TriDet_Temporal_Action_Detection_W…

性能分析:如何用互斥锁打造高效Java应用

1. 多线程环境下的原子性挑战 1.1 理解原子性和数据竞争 在多线程应用程序中,原子性是指一系列操作要么全部执行,要么全部不执行,没有中间状态。若多个线程同时读写共享变量,则可能出现争用条件(race condition&…

笔试强训未触及题目(个人向)

1.DP22 最长回文子序列 1.题目 2.解析 这是一个区间dp问题,我们让dp[i][j]表示在区间[i,j]内的最长子序列长度,如图: 3.代码 public class LongestArr {//DP22 最长回文子序列public static void main(String[] args) {Scanner…

Android APP 剪切板应用

1 Android剪切板简介 Android 剪贴板是一个系统级服务,它允许应用程序之间共享文本、图像、二进制数据等多种形式的信息。用户可以通过常见的复制和粘贴操作,在不同的应用之间传递数据。该设计考虑到了易用性和灵活性,使得开发者可以轻松地为…

Spring Batch 是什么?主要用于什么场景?

Spring Batch是一个开源的、基于Spring框架的批量处理框架,它提供了一系列用于批量数据处理的工具和API。Spring Batch的主要目标是简化和标准化批量数据的处理过程,使得开发者可以更加专注于业务逻辑的实现,而不是批量处理的复杂性。 Sprin…

MSP430环境搭建

1.下载ccs编译器 注意:安装路径和工作路径不能出现中文! 没有说明的步骤就点next即可! 1.1下载适合自己电脑的压缩包。 下载好压缩包后解压,点击有图标进行安装。 1.2创建一个文件夹用于安装编译器位置 选择安装地址&#xff0…

新书速览|Rust编程与项目实战

掌握Rust编程基础和开发方法,实战网络编程、图像和游戏开发、数据分析项目 本书内容 Rust是一门系统编程语言,专注于安全,尤其是并发安全,它也是支持函数式、命令式以及泛型等编程范式的多范式语言。标准Rust在语法和性能上和标准…

PostgreSQL【提升性能篇】 coalesce()函数的奇思妙用

文章目录 前言一、在 WHERE 条件中使用 coalesce()二、在 SELECT 子句中使用 coalesce()总结前言 在数据库查询中,我们经常需要处理 NULL 值和空字符串的情况。PostgreSQL 提供了一个非常有用的函数 coalesce(),可以简化这种处理过程。 在博主的工作经验中,coalesce() 常用…

贝壳面试:MySQL联合索引,最左匹配原则是什么?

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中,最近有小伙伴拿到了一线互联网企业如得物、阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格,遇到很多很重要的面试题: 1.谈谈你对MySQL联合索引的认识? 2.在MySQ…

信创 | 高效信创项目管理:关键步骤与实用技巧!

高效信创项目管理的关键步骤与实用技巧可以从多个维度进行分析和总结。首先,建立有效的工程管理体系是确保信创项目顺利实施的基础,这包括项目管理、质量管理、成本控制等方面的工作。其次,实现项目全流程精细化管理,如信息的及时…

spring boot 核心配置文件是什么?

Spring Boot 的核心配置文件主要是 application.properties 或 application.yml(也称为 YAML 格式)。这两个文件通常位于项目的 src/main/resources 目录下,用于配置 Spring Boot 应用程序的各种属性和设置。 application.properties&#xf…

ts可以和python混合编程吗

在某种程度上,可以将 TypeScript(TS)和 Python 结合起来进行混合编程,但具体的实现方式取决于你的需求和技术栈。 一种常见的方法是通过 REST API 或 WebSocket 等通信方式,将 TypeScript 和 Python 编写的不同部分连…

使用./build.sh编译ORB_SLAM源码时出现报错:/usr/bin/ld:找不到 -lboost_serialization的解决办法

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 一、/usr/bin/ld:找不到 -lboost_serialization1.问题描述2.解决(1). 下载源码(2) . 编译安装 一、/usr/bin/ld:找不到 -lboost_serialization 1.问题描述 在安装…

机器视觉任务中语义分割方法的进化历史

机器视觉任务中语义分割方法的进化历史 一、基于传统方法的图像分割二、基于卷积神经网络的图像分割三、基于Attention机制的图像分割四、语义分割模型的挑战与改进 在图像处理领域,传统图像分割技术扮演着重要角色。 一、基于传统方法的图像分割 这些方法包括大津…

2 GPIO控制

ESP32的GPIO的模式,一共有输入和输出模式两类。其中输入模式:上拉输入、下拉输入、浮空输入、模拟输入;输出模式:输出模式、开漏输出(跟stm32八种输入输出模式有所不同)。库函数中控制引脚的函数如下&#…

Spring AMQP的作用和用法

Spring AMQP是一个用于构建基于AMQP(Advanced Message Queuing Protocol)的消息驱动的中间件框架。AMQP是一种提供高度可靠的异步消息传输协议,广泛用于企业级消息传递和应用程序集成。 Spring AMQP 的作用: 消息队列&#xff1a…

基础算法,贪心算法,贪心策略,OJ练习

文章目录 一、概念二、OJ练习2.1 区间选点2.2 区间合并2.3 区间2.4 合并果子2.5 排队接水2.6 货仓选址2.7 防晒2.8 畜栏预定2.9 雷达设备2.10 国王游戏2.11 耍杂技的牛2.12 给树染色2.13 任务2.14 能量石 三、总结 一、概念 贪心是一种在每次决策时采取当前意义下最优策略的算…

Selenium获取网页参数信息(标题、网址、网页资源)

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。…

Python正则表达式入门指南

Python中的正则表达式是处理文本数据的强大工具,它可以用来搜索、匹配和替换文本中的特定模式。本指南将带你入门Python正则表达式的基础知识,并介绍一些常用的用法。 什么是正则表达式? 正则表达式(Regular Expression&#xf…

Held-Karp算法解决旅行商问题(TSP)

Held-Karp算法是一种用于解决旅行商问题(TSP)的动态规划算法。它由Richard M. Karp在1972年提出,并且是第一个证明TSP问题具有多项式时间算法的算法。Held-Karp算法利用了TSP问题的对称性和结构,将问题分解为更小的子问题&#xf…