脑机接口、嵌入式 AI 、工业级 MR、空间视频和下一代 XR 浏览器丨RTE2024 空间计算和新硬件专场回顾

在这里插入图片描述

这一轮硬件创新由 AI 引爆,或许最大受益者仍是 AI,因为只有硬件才能为 AI 直接获取最真实世界的数据。

在人工智能与硬件融合的新时代,实时互动技术正迎来前所未有的创新浪潮。从嵌入式系统到混合现实,从空间视频到脑机接口,这些前沿领域正以惊人的速度推进,为未来的人机交互描绘出令人振奋的蓝图。在本届 RTE2024 大会上,来自产业界和学术界的多位专家深入探讨了这些技术的最新进展及其潜在应用。

闪极科技 CTO 周万程、声网视频工程师许振明、萤火空间创始人邵鹏、姬械机科技联合创始人卢树强以及 Rokid 前端工程师刘亚中等分享了他们在各自领域的研究成果和独到见解。

果壳创始人、未来光锥基金创始合伙人姬十三主持了主题分享和圆桌讨论环节。

周万程:有限硬件资源下嵌入式系统的 AI 实时音频算法

在这里插入图片描述

闪极科技 CTO 周万程 在分享中深入探讨了在嵌入式系统中实现 AI 实时音频算法的挑战与解决方案。他结合自己在电路与系统领域的背景,生动阐述了 「没有嵌入式,AI 则无翅」 这一观点。

随着 AI 技术的爆发式发展,如何将先进的 AI 功能部署到轻量级的边缘计算平台上,成为提升用户体验的关键技术。然而,嵌入式系统面临着处理能力、内存和功耗等硬件资源的严格限制。

针对这些限制,周万程提出了三个优化方向:

1、降低算法复杂度: 通过量化、减枝和低秩近似等技术,显著降低计算量。

2、数据优化: 利用多级缓存、数据预取和动态缓存等策略,提高数据访问效率。

3、硬件支持: 充分利用 DSP、ASIC 和 FPGA 等硬件加速单元。

展望未来,周万程认为 NPUFPGA 的可重构特性将为嵌入式 AI 带来巨大机遇。他强调,嵌入式系统中的机器学习将成为推动 AI 发展的重要力量,因为它们能直接接触到真实世界的数据。

在这里插入图片描述

许振明:空间视频在 RTC 直播中的应用探索

在这里插入图片描述

许振明 分享了声网团队在空间视频技术方面的最新探索,重点介绍了如何将空间视频应用于实时互动直播中。

要在 RTC 中实现空间视频,必须解决三个关键问题:3D 内容的生产、传输和渲染显示。

在内容生产方面,iPhone 15 Pro 的双摄像头设计使得消费级设备能够采集空间视频成为可能。此外,AI 生成的视频,如 SORA,也可以通过时间偏移技术模拟双目效果。

在传输方面,采用 Multi-view 编码技术可以节省超过30%的码率。与此同时,还需要考虑网络抖动、FEC 保护等 RTC 特有的问题。

渲染显示 是最具挑战的环节。为了实现流畅的空间视频体验,每只眼睛至少需要 1080p 30fps,理想情况下是 4K 60fps。这对渲染性能和系统调度精度提出了很高要求。声网通过多种优化手段来保证渲染质量。

许振明表示,声网提供了灵活的 API,开发者可以根据需求选择使用声网的采集、编解码、传输等能力。除了空间视频,声网还提供 空间音频、AI 降噪、Persona 等多项技术,支持更沉浸式的 RTC 体验。

在这里插入图片描述

邵鹏:混合现实 MR 和空间计算的未来与挑战

在这里插入图片描述

苏州萤火空间创始人兼 CTO 邵鹏 首先介绍了混合现实(MR)的概念,称其为增强现实(AR)的升级分支。MR 设备可以让用户同时看到真实世界和虚拟内容,并实现虚拟与现实的无缝融合和交互。他进一步详细解释了空间计算的不同层次,从 0 自由度(DOF)到 6DOF 再到 SLAM,每一层级都要求更复杂的硬件和算法支持。

在技术细节方面,邵鹏强调了实现高质量 MR 体验所面临的挑战,包括 稳定的空间算法、明亮的实景显示、清晰的 RGB 显示以及较大的视场角(FOV)。他预测,真正的消费级 MR 眼镜可能要到 2030 至 2035 年才能问世,这将需要在重量、续航、建模能力等多个方面达到高水平。

面对这些挑战,邵鹏提出了将计算任务上云的解决方案,认为这一策略可以使本地设备更加轻便,并大大延长续航时间。然而,他也指出,这种趋势可能对国内硬件厂商构成威胁,并呼吁加强对 SLAM空间计算的研究,以在未来的技术浪潮中保持竞争力。

最后,邵鹏展示了萤火空间的产品,介绍了其能够实时快速建立空间模型,并支持远程专家进行空间标注和指导的功能。他认为这种技术在远程协作培训等领域具有广阔的应用前景。

在这里插入图片描述

卢树强:脑机接口与俱身智能计算体系的前沿探索

在这里插入图片描述

姬械机科技联合创始人卢树强开门见山地解释道,「脑机接口本质上属于智能硬件,它是对大脑信号的采集与计算,并通过与外界设备或环境的交互来实现功能。」他进一步将脑机接口技术分为两类:侵入式(需要开颅)和非侵入式(皮肤外接触)。虽然这项技术在日常生活中尚不普及,但其巨大的潜力令人期待。

俱身智能 的主要体系可以分为两大类:一类是通过视觉传感器进行环境理解和任务执行;另一类是通过智能穿戴设备(包括脑机接口)来捕捉人体信息,用于训练人形机器人。

在介绍计算体系时,卢树强详细阐述了从数据采集、处理到重建、生成的完整流程。「与 VR、XR 技术不同,我们面对的是 多元高维度的数据,」他强调道,「这就要求我们具备高精度、高采样率的传感器,以及复杂的降噪和特征识别算法。」

在这里插入图片描述

刘亚中:多维沉浸,探索 XR 中的 Web 内容新体验

在这里插入图片描述

Rokid 前端工程师刘亚中介绍了 JSAR——一个创新的 Web XR 运行时与浏览器,旨在解决当前 Web XR 内容在 XR 空间中面临的两大挑战:

应用形态的限制: 目前,Web XR 内容在 XR 设备上只能选择呈现为平面网页或独占的 3D 场景,无法同时存在,这大大限制了 Web XR 的使用场景和体验。

3D 场景中的 UI 开发复杂性: 与传统的 2D 网页相比,在 Web XR 中开发简单的 UI 组件需要大量代码,这对开发者非常不友好。

**为了解决这两个问题,刘亚中和团队开发了 JSAR。**JSAR 使得 Web XR 应用能够与其他 2D 和 3D 应用并存,并简化了 3D 场景中的 UI 开发。通过深度缓冲等技术,JSAR 实现了 Web XR 内容与 Unity 等游戏引擎渲染的无缝集成。

JSAR 的架构设计: 每个 Web XR 应用都是一个独立进程,通过客户端与 Unity 进程通信。这不仅实现了多个应用的共存,还引入了空间音频等优势。

未来展望:JSAR 将扩展更多功能,包括支持运行 HTML、传统 2D 网页等,成为真正的下一代 XR 浏览器。

在这里插入图片描述

圆桌讨论:下一代计算平台的模样

在这里插入图片描述
在这里插入图片描述

在主题是「下一代计算平台的模样」的圆桌讨论中,来自「未来光锥前沿基金」的姬十三担任主持人,参与讨论的嘉宾包括周万程、许振明、邵鹏、卢树强和刘亚中。

谈及 Apple Vision Pro 的未来, 嘉宾们普遍认为尽管存在一些局限性,但这款产品为整个行业树立了新的标杆。卢树强观察到 Vision Pro 在游戏开发和个人使用方面的需求正在增长。许振明补充道,即便 Vision Pro 停产,它对行业的影响也已经深远。

在 AI 与硬件结合的话题上, 周万程强调了 反思型 AI 的重要性,认为未来 AI 应该能够根据用户的反馈不断改进。邵鹏从混合现实的角度出发,指出大语言模型、图像识别和 3D 模型理解将极大提升 MR 设备 的交互能力和应用场景。卢树强则预测,AI 在未来两三年内将主要提供基础信息服务,而在更远的未来,可能会实现 任务和操作 层面的服务。刘亚中则提出,大语言模型使得用户 不再依赖传统的网址输入 ,而是通过 AI 自动为其选择和提供相应服务,极大提升了使用体验。

关于下一代计算平台 , 专家们提出了多元化的观点。卢树强认为 人形机器人 可能成为重要的计算平台,预计在十年内可能出现雏形。许振明则看好 汽车作为潜在的计算中心 ,特别是在自动驾驶领域。邵鹏坚持认为 云计算 仍将是主要的计算平台,但 AR/MR/VR 设备可能成为重要的人机交互界面。周万程提出 未来的计算可能是分布式的, 利用闲置的设备资源进行边缘计算。刘亚中则认为,AI 可能会引发硬件革命,用户们将能够 自行开发新的硬件 来满足他们的需求。
在这里插入图片描述

「无所不在的计算:空间计算和新硬件」技术专场由 RTE 开发者社区和未来光锥前沿基金联合出品。
在这里插入图片描述

RTE 开发者社区是聚焦实时互动领域的开发者社区。希望通过社区链接领域内的开发者和生态力量,萌芽更多新技术、新场景,探索实时互动领域的更多可能。这里你将遇见一群致力于改变人和人、人和世界,以及人和 AI 连接方式的开发者。
在这里插入图片描述

「未来光锥」是由果壳发起的科创品牌,致力于推动科研端与产业端相互融合,促进科技成果的高效转化。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/60991.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【STM32】MPU6050简介

文章目录 MPU6050简介MPU6050关键块带有16位ADC和信号调理的三轴MEMS陀螺仪具有16位ADC和信号调理的三轴MEMS加速度计I2C串行通信接口 MPU6050对应的数据手册:MPU6050 陀螺仪加速度计 链接: https://pan.baidu.com/s/13nwEhGvsfxx0euR2hMHsyw?pwdv2i6 提取码: v2i6…

C语言导航 4.1语法基础

第四章 顺序结构程序设计 第一节 语法基础 语句概念 语句详解 程序详解 4.1.1语句概念 说明:构成高级语言源程序的基本单位。 特征:在C语言中语句以分号作为结束标志。 分类: (1)简单语句:空语句、…

ISP——你可以从这里起步(二)

接上一篇,上一篇是原理篇,这一篇是实战篇,为了实现下面框图中的不完美ISP。 第一章 做一张RAW图自己用 不是所有的人都能获得raw图,即使获得了raw图也需要对应的sensor参数才能把它用起来,所以我找了一条野路子可以把…

Istio分布式链路监控搭建:Jaeger与Zipkin

分布式追踪定义 分布式追踪是一种用来跟踪分布式系统中请求的方法,它可以帮助用户更好地理解、控制和优化分布式系统。分布式追踪中用到了两个概念:TraceID 和 SpanID。 TraceID 是一个全局唯一的 ID,用来标识一个请求的追踪信息。一个请求…

前端隐藏元素的方式有哪些?HTML 和 CSS 中隐藏元素的多种方法

当面试官突然问你:“前端隐藏元素的方式有哪些?”你还是只知道 display: none 吗? 其实,在前端开发的世界里,隐藏元素的方法非常多。每种方法都有自己的小技巧和使用场景,了解它们不仅能让你应对自如&…

【论文阅读】主动推理:作为感知行为的理论

文章目录 主动推理:作为感知行为的理论摘要1.引言2. 主动推理的概念和历史根源3. 主动推理的规范视角—以及它的发展历程 未完待续 主动推理:作为感知行为的理论 Active inference as a theory of sentient behavior 摘要 这篇文章综述了主动推理的历…

2411rust,异步函数

原文 Rust异步工作组很高兴地宣布,在实现在特征中使用异步 fn的目标方面取得了重大进度.将在下周发布稳定的Rust1.75版,会包括特征中支持impl Trait注解和async fn. 稳定化 自从RFC#1522在Rust1.26中稳定下来以来,Rust就允许用户按函数的返回类型(一般叫"RPIT")编…

【MySQL】MySQL数据库入门:构建你的数据基石

🍑个人主页:Jupiter. 🚀 所属专栏:MySQL初阶探索:构建数据库基础 欢迎大家点赞收藏评论😊 目录 🦅数据库基础🐀什么是数据库🐏主流数据库🦆MySQL数据库的基本…

linux企业中常用NFS、ftp服务

1.静态ip配置 修改ip地址为静态vim /etc/sysconfig/network-scripts/ifcfg-enxxx BOOTPROTO"static" IPADDR192.168.73.10 GATEWAY192.168.73.2 # 该配置与虚拟机网关一致 NETMASK255.255.255.0重启网卡:systemctl restart network.service ping不通域名…

6.584-Lab1:MapReduce

前置知识/概念 Raft 是一个基于“Leader”的协议,能够保证分布式网路的一致性。 RPC(Remote Producer Call) 参考链接1 参考链接2 Go中RPC的简单实现 Golang中regexp正则表达式的用法 https://gukaifeng.cn/posts/golang-zheng-ze-biao-…

抽象java入门1.5.3.1——类的进阶

前言:在研究神技代码Hello word的时候,发现了一个重大公式bug,在代码溯源中,我发现了一个奇怪的东西,就是OUT不是类中类(不是常规类的写法) 内容总结: 代码运行的顺序复习 正片开始…

人力资源招聘系统的革新之路:从传统到智能的转变

在全球化与数字化交织的今天,企业间的竞争日益激烈,而人才作为企业发展的核心驱动力,其重要性不言而喻。传统的人力资源招聘方式,如依赖纸质简历、人工筛选、面对面面试等,不仅效率低下,且难以精准匹配企业…

Bootstrap和jQuery开发案例

目录 1. Bootstrap和jQuery简介及优势2. Bootstrap布局与组件示例:创建一个响应式的表单界面 3. jQuery核心操作与事件处理示例:使用jQuery为表单添加交互 4. Python后端实现及案例代码案例 1:用户登录系统Flask后端代码前端代码 5. 设计模式…

使用python-Spark使用的场景案例具体代码分析

使用场景 1. 数据批处理 • 日志分析:互联网公司每天会产生海量的服务器日志,如访问日志、应用程序日志等。Spark可以高效地读取这些日志文件,对数据进行清洗(例如去除无效记录、解析日志格式)、转换(例如…

AXI DMA IP BUG踩坑记录

1. 问题描述 在突发的过程中总是一旦使用XAxiDma_SimpleTransfer函数就会出现AXI STREAM信号的READY信号先拉高4个数据(32位)的时钟后会迅速拉低,换句话说就是一旦PS端发起了XAxiDma_SimpleTransfer,AXI总线的READY信号就会拉高四个节拍,这样就会导致传输的数据出现问题。…

Vue2教程001:初识Vue

文章目录 1、初识Vue1.1、Vue2前言1.2、创建Vue实例1.3、插值表达式1.4 Vue响应式特性 1、初识Vue 1.1、Vue2前言 Vue是什么? 概念:Vue是一个用于构建用户界面的渐进式框架。 Vue的两种使用方式: Vue核心包开发 场景:局部模块…

【jvm】HotSpot中方法区的演进

目录 1. 说明2. JDK1.6及以前3. JDK1.74. JDK1.8及以后 1. 说明 1.在HotSpot虚拟机中,方法区(Method Area)的演进是一个重要的内存管理优化过程。2.从JDK1.6到JDK1.8,HotSpot虚拟机中的方法区经历了从永久代到元空间的重大变化。…

API 数据处理与 SQL 批量更新技巧:CASE 语句优化操作指南

前言 在现代应用程序开发中,数据处理和数据库操作是不可或缺的一部分。特别是在处理大量数据时,如何高效地更新数据库记录成为了关键问题。本文将对比两种常见的数据库更新方法:一种是使用 CASE 语句进行批量更新,另一种是通过循…

高级java每日一道面试题-2024年11月10日-框架篇[SpringBoot篇]-你对SpringBoot了解多少?

如果有遗漏,评论区告诉我进行补充 面试官: 你对SpringBoot了解多少? 我回答: 在Java高级面试中,SpringBoot是一个经常被提及的话题。以下是对SpringBoot的详细解析: SpringBoot概述 SpringBoot是Spring开源组织下的子项目,是Spring组件…

Linux dpkg命令详解

一、简介 dpkg 是基于 Debian 发行版 Linux 系统的低级包管理工具&#xff0c;可以手动安装、配置、移除 .deb 包&#xff0c;与 apt 命令不同的是&#xff0c;dpkg 不会自动处理包之间的依赖关系。 二、常用选项 安装包 sudo dpkg -i <package_name>.deb手动处理包依…