医美技术支持东莞网站建设/武汉搜索推广

医美技术支持东莞网站建设,武汉搜索推广,杭州网站建设推广,淄博网站建设 leda.cc1 前言 早期传统自动驾驶方案通常依赖高精地图(HD Map)提供道路结构、车道线、交通规则等信息,可参考博客《自动驾驶---方案从有图迈进无图》,本质上还是存在问题: 数据依赖性高:地图构建成本昂贵&#xf…

1 前言

        早期传统自动驾驶方案通常依赖高精地图(HD Map)提供道路结构、车道线、交通规则等信息,可参考博客《自动驾驶---方案从有图迈进无图》,本质上还是存在问题:

  • 数据依赖性高:地图构建成本昂贵,且跨区域泛化能力受限。
  • 动态场景局限性:地图无法实时反映临时障碍物或施工区域。
  • 计算复杂度:地图的复杂拓扑结构需要额外编码模块处理。

        在之前的博客中,笔者分别介绍过华为《自动驾驶---行泊一体(车位到车位功能)》ADS3.0智驾方案中,RCR网络(Road Cognition & Reasoning,道路拓扑推理网络):结合普通导航地图来与现实进行匹配和印证,再实时通过传感器来拓补绘制一幅可用的行车地图。通过RCR网络便摆脱了高精地图,实现绝大多数场景下的无图就能开。

        小米智驾同样也有一套系统《自动驾驶---小米汽车智驾进展》,道路大模型:小米道路大模型,实时生成道路拓扑,效果媲美高精地图,实现全国都能用的城市领航。

        小米和华为类似,都是通过模型来建立车道信息,尽量不高度依赖高精地图。

        最近介绍的博客《自动驾驶---LSTM模型用于轨迹预测》,仅依赖于动态车辆的历史轨迹,有其局限性,以及《自动驾驶---基于深度学习模型的轨迹预测》中介绍通过深度学习模型进行轨迹预测,基于此轨迹预测的深度学习模型,后期是可以用于自车轨迹生成的端到端大模型。

        目前特斯拉的端到端大模型的输入应该是包括地图数据的,但国内量产端到端大模型的公司目前做到这一点的几乎没有。

    2 轨迹预测

            目前,很多公司的端到端整体方案如下所示,地图信息作为模型的输入(以特斯拉为代表),或者干脆就不包括(国内的模块化大模型)。

           MFTP(Map-Free Trajectory Prediction),这是一种无需地图的轨迹预测方法(如下图所示),它在训练期间通过知识蒸馏从高清地图中获益,而在推理期间则不需要高清地图。论文中提出了一种新颖的层次编码器,有效地提取时空智能体特征,并将它们聚合成多个轨迹查询。此外,引入了一个迭代解码器,顺序解码轨迹查询以生成最终预测。在Argoverse数据集下的无地图设置中,该方法实现了最先进的性能。

    2.1 方法论

    (1)知识蒸馏

            前段时间也是Deepseek带火了知识蒸馏这一概念。知识蒸馏(Knowledge Distillation) 其实是一种机器学习技术,旨在将复杂模型(通常称为“教师模型”)的知识迁移到更简单、更高效的模型(“学生模型”)中,从而实现模型压缩、性能提升或部署优化。其核心思想是让学生模型模仿教师模型的输出或中间特征,而不仅仅依赖原始训练数据的标签。

    • 知识蒸馏的大概过程:
      • 训练教师模型:在目标任务上训练一个高性能的大模型。
      • 生成软标签:用教师模型对训练数据推理,得到概率分布(软标签)。
      • 训练学生模型:学生模型同时拟合硬标签(原始标签)和软标签(教师输出),损失函数通常为:  ,其中  衡量学生与教师输出的差异, 为权重系数。
    • 套用到 MFTP(Map-Free Trajectory Prediction)中的大概过程如下:
      • 教师模型:使用高精地图的轨迹预测模型。
      • 学生模型:无地图的轨迹预测模型。
      • 蒸馏内容:将教师模型对地图拓扑的理解(如车道连接、交通规则)迁移到学生模型中,使其隐式学习道路结构约束,而无需显式地图输入。

    (2)MFTP架构

    • 整体框架:MFTP包括一个预训练的基于地图的教师网络和一个无需地图的学生网络。教师网络利用高清地图和其它智能体的历史轨迹作为输入,而学生网络则不依赖地图信息。
    • 层次编码器:提出了一种新颖的层次编码器,用于提取智能体的多层次时空特征,并将它们聚合成多个轨迹查询。
      • 输入表示:在采用向量表示的情况下,智能体的历史轨迹和地图折线被表示为二维或三维空间中的一组点。我们没有使用智能体轨迹和地图点的绝对位置,而是选择相对运动向量作为输入。

      • 上下文建模:轨迹预测本质上是一项序列性且涉及交互的任务,在其中,一个智能体过去的行为以及周围环境都起着至关重要的作用。为了提取智能体的时空特征,我们按顺序对地图与地图之间、智能体与地图之间以及智能体与智能体之间的交互进行建模。首先,我们利用中提出的带有注意力机制的地图与地图注意力模块,对地图结构和车道交互进行建模,将其视为地图先验知识,随后再接入一个前馈神经网络(FFN)。

      • 分层特征聚合与融合:利用特征聚合(FA)模块对智能体的时空特征进行聚合,以生成多个轨迹查询。这些查询起到了桥梁的作用,连接着编码器和解码器,并且代表着潜在的多模态未来轨迹。

    • 迭代解码器:使用迭代解码器顺序解码轨迹queries,以生成最终的预测。

            整体的框架如下图所示,多模态融合轨迹预测(MFTP)有一个基于地图的预训练教师模型和一个无地图的学生模型。除了与地图相关的模块之外,学生模型与教师模型具有相同的架构。在编码器中,通过特征聚合(FA)模块在进行智能体间的时间和空间注意力计算后,分层的智能体特征会被逐步提取出来,然后这些特征被融合,形成 K 个轨迹查询,对应着 K 条多模态的未来轨迹。在教师网络中,智能体在编码器阶段通过智能体 - 地图注意力模块学习地图先验知识,并在解码器阶段通过查询 - 地图注意力模块学习相关知识。通过对中间特征进行知识蒸馏,我们将地图先验知识融入到无地图的学生网络中。

    2.2 验证

            关于轨迹预测具体的评测指标在之前的博客中多次介绍过,这里就不赘述了。通过数据对比,MFTP方法在某些方面还是存在优势的。

    • 数据集和评估:在Argoverse数据集上进行了广泛的实验,证明了MFTP在无需地图的情况下实现了最先进的性能。
    • 定量结果:与现有的无需地图的方法相比,MFTP在所有指标上均优于其他非蒸馏的无需地图方法,并在应用知识蒸馏后进一步提高了性能。

            在 Argoverse 验证集上的定性结果。(a)展示了无地图模型在交叉路口场景中的性能表现,该场景存在各种驾驶行为(例如,直行、左转、大角度左转以及从左至右的右转),且该模型未利用地图先验知识。(b)表明,在知识蒸馏(KD)的帮助下,无地图模型能够预测出与真实轨迹更为接近的未来轨迹。(a)和(b)使用相同的图例。建议以彩色模式并放大查看效果最佳。

    3 总结

            本篇博客通过一篇论文的介绍以及笔者自身的理解来看,MFTP为自动驾驶轨迹预测领域提供了一种新的视角,即在不依赖高清地图的情况下,通过知识蒸馏和层次编码来实现有效的轨迹预测,避免在整个模型中带入“比较重”的地图模块。

            在未来模型压缩和轻量化中,这种方法有望在自动驾驶技术的发展中发挥重要作用,并为未来相关研究提供了新的思路。

     

    4 参考文献

    《Map-Free Trajectory Prediction with Map Distillation and Hierarchical Encoding》

     

    本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/71406.shtml

    如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

    相关文章

    Xshell及Xftp v8.0安装与使用-生信工具050

    官网 https://www.xshell.com/zh/free-for-home-school/ XShell & Xftp 详解 1. XShell 介绍 1.1 XShell 是什么? XShell 是一款强大的 Windows 终端模拟器,主要用于远程管理 Linux、Unix 服务器。它支持 SSH、Telnet、Rlogin 及 SFTP 协议&…

    跨域-告别CORS烦恼

    跨域-告别CORS烦恼 文章目录 跨域-告别CORS烦恼[toc]1-参考网址2-思路整理1-核心问题2-个人思考3-脑洞打开4-个人思考-修正版1-个人思考2-脑洞打开 3-知识整理1-什么是跨域一、同源策略简介什么是源什么是同源是否是同源的判断哪些操作不受同源策略限制跨域如何跨域 二、CORS 简…

    PE文件结构详解(DOS头/NT头/节表/导入表)使用010 Editor手动解析notepad++.exe的PE结构

    一:DOS部分 DOS部分分为DOS MZ文件头和DOS块,其中DOS MZ头实际是一个64位的IMAGE_DOS——HEADER结构体。 DOS MZ头部结构体的内容如下,我们所需要关注的是前面两个字节(e_magic)和后面四个字节(e_lfanew&a…

    Node JS 调用模型Xenova_all-MiniLM-L6-v2实战

    本篇通过将句子数组转换为句子的向量表示,并通过平均池化和归一化处理,生成适合机器学习或深度学习任务使用的特征向量为例,演示通过NodeJS 的方式调用Xenova/all-MiniLM-L6-v2 的过程。 关于 all-MiniLM-L6-v2 的介绍,可以参照上…

    【C++学习篇】智能指针

    目录 1. 智能指针的使用场景分析 2. RAII和智能指针的设计思路 3. C标准库智能指针的使用 4.shared_ptr和weak_ptr 4.1shared_ptr的循环引用问题 4.2 weak_ptr 1. 智能指针的使用场景分析 下⾯程序中我们可以看到,new了以后,我们也delete了&#xff0c…

    IntelliJ IDEA集成MarsCode AI

    IntelliJ IDEA集成MarsCode AI IDEA中安装插件 安装完毕之后登录自己的账号 点击链接,注册账号 https://www.marscode.cn/events/s/i5DRGqqo/ 可以选择不同的模型

    Python学习(十四)pandas库入门手册

    目录 一、安装与导入二、核心数据结构2.1 Series 类型(一维数组)2.2 DataFrame 类型(二维数组) 三、数据读取与写入3.1 读取 CSV 和 Excel 文件3.2 写入数据 四、数据清洗与处理4.1 处理缺失值4.2 数据筛选4.3 数据排序 五、数据分…

    【Python 数据结构 4.单向链表】

    目录 一、单向链表的基本概念 1.单向链表的概念 2.单向链表的元素插入 元素插入的步骤 3.单向链表的元素删除 元素删除的步骤 4.单向链表的元素查找 元素查找的步骤 5.单向链表的元素索引 元素索引的步骤 6.单向链表的元素修改 元素修改的步骤 二、Python中的单向链表 ​编辑 三…

    第1章:项目概述与环境搭建

    第1章:项目概述与环境搭建 学习目标 了解YunChangAction灵感记录应用的整体架构和功能掌握SwiftUI开发环境的配置方法创建项目基础结构并理解文件组织方式实现应用的启动屏幕和基本主题设置 理论知识讲解 灵感记录应用概述 灵感记录应用是一种专门设计用来帮助…

    全球首创!微软发布医疗AI助手,终结手写病历时代

    今天凌晨,微软发布了医疗界首个用于临床工作流程的AI助手Microsoft Dragon Copilot。 Dragon Copilot是基于语音文本的混合架构,能够将医生的语音或临床口述内容实时转换为文本。例如,医生可以通过语音输入患者的病历信息、医嘱或诊断结果&a…

    [自动驾驶-传感器融合] 多激光雷达的外参标定

    文章目录 引言外参标定原理ICP匹配示例参考文献 引言 多激光雷达系统通常用于自动驾驶或机器人,每个雷达的位置和姿态不同,需要将它们的数据统一到同一个坐标系下。多激光雷达外参标定的核心目标是通过计算不同雷达坐标系之间的刚性变换关系&#xff08…

    Blazor-路由模板(下)

    路由约束 类型约束 我们这里使用{id:int}限制路由&#xff0c;id为int类型&#xff0c;并且路由参数 id 对应的 Id 属性也必须是 int 类型。我们试试能否正常访问 page "/demoPage/{id:int}" <h3>demoPage</h3> <h2>路由参数Id&#xff1a;Id&l…

    多线程-JUC源码

    简介 JUC的核心是AQS&#xff0c;大部分锁都是基于AQS扩展出来的&#xff0c;这里先结合可重入锁和AQS&#xff0c;做一个讲解&#xff0c;其它的锁的实现方式也几乎类似 ReentrantLock和AQS AQS的基本结构 AQS&#xff0c;AbstractQueuedSynchronizer&#xff0c;抽象队列…

    通过多线程获取RV1126的AAC码流

    目录 一RV1126多线程获取音频编码AAC码流的流程 1.1AI模块的初始化并使能 1.2AENC模块的初始化 ​​​​​​​1.3绑定AI模块和AENC模块 ​​​​​​​1.4多线程获取每一帧AAC码流 ​​​​​​​1.5每个AAC码流添加ADTSHeader头部 ​​​​​​​1.6写入具体每一帧AAC的…

    java后端开发day27--常用API(二)正则表达式爬虫

    &#xff08;以下内容全部来自上述课程&#xff09; 1.正则表达式&#xff08;regex&#xff09; 可以校验字符串是否满足一定的规则&#xff0c;并用来校验数据格式的合法性。 1.作用 校验字符串是否满足规则在一段文本中查找满足要求的内容 2.内容定义 ps&#xff1a;一…

    Pytorch中的主要函数

    目录 一、torch.manual_seed(seed)二、torch.cuda.manual_seed(seed)三、torch.rand(*size, outNone, dtypeNone, layouttorch.strided, deviceNone, requires_gradFalse)四、给大家写一个常用的自动选择电脑cuda 或者cpu 的小技巧五、torch.version.cuda&#xff1b;torch.bac…

    基于PyTorch的深度学习3——基于autograd的反向传播

    反向传播&#xff0c;可以理解为函数关系的反向传播。

    设备管理系统功能与.NET+VUE(IVIEW)技术实现

    在现代工业和商业环境中&#xff0c;设备管理系统&#xff08;Equipment Management System&#xff0c;简称EMS&#xff09;是确保设备高效运行和维护的关键工具。本文采用多租户设计的设备管理系统&#xff0c;基于.NET后端和VUE前端&#xff08;使用IVIEW UI框架&#xff09…

    9-Agent大模型中工作流的使用方法分析

    目录 关键词 摘要 速览 配置插件进行新闻内容查找的工作流设置 自动化调用用户输入变量的插件配置教程 配置大模型以整理并简要输出新闻内容 新闻内容总结功能调试与优化 搭建与发布工作流优化布局的流程详解 创建和配置智能体工作流程 调试页面与工作流配置演示 思…

    记一次:泛微OA集成Mybatis后 insert/update执行成功,但未真正插入或修改数据

    背景&#xff1a;通过Mybatis插入数据或更新数据&#xff0c;显示插入/更新成功&#xff0c;查询数据库&#xff0c;发现并未插入成功、数据也没更新成功。下面是Mapper文件 public interface TestOrmMapper {int insertByTest(Param("requestId") Integer requestI…