【综述专栏】自动驾驶中可解释AI的综述和未来研究方向

49034dfe223fa825a66c79b366f7d1d7.png

来源:知乎—黄浴
地址:https://zhuanlan.zhihu.com/p/453146210

在科学研究中,从方法论上来讲,都应“先见森林,再见树木”。当前,人工智能学术研究方兴未艾,技术迅猛发展,可谓万木争荣,日新月异。对于AI从业者来说,在广袤的知识森林中,系统梳理脉络,才能更好地把握趋势。为此,我们精选国内外优秀的综述文章,开辟“综述专栏”,敬请关注。

arXiv上2021年12月21日上传的自动驾驶可解释AI的综述:"Explainable Artificial Intelligence for Autonomous Driving: A Comprehensive Overview and Field Guide for Future Research Directions",作者来自加拿大Alberta大学和华为研发。

32bc9bd6b2229469c6d77939fd1e79d0.png

在过去十年中,自动驾驶在研发方面取得了重大的里程碑。人们有兴趣在道路上部署自行操作车辆,这预示着交通系统将更加安全和生态友好。随着计算能力强大的人工智能(AI)技术的兴起,自动驾驶车辆可以高精度地感知环境,做出安全的实时决策,在没有人为干预的情况下运行更加可靠。

然而,在目前的技术水平下,自动驾驶汽车中的智能决策通常不为人类所理解,这种缺陷阻碍了这项技术被社会接受。因此,除了做出安全的实时决策外,自动驾驶汽车的AI系统还需要解释这些决策是如何构建的,以便在多个政府管辖区内符合监管要求。

该研究为开发自动驾驶车辆的可解释人工智能(XAI)方法提供了全面的信息。首先,全面概述了目前最先进的自动驾驶汽车行业在可解释方面存在的差距。然后,展示该领域中可解释和可解释受众的分类。第三,提出了一个端到端自动驾驶系统体系结构的框架,并论证了XAI在调试和调控此类系统中的作用。最后,作为未来的研究方向,提供自主驾驶XAI方法的实地指南,提高操作安全性和透明度,公开获得监管机构、制造商和所有密切参与者的批准。

自动驾驶可解释的需求源自各种问题和关注点。首先,自动驾驶车辆参与发生的道路事故,是一个基本的实际问题。由于粗心和危险驾驶会直接影响乘客和旁观者的安全,人们通常需要确认安全运输系统。此外,对行为或决策来由的理解是人类思维的自然要求。有专家说,“如果用户不信任模型或预测,他们将不会使用它。”在案例研究中,经验证明提供可解释和可察觉的系统可以显著提高用户对系统的信任。特别是,如果没有向参与者提供可靠的解释,频繁发生的故障可能会严重损害个人和公众对智能系统的信任。一旦对智能系统的信任被破坏,重新获得信任可能会是一项艰巨的任务。因此,人类自然希望了解特定场景中汽车的关键决策,以建立对汽车的信任。如果汽车智能决策的背后有信任,那么将进一步支持另一个积极的组件,透明度。一旦提供了透明度,就达到了另一项要求,即可依赖(accountability ),这与该系统的决定和行动是否符合管辖条例和标准有关。最后,这些积极因素促成公平性,对自主系统的决定性行动进行道德分析、支持和因果论证。这些组件及其相互关系可被视为实现自动驾驶车辆获得大众认可的基本因素。

根据自动驾驶中用户的身份和背景知识,可解释的细节、类型和表达方式各不相同。例如,一个对自动驾驶车辆如何运行缺乏专业知识的用户,可能会对相关决策/结果的简单解释感到满意。然而,自主系统工程师需要更多信息的解释,了解汽车当前的可操作性,并根据需要适当地“调试”现有系统。因此,解释受众的领域知识和知识特点对于提供恰当的、有充分信息的和可理解的解释至关重要。

以下就是一些可解释性的影响因素:

  • cause filters

  • content type

  • model

  • system type

  • interactivity

  • concrete scope

下面是自动驾驶各个模块的可解释性方法:


01

感知

正如准确感知环境是自主驾驶的基本要求一样,提供自主行动决策的基本解释对于理解场景导航和驾驶行为也至关重要,特别是在关键场景中。因此,在自动驾驶车辆的感知任务中需要提供可解释性方法。

一些研究用视觉注意的反省(introspective )文本描述寻求因果(post-hoc)解释,一些研究把解释作为涉及因果推理的人类行为描述,另一些研究将重点放在目标诱导(object-induced)的行为决策。

另一种基于感知的解释生成方法是理解卷积神经网络(CNN)的结果。这种方法背后的主要思想是测量和显示从神经网络输出层反向传播(BP)到输入层的梯度。基于梯度的解释方法示例包括Class Activation Map(CAM),其增强变型,如 Guided Grad-CAM、Grad-CAM、Grad-CAM++、Smooth Grad CAM++,以及基于反向传播的方法,如引导(guided)反向传播、分层相关(layered relevance )传播,VisualBackProp和DeepLift。此外,基于启发式的Deep Visual Explanations(DVE)为深度CNN的预测提供了合理的理由。基于计算机视觉的可解释自动驾驶系统综述,见valeo公司的文章“Explainability of vision-based autonomous driving systems: Review and challenges”。

02

定位

由于自动车辆的实时决策需要准确地感知道路位置,因此了解如何从不同导航系统和传感器获取车辆位置也至关重要。这就是定位还需要解释性的原因。需要了解自动驾驶车辆的诱发位置,特别是当来自GPS或其他传感器的信号不精确时候。这种不可靠的通信通道可能因此迫使自动驾驶汽车做出错误的高风险决策。因此,调试导航系统和相关传感器,有助于阻止不准确的信号,并为自动驾驶汽车的纵向-横向正确定位提供可靠的通信渠道。

03

规划

规划决策的可解释性综述见论文”The emerging landscape of explainable automated planning & decision making“,来自IBM和Arizona州立大学。

之前的一个Explainable AI Planning (XAIP) 研讨会,其议程特别说到”虽然XAI主要关注基于黑盒学习的方法,但基于模型的方法非常适合——可以说更适合——作为可解释性,XAIP可以帮助用户在复杂决策过程与AI技术交互,发挥重要作用。“

摘自该综述,其可解释性方法如下分类:

  • 基于算法 Algorithm-based explanations

  • 基于模型 Model-Based Explanations

    • 推理调和 Inference Reconciliation

    • 模型调和 Model Reconciliation (user mental model)

  • 基于规划 Plan-based explanations

可解释性的性质包括:

  • Social

  • Contrastive

  • Selective

  • Local

  • Global

  • Abstraction

  • User Study


04

控制

由于车辆控制最终反映了驾驶系统的高级决策,用户可能需要及时解释实时自动行动选择的基本原理。这一需求将可解释性的本质引入到自动化车辆的控制系统中。车内界面、仪表板和其他用户友好功能,可帮助用户提出“为什么”问题(例如,“为什么停在右侧?”),或对比问题(例如,“为什么选择这条路线而不是另一条路线?”),反事实(counterfactual )问题(例如,“如果选择了该路线而不是当前路线,怎么办?”)和描述性问题(例如,“十分钟后会在哪里?”)。

另外,作者提出一个XAI框架,集成了自主控制、可解释性和法规遵从性。如图所示:包括可调节的自动驾驶三个组成部分,一个端到端自动控制系统组件(eeC,把感知的环境映射到车辆的动作),一个安全法规遵从性组件(srC,代表监管机构职能,主要职责之一是验证eeC与自动车辆动作任意组合的安全性。主要通过软件模拟仿真和实际驾驶验证),和一个XAI组件(XAI指导的自主驾驶应该在最高层反映出一种学习到的软件体系结构和监管原则)。

cdb175594d446ff15cc6be8e129310a4.png

自动驾驶XAI,就是定义为AI驱动方法的概要(compendium):1)确保车辆实时决策的可接受安全,2)提供关键交通场景中动作决策的可解释性和透明度,以及3)遵守监管机构制定的所有交通规则。

最后,作者提出一个现场指导:引导XAI追随自动驾驶的目标,其包括以下四部分

  • 可解释的视觉(包括因果解释和基于计算的并发解释)

描述自然语言的历史以及所采取的每个相关行动,有助于给关键交通场景提供可靠的因果解释。另外,基于生成可解释模型的并发解释可大大有助于事故预防。比如:假设自动驾驶车辆有车内人员(即后补驾驶员或乘客);车辆提供一个紧急使用的控制(即停止)按钮;车内界面显示前方没有人横穿道路并继续行驶;但是前面发现有一个人在路上(即视觉系统故障);然后,车内人员及时发现这种异常情况,使用紧急按钮减速和/或停车,防止事故发生。这个简单的例子表明,并发解释的概念在自动驾驶中具有潜在的用途,并为车辆的安全导航提供了机会。

  • 基于强化学习(RL)的可解释状态-动作映射(自动驾驶基于MDP的轨迹串行决策)

如图是基于模型和无模型这两种RL在可解释性方面的比较:除了模仿学习,这两种RL的比较可以看到,基于模型RL的优点是,智体首先学习环境的模型,并根据环境的动态性调整其学习策略。这种有针对性的探索(exploration )通常被称为规划,从本质上说可以解释学习过程。

RL中的规划思想对于正确决策至关重要,以Dyna体系结构为例:Dyna及其变型,即线性Dyna体系结构,与世界交互学习最优策略的同时,也学习世界模型。Dyna的规划过程从最初提供的假想(imaginary )状态创建预测的未来轨迹。基于这种结构,模型投影生成最优行为,同时生成预测状态和预测奖励。最后两个组件可以被可视化和分析,作为解释的基础,帮助理解为什么智体喜欢在特定的时刻选择特定的动作。由于自动驾驶的每个(关键)动作可能需要直观的解释,因此,Dyna体系结构和基于模型的RL,通常可以通过其可解释性功能提供巨大的益处。

026b1950f6730a68fbac6da12c325bd4.png

  • 知识表征的预测知识(在RL框架下)

通用价值函数(GVF),是表示预测知识(predictive knowledge)的初步技术。根据定义,GVFs旨在获取RL智体实际观察结果的长时预测总结。例如,自主驾驶中的RL智体可能会提出问题,并用GVF表达相应的答案。例子有“在下一个十字路口不遇到红灯的可能性有多大?”或者“根据目前的驾驶策略,到达目的地预计时间是多少?”

  • 在动作中包含常识知识(包括时域问题和问题驱动的软件分层结构)

分层软件架构是一种支持可解释自主驾驶决策系统的合适结构。这样的结构直接反映了人类司机开车时的想法,例如,“交通灯会很快从绿色变为黄色吗?”或者“前面的行人打算过马路吗?”或者“前面的车会加速吗?”诸如这样一些代表性的问题,反映了在运动过程中与驾驶相关的考量。根据这种直觉,可以说,自动驾驶汽车的分层软件系统是问题驱动型。

可解释性软件系统应反映所采取时域行为的时域问题。与这种体系结构相对应而合适的RL方法是选项(options )的概念。options 是动作的泛化,在这些动作中,RL智体有一个执行一个动作带终端状态的策略。最近提出的选项-批评(option-critic)架构是基于options 的概念。该体系结构可以学习内部策略和options 的终端状态,在Arcade learning Environment(ALE)中的options 端到端学习,证明是有效的。选项-批评架构的固有结构,使其适合于自主车辆学习系统的进一步开发。

驾驶相关问题通常是暂时性的,几秒钟后就可以为后续行动生成新问题。驾驶决策的时间敏感性实时动态变化,使车辆面临不同程度的风险。当然,风险较低的动作是首选。然而,在时间和计算方面,我们需要有效地探索,评估和相应动作相关的风险水平:仅关注增加RL奖励,长时有可能不会带来预期动作。

在传统的RL中,只考虑奖励而不考虑风险作为衡量标准,并不总是自动化系统的完美决策,并且RL智体可能无法通过这种探索找到最优策略。相比之下,将不同级别的风险与相应的动作结合起来,有助于通过不同的过渡(transition)和奖励,在环境中动态发现最优策略。因此,构建良好的问题层次结构和评估与适当动作相关的风险水平,在关键交通环境中有助于对智能车辆做出及时、直观、丰富且可信赖的解释。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

ef8348a4c5b80c16e074ae3b1a3500f9.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/482746.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

用vb.net实现拖放功能

任务:用vb.net实现,拖放功能. 转载于:https://www.cnblogs.com/wangxiang/archive/2006/06/05/417449.html

4.2-户部告急-百姓们太太太太太能生了2333

4.2-户部告急-百姓们太太太太太能生了2333 文章目录4.2-户部告急-百姓们太太太太太能生了23331.户部的抱怨2.意外之喜-合并村庄->减少官员工作量-子网合并为超网3.趁热打铁-提出亭长制(NAT(Network Address Translation,网络地址转换&…

Alphabet量子公司横空出世!Sandbox将与谷歌、DeepMind成姊妹

来源:新智元去年,物理学界的重大事件是谷歌的创新性实验成功,即时间晶体的量子计算取得突破。从风险投资到商业公司,只是时间问题,而时间水晶就是这样。现在,Alphabet开始认真对待这项「幽灵行动」&#xf…

day20 面向对象编程

面向对象编程 oop 什么是面向对象: 它是一种编程思想,是前辈总结出来的经验,知道程序员如何更好的编写程序, 核心是对象,程序就是一系列对象的集合,程序员通过负责调度这些对象让他们交互完成任务 相对于面向流程,就像流水线一样,亲自把制作手机的流程分成很多个小步骤,一一实现…

3.1. _3. 覆盖与交换

覆盖技术 交换技术 知识回顾

清华大学精密仪器系:智能传感器太重要了!

来源:科技导报整理:由动感传感论文原标题:《智能传感器技术的研究进展及应用展望》作者:清华大学精密仪器系 | 尤政本文是来自清华大学精密仪器系的一篇关于智能传感器技术研究和发展探索的论文。随着智能时代的到来,各…

PHP 将Base64图片保存到 Sae storage

<?php$file_dirtu/.date("Y/m/d")./;$fileNamecreate_guid();$storage new SaeStorage();$domain uploads;$destFileName $file_dir.$fileName;//$srcFileName $tempFile;$attr array(encoding>gzip);//保存base64字符串为图片//匹配出图片的格式$base64…

3.1_ 4连续分配管理方式

3.1_ 4连续分配管理方式 文章目录3.1_ 4连续分配管理方式知识总览单一连续分配固定分区分配动态分区分配知识总览 单一连续分配 固定分区分配 动态分区分配

《Engineering》评选2021年全球十大工程成就 | 中国工程院院刊

来源&#xff1a;风云之声“2021全球十大工程成就”发布工程是现实的、直接的生产力&#xff0c;是人类改变世界的重要活动。古往今来&#xff0c;人类创造了众多令人惊叹的工程成就&#xff0c;持续带动着经济发展和社会的深刻变革&#xff0c;推动人类文明迈上更高的台阶。为…

4.3-沛县欢乐多(DHCP,ARP,ICMP协议)

4.3-沛县欢乐多&#xff08;DHCP&#xff0c;ARP&#xff0c;ICMP协议&#xff09; 开头想说的话&#xff0c;这篇文章介绍DHCP&#xff0c;ARP&#xff0c;ICMP&#xff0c;用故事的方式给你讲述一些计算机网络原理&#xff0c;希望能够对你有所帮助&#xff0c;别担心&#x…

虎年前迎来脑科学新锐:脑虎科技的创生故事

来源&#xff1a;脑极体1月11日&#xff0c;国内脑科学创业领域迎来了一家引人瞩目的公司——脑虎科技。这家企业聚焦全球范围内非常稀缺的侵入式脑机接口设备研发&#xff0c;依托中科院科学家团队&#xff0c;拥有获得去年世界人工智能大会最高奖的原创自主核心技术&#xff…

[导入]流氓软件案落定 “很棒小秘书”终审败诉

阅读全文 类别&#xff1a;分享天地 查看评论文章来源:http://hi.baidu.com/andyfurong/blog/item/14be800fe70425e9aa645771.html转载于:https://www.cnblogs.com/andyfurong/archive/2008/03/25/1121492.html

把「醉汉游走」引入「三体问题」,以色列学者新思路登上物理学顶刊

来源&#xff1a;机器之心编辑&#xff1a;nhyilin两位以色列物理学者采用了名为「醉汉游走」的随机游走模式&#xff0c;为「三体问题」引入了新思路。当牛顿第一次发现两个物体之间通过引力相互作用时&#xff0c;他就已经破解了物质在广阔时空中移动和相互作用的密码。然而这…

3.1_ 5_动态分区分配算法

3.1_ 5_动态分区分配算法 文章目录3.1_ 5_动态分区分配算法知识总览首次适应算法最佳适应算法最坏适应算法邻近适应算法知识总览 首次适应算法 最佳适应算法 最坏适应算法 邻近适应算法

db2 查杀死锁进程

db2 查杀死锁进程db2 get snapshot for locks on <dbname> (需要snapshot的访问权限)db2 list applicationsdb2 "force application(8)"在snapshot的第四段显示应用程序句柄为8的应用有锁存在&#xff0c;在其相应的锁定列表中显示锁定的表是US_CATALOG。如果…

「强化学习可解释性」最新2022综述

来源&#xff1a;图灵人工智能强化学习是一种从试错过程中发现最优行为策略的技术&#xff0c;已经成为解决环境交互问题的通用方法.然而&#xff0c;作为一类机器学习算法&#xff0c;强化学习也面临着机器学习领域的公共难题&#xff0c;即难以被人理解.缺乏可解释性限制了强…

3.1_ 6_ 基本分页存储管理的基本概念

3.1_ 6_ 基本分页存储管理的基本概念 文章目录3.1_ 6_ 基本分页存储管理的基本概念思维导图思考:连续分配方式的缺点把“固定分区分配”改造为“非连续 ”分配版本分页存储管理的基本概念思考:如何实现地址的转换逻辑地址结构页表知识回顾思维导图 思考:连续分配方式的缺点 把“…

jar包部署到window系统服务器的办法

1&#xff1a;把jar包和lib(如果打包出现有lib目录)放在同级目录 2&#xff1a;windows服务器安装jdk等 3&#xff1a;通过bat批处理命令或者 cmd命令启动jar包,其中之一就可以 3.1&#xff1a;bat命令如下&#xff1a; echo off start /b java -jar poggyio-kwg-sap-syn…

瞭望丨光子芯片能否让中国“换道超车”

第四届进博会技术装备展区集成电路专区现场&#xff08;2021年11月5日摄&#xff09; 张建松来源&#xff1a;新华社新闻摄&#xff1a;瞭望文&#xff1a;米磊 ◇ 信息时代的基础设施是电子芯片&#xff08;集成电路&#xff09;&#xff0c;人工智能时代将更多地依托光子芯片…

3.2_ 1_ 虚拟内存的基本概念

3.2_ 1_ 虚拟内存的基本概念 文章目录3.2_ 1_ 虚拟内存的基本概念知识总览传统存储管理方式的特征、缺点局部性原理虛拟内存的定义和特征如何实现虚拟内存技术知识回顾知识总览 传统存储管理方式的特征、缺点 局部性原理 虛拟内存的定义和特征 如何实现虚拟内存技术 知识回顾