「对抗深度强化学习」是如何解决自动驾驶汽车系统中的「安全性」问题的?...

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1原文来源:arXiv

作者:Aidin Ferdowsi、 Ursula Challita、Walid Saad、Narayan B. Mandayam

「雷克世界」编译:嗯~是阿童木呀、KABUDA

对于自动驾驶汽车(AV)而言,要想在未来的智能交通系统中以真正自主的方式运行,它必须能够处理通过大量传感器和通信链路所收集的数据。这对于减少车辆碰撞的可能性和改善道路上的车流量至关重要。然而,这种对通信和数据处理的依赖性使得AV很容易受到网络物理攻击。


最近,美国弗吉尼亚理工大学电气与计算机工程系的Aidin Ferdowsi和Walid Saad教授,瑞典爱立信研究院的Ursula Challita教授,以及美国罗格斯大学的Narayan B. Mandayam教授,针对自动驾驶汽车系统中的“安全性”问题,提出了一种新型对抗深度强化学习(RL)框架,以解决自动驾驶汽车的安全性问题。


可以这样说,为了能够在未来的智能城市有效地运行,自动驾驶汽车(AV)必须依靠车内传感器,如摄像头和雷达,以及车辆间的通信。这种对于传感器和通信链路的依赖使得AV暴露于攻击者的网络物理(CP)攻击之下,他们试图通过操纵它们的数据来控制AV。因此,为了确保安全和最佳的AV动力学控制,AV中的数据处理功能必须针对这种CP攻击具有强大的鲁棒性。


为此,本文分析了在存在CP攻击情况下监视AV动力学的状态估计过程,并提出了一种新的对抗深度强化学习(RL)算法,以最大化AV动力学控制针对CP攻击的鲁棒性。我们在博弈论框架中对攻击者的行为和AV对CP攻击的反应进行了研究。


在制定的游戏中,攻击者试图向AV传感器读数中注入错误数据,以操纵车辆间的最佳安全间距,并潜在地增加AV事故的风险或减少道路上的车流量。与此同时,AV作为一名防守者,试图将间距的偏差最小化,以确保具有针对攻击者行为的鲁棒性。由于AV没有关于攻击者行为的信息,并且由于数据值操作的无限可能性,因此玩家以往交互的结果被输入到长短期记忆网络(LSTM)块中。


每个玩家的LSTM块学习由其自身行为产生的预期间距偏差并将其馈送给其RL算法。然后,攻击者的RL算法选择能够最大化间距偏差的动作,而AV的RL算法试图找到最小化这种偏差的最佳动作。模拟结果表明,我们所提出的对抗深度RL算法可以提高AV动力学控制的鲁棒性,因为它可以最小化AV间的间距偏差。


智能交通系统(ITS)将包括自动驾驶汽车(AV)、路边智能传感器(RSS)、车辆通信、甚至是无人机。为了在未来的ITS中能够以真正自主的方式运行,AV必须能够处理通过大量传感器和通信链路所收集的大量ITS数据。这些数据的可靠性对于减少车辆碰撞的可能性和改善道路上的车流量至关重要。然而,这种对通信和数据处理的依赖性使得AV很容易受到网络物理攻击。


特别是,攻击者可能会在AV数据处理阶段进行插入,通过注入错误数据来降低测量的可靠性,并最终导致事故或危及ITS中的交通流量。这样的流量中断还可以波及到其他相互依赖的关键基础设施中,例如为ITS提供服务的电网或蜂窝通信系统。


640?wx_fmt=png

图1:文中所提出的对抗深度强化学习算法的体系结构


最近,科学家们已经提出了一些解决车辆内部安全问题的安全性解决方案。P. Kleberger、T. Olovsson和E. Jonsson在他们所著的《联网汽车车载网络的安全问题》中,确定了车辆控制器的关键漏洞所在,并提出了许多入侵检测算法用以保护该控制器。此外,在《对联网汽车的实际无线攻击和车辆内部的安全协议》中,作者指出,AVs当前安全协议中的远程无线攻击可能会中断其控制器区域网络。


他们分析了AVs车辆内部网络对局外无线攻击的脆弱性。同时,《插入式车辆的安全性问题》的作者解决了插电式电动汽车的安全性挑战,同时考虑了它们对电力系统的影响。此外,在《关于嵌入式汽车网络安全威胁和保护机制的调查》中介绍了嵌入式汽车网络安全威胁和保护机制的调查。


此外,最近科学家们还研究了车辆通信安全挑战和解决方案。分析了当前车辆通信体系架构的安全漏洞。此外,科学家们发现,通过使用短期认证方案和合作车辆计算架构,可以减轻由信标加密引起的计算开销。


640?wx_fmt=png

图2:在攻击者只攻击信标信息的情况下,AV和攻击者的行为、regret以及我们提出的算法的偏差


然而,在设计安全解决方案时,以往的一些研究成果中的体系构架和解决方案没有兼顾AV 的网络层与物理层之间的相互依赖性。此外,现有的研究没有对攻击者的行为和目标进行合理的建模。在这种情况下,攻击者的行为和目标的这种网络-物理依赖性将有助于提供更好的安全解决方案。


另外,在一些以往的研究成果中,现有技术没有提供能够增强AV动力学控制应对攻击的鲁棒性的解决方案。然而,设计一个最佳且安全的ITS需要对车辆间传感器和车辆间通信的攻击具有鲁棒性。此外,现有的ITS安全性研究往往假设攻击者的行为处于稳定状态,然而在许多真实情况下,攻击者可能会自适应地改变其策略以增强攻击对ITS的影响。


因此,本文的主要贡献在于提出了一种新型对抗式深度强化学习(RL)框架,旨在提供具有鲁棒性的AV控制。特别要强调的是,我们提出了一种车辆跟随模型(car following model),在该模型中,我们将关注的重点放在紧跟在另一个AV后的一个AV的控制上。这样的模型是恰当的,因为它会捕捉AV的动力学控制,同时记录AV的传感器读数和信标。


我们考虑通过车内传感器(例如:摄像头、雷达、RSS、车内信标)收集领先AV的四个信息源。我们认为攻击者可以向这些信息中心注入不良数据,并试图增加事故风险或减少车流量。相比之下,AV的目标是保持对攻击者的数据注入攻击(data injection attacks)具有鲁棒性的同时,最大限度地控制其速度。为了分析AV和攻击者之间的交互,我们提出了一个博弈问题,并分析了它的纳什均衡(NE)。然而,我们注意到,由于存在连续的攻击者和AV动作集以及连续的AV速度和间隔,使得在NE处获得AV和攻击者动作具有挑战性。


为了解决这一问题,我们提出了两个基于长-短期记忆(long-short term memory)(LSTM)块的深度神经网络(DNN),针对AV和攻击者,提取过去AV动态的摘要,并将这些摘要反馈给每个玩家的RL算法。一方面,AV的RL算法试图通过结合传感器读数来从领先的AV速度中学习最佳估计。另一方面,攻击者的RL算法试图欺骗AV,并偏离车辆间的最佳安全距离。模拟结果表明,所提出的深度RL算法收敛于混合策略的纳什均衡点,可以显著提高AV针对数据注入攻击的鲁棒性。


结果还表明,AV可以利用所提出的深度RL算法来有效学习传感器融合规则,最大限度地减小速度估计误差,从而减小了与最优安全间距的偏差。


640?wx_fmt=png

图3:在攻击者攻击所有传感器的情况下,AV和攻击者的行为、regret和偏差


本文提出了一种新型深度RL方法,该方法能够在传感器读数受到数据注入攻击的情况下,实现对AV的具有鲁棒性的动力学控制(robust dynamics control)。为了分析攻击者攻击AV数据的动机,同时了解AV对这类攻击的反应,我们提出了攻击者与AV之间的博弈问题。我们已经表明,在纳什均衡(the mixed strategies at Nash equilibrium)中推导出混合策略从分析角度而言具有挑战性。


因此,我们使用我们提出的深度RL算法学习AV在每个时间步长中的最优传感器融合。在所提出的深度RL算法中,我们使用了LSTM块,它可以提取AV和攻击者动作及偏差值之间的时间特征与依懒性,并将其反馈给强化学习算法。模拟结果表明,利用所提出的深度RL算法,AV可以缓解数据注入攻击对传感器数据的影响,从而保持对这些攻击的鲁棒性。


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/495632.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Visual Studio下使用jQuery的10个技巧

广泛流行的jQuery是一个开源的,跨浏览器和兼容CSS 3的JavaScript库,你可以用它简化你的JavaScript编码任务和操作(添加,编辑和删除)HTML内容中的DOM元素,本文介绍10个在 Visual Studio下使用jQuery的10个有…

小甲鱼 OllyDbg 教程系列 (五) : 破解 PC Surgeon 之 查找字符串

https://www.bilibili.com/video/av6889190/?p11 https://www.bilibili.com/video/av6889190/?p12 程序下载地址:https://pan.baidu.com/s/1eVTLQ_AatLrmrz3FLwM5ww 提取码:wny9 修复 OllyDBG 右键 -> 复制到可执行文件 -> 所有修改 中 所…

深度概览卷积神经网络全景图,没有比这更全的了

来源: 人工智能头条 翻译 | 林椿眄摘要:深度卷积神经网络是这一波 AI 浪潮背后的大功臣。虽然很多人可能都已经听说过这个名词,但是对于这个领域的相关从业者或者科研学者来说,浅显的了解并不足够。通过这篇文章,我们…

深入理解Nginx~优化性能的配置项

1、Nginx worker进程个数 语法: worker_processes number; 默认: worker_processes 1; 一般情况下,用户要配置与CPU内核数相等的worker进程,并且使用下面的worker_cpu_affinity配置来绑定CPU内核。 2、绑定Nginx worker进程到指定…

学习C++的五十条忠告

50条忠告:(其中有几条觉得写的不够贴切,所以删了,发了余下的部分) 1.把C当成一门新的语言学习; 2.看《Thinking In C》,不要看《C变成死相》; 3.看《The C Programming Language》…

小甲鱼 OllyDbg 教程系列 (四) : 逆向 VisualSite Designer 之 硬件断点

去掉程序开始之前的界面:https://www.bilibili.com/video/av6889190?p9 去掉关闭程序后的广告:https://www.bilibili.com/video/av6889190?p10 VisualSite Designer.exe 下载地址:https://pan.baidu.com/s/1i-fi1wW-m0Cp72yyB_SBFw 提取码…

深入理解Nginx~事件类配置项

1、是否打开accept锁 语法: accept_mutex[on|off] 默认: accept_mutext on; accept_mutex是Nginx的负载均衡锁,可以让多个worker进程轮流地、序列化地与新的客户端建立TCP连接。 accept锁默认是打开的,如果关闭它,那么…

复杂人机智能系统功能分配方法综述

本文来源:人机与认知实验室摘要:功能分配是复杂人机智能系统设计进程中的重要内容, 它需要应用系统的分析方法, 合理地进行人、机两者的任务分配和科学地设计两者的功能结合。本文分析了国内外功能分配的研究现状和存在的问题。针对复杂人机智能系统的设计需求, 指出…

C++调用C#的dll

C调用C#的dll的三个方法: 1. 如果C使用clr语法编译: 通过#using(比如 #using "xxx.dll")引入C#的dll,在程序中调用C# dll中的变量或函数(采用正确的访问托管对象,即:使用 ^,而不是*&a…

JSONPath 解析 JSON 内容详解(翻译自 github)

Github :https://github.com/json-path/JsonPath http://www.ibloger.net/article/2329.html JSONPath Online Evaluator:http://jsonpath.com JsonPath 是一种简单的方法来提取给定JSON文档的部分内容。 JsonPath有许多编程语言,如Javascr…

深入理解Nginx~虚拟主机与请求的分发

1、监听端口 语法: listen address:port[default(deprecated in 0.8.21)|default_server|[backlognum|rcvbufsize|sndbufsize|accept_filterfilter|deferred|bind|ipv6only[on|off]|ssl]]; 默认: listen 80; 配置块: server示例 listen 127…

生物学将是下一代计算平台:DNA是代码,CRISPR是编程语言

来源:36氪每一个行业都在向Crispr投入大量的资金——制药、农业、能源、材料制造。甚至连那些大麻贩子都想砸钱进去。机器里面,运行的并不是由0和1组成的互联网编码,而是能重写生命密码的分子。日前,《连线》杂志发表了一篇文章&a…

还是重新回博客园

很长一段时间没有写博客了,因为这段时间做网管,没有怎么编程的缘故,倒是也写有了几个小工具。 原本打算在google的app engine上搭建一个博客,还不容易在windows上搭建好Google App Engine开发平台,没想到时不时出现访问…

Python 中使用 jsonpath

JSONPath 解析 JSON 内容详解(翻译自 github):https://blog.csdn.net/freeking101/article/details/103048514 JSONPath Online Evaluator:http://jsonpath.com Python 处理 JSON 我选择 ujson 和 orjson:https://bl…

【重磅】吴恩达宣布 Drive.ai 自动驾驶汽车服务落地 理想就这样成了现实!

来源: 网易智能美国当地时间5月7日,硅谷无人车创业公司 Drive.ai 宣布将于2018年7月在德克萨斯州弗里斯科市提供自动驾驶汽车服务。这或许会成为美国第一个真正落地的自动驾驶汽车载人服务,也标志着公众第一次有机会在公共道路上使用按需定制…

深入理解Nginx~文件路径的定义

1、以root方式设置资源路径 语法: root path; 默认: root html; 配置块: http、server、location、if eg.定义资源文件相对于HTTP请求的根目录 location /download/ {root optwebhtml; } 在上面的配置中,如果有一个请求的URI是…

小甲鱼 OllyDbg 教程系列 (八) :fjproducer 逆向 之 困境

小甲鱼 OllyDBG 教程:https://www.bilibili.com/video/av30969642?p15 程序下载地址: https://pan.baidu.com/s/1xTBrvuAx6hsyHQ2RsYiCoA 提取码: 11sd 打开程序显示如下: 可以看到标题栏的 Flash Jigsaw Produce (unregistered),可以根…

在sharepoint中添加视频播放

年初的时候想把公司举办的春晚发布在sharepoint中供大家观看,但是视频文件太大了,放到文档库中存储到数据库中是一个不切实际的办法,后来就搁置了。 其实也一直在想优酷等视频网站的发布方式,但没能得到解答。最近无意中发现了网页…

深入理解Nginx~网络连接的设置

1、读取HTTP头部的超时时间 语法: client_header_timeout time(默认单位:秒); 默认: client_header_timeout 60; 配置块: http、server、location 如果在一个时间间隔(超时时间)内没…

佛祖保佑永无BUG 神兽护体 代码注释(各种版本)

佛祖保佑 永无BUG 注释 1: /*_ooOoo_o8888888o88" . "88(| -_- |)O\ /O____/---\____. \\| |// ./ \\||| : |||// \/ _||||| -:- |||||- \| | \\\ - /// | || \_| \---/ | |\ .-\__ - ___/-. /___. . /--.--\ . . __.&qu…