UC伯克利教授Stuart Russell人工智能基础概念与34个误区

点击查看源网页

来源：数据简化DataSimp

数据简化DataSimp导读：UC伯克利教授StuartRussell人工智能基础概念与34个误区，Russell是加州大学伯克利分校人工智能系统中心创始人兼计算机科学专业教授，同时还是人工智能领域里「标准教科书」《人工智能：一种现代方法》作者（谷歌研究主管Peter Norvig也是该书作者）。在这篇文章中，他以Q&A的方式讲解了人工智能的未来以及常见的误解。希望国人真正懂得科学、技术是给谁用的、为了什么搞科技和制度，舍本逐末要不得赶紧改正吧。

深度 | 伯克利教授Stuart Russell：人工智能基础概念与34个误区

文|选自UC Berkely人工智能系统中心创始人兼计算机科学专业教授，2016-11-21

1. 什么是人工智能？

是对让计算机展现出智慧的方法的研究。计算机在获得正确方向后可以高效工作，在这里，正确的方向意味着最有可能实现目标的方向，用术语来说就是最大化效果预期。人工智能需要处理的任务包括学习、推理、规划、感知、语言识别和机器人控制等。

常见误解

「它是一个特定技术」。例如在二十世纪八十年代到九十年代，人们经常会看到新闻报道中人工智能与基于规则的专家系统被混为一谈。现在，人工智能经常会与多层卷积神经网络混淆。这有点像把物理和蒸汽机的概念搞混了。人工智能探究如何在机器中创造智能意识，它不是在研究中产生的任何一个特定的技术。

「这是一个特定类别的技术方法」。例如，经常有人用符号化或逻辑化的方法将人工智能与「其他方法」相互比较，如神经网络和遗传编程。人工智能不是一种方法，它是一个课题。所有这些方法都是在对人工智能进行研究的产物。

「这是一小群研究者的方向」。这个误解与前几个错误有关。一些作者使用「计算智能」指代几个特定的研究者群体，如研究神经网络，模糊逻辑和遗传算法的研究者。这是非常片面的，因为这种分类让人工智能的研究陷入孤立的境地，让研究成果不能得到广泛的讨论。

「人工智能只是算法」。严格说来不算是误解，人工智能的确包含算法（也可粗略定义为程序），它也包含计算机中其他的应用。当然，人工智能系统需要处理的任务相比传统算法任务（比如排序、算平方根）复杂得多。

2. 人工智能将如何造福人类？

文明的一切都是人类智慧的产物。在未来，人工智能会将会扩展人类的智力，这就像起重机让我们能够举起几百吨的重物，飞机让我们很快飞到地球的另一端，电话让我们在任何角落实时交流一样。如果人工智能被适当地设计，它可以创造更多价值。

常见误解

「人工智能没有人性」。在很多反乌托邦幻想中，人工智能会被用来控制大部分人类，无论是通过监视，机器人执法，法律判决甚至控制经济。这都是未来可能出现的情况，但首先它不会被大多数人接受。人们往往忽视人工智能可以让人类接触更多的知识，消除人与人之间的语言隔阂，解决无意义和重复的繁重任务。

「人工智能将造成不平等」。毫无疑问，自动化程度的提升将使财富集中到越来越少的人手里。但是现在，如何使用人工智能的选择权在我们手里。例如，人工智能可以促进协作，让生产者与客户有更多交流，它可以让个人和小组织在全球化的经济环境下独立运作，摆脱对于特定大公司订单的依赖。

3. 什么是机器学习？

它是人工智能的一个分支，探索如何让计算机通过经验学习提高性能。

常见误解

「机器学习是一个新的领域，它已经代替了人工智能的地位」。这种误解是最近机器学习热潮产生的副作用，大量学生在之前没有接触过人工智能的情况下学习了机器学习课程。机器学习一直是人工智能的核心话题：阿兰·图灵在二十世纪五十年代的论文中已经认为学习是通向人工智能最可行的途径。这一观点似乎是正确的，人工智能最突出的早期成果，Arthur Samuel 的跳棋程序就是使用机器学习构建的。

「机器不能学习，它们只能做程序员告诉它的事情」。这显然是错的，程序员能够告诉机器如何学习。Samuel 是一个优秀的跳棋玩家，但他的程序很快就通过学习超过了他。近年来，机器学习的很多应用都需要大量数据来进行训练。

4. 什么是神经网络？

神经网络是受生物神经元启发构建的计算系统。神经网络由许多独立的单元组成，每个单元接收来自上一层单元的输入，并将输出发送到下个单元（「单元」不一定是单独的物理存在；它们可以被认为是计算机程序的不同组成部分）。单元的输出通常通过取输入的加权和并通过某种简单的非线性转型，神经网络的关键特性是基于经验修改与单元之间的链接比较相关权重。

常见误解

「神经网络是一种新型计算机」。在实践中，几乎所有的神经网络都运行在普通的计算机架构上。一些公司正在设计专用机器，它们有时会被称作是「神经计算机」，可以有效地运行神经网络，但目前为止，这类机器无法提供足够的优势，值得花费大量时间去开发。

「神经网络像大脑一样工作」。事实上，生物神经元的工作方式比神经网络复杂得多，自然界存在很多种不同的神经元，神经元的连接可以随时间进行改变，大脑中也存在其他的机制，可以影响动物的行为。

5. 什么是深度学习？

深度学习是一种特定形式的机器学习，训练多层神经网络。深度学习近年来非常流行，引领了图像识别和语音识别等领域的突破性进展。

常见误解

「深度学习是一个新领域，已经代替了机器学习的地位」。事实上，深度学习在神经网络研究者中间已经被讨论了超过二十年。最近深度学习的发展是由相对较小的算法改进以及大数据集模型和计算机硬件发展驱动的。

6. 什么是强人工智能和弱人工智能？

「强人工智能」和「弱人工智能」概念是由 John Searle 最先提出的，是他对人工智能研究方向的两个假设。弱人工智能假设机器可以通过编程展现出人类智能的水平。强人工智能则假设机器出现意识，或者说机器思考和认知的方式可以用以前形容人类的方式来形容。

常见误解

「强人工智能是人类智力级别通用人工智能研究的方向」。这个解释具有代表性，但这不是强/弱人工智能概念被提出时的本来意义。同样，「弱人工智能」被认为是针对特定领域，执行特定任务的人工智能研究，如语音识别和推荐系统（也称工具 AI）。虽然没有人具有最终解释权，但这种语义的转换可能会造成不必要的混乱。

7. 什么是 AGI，ASI 和超级智能？

AGI 代表的是通用人工智能，这个术语意在强调建立通用目的智能系统的雄心目标，其应用的宽度至少能覆盖人类能解决任务。ASI 指的是人工超级智能：远远超越人类智能的人工智能。更具体地说，一个超级智能系统高质量决策能力要比人类强，它能考虑更多的信息和进一步深入未来。

常见误解

「主流的人工智能研究者并不关心通用人工智能。」像语音识别这种细分领域的某些研究者主要关心的是其所在领域的具体目标，其他一些研究者比较关心找到现有技术的商业应用。在我的影像里，如学习、推理、和计划等细分领域的大多数人工智能研究者认为他们目前的研究工作有助于解决通用人工智能的子问题。

「人类的智能是一种通用智能」。这种观点常被认为是显而易见，不值得讨论，但它却几乎回避了关于 AGI 的所有讨论。持有这种观点的人通常会认为通用智能就是人类能做到所有任务的能力。然而当然不存在人工不能做的人类工作，所以人类能做已经存在的人类工作也没什么好惊讶的。难的是怎么定义那种完全独立于以人类为中心的价值观和偏见的宽度。所以我们只能说人类智能是某种程度上的通用智能，人类能做人类能做的所有事情。另一种更有意义的说法是人类能做很多事情，但目前为止这个问题还没有确切的答案。

8. 什么是摩尔定律？

「摩尔定律」指的是多个相关的观察和预测能影响电路性能和密度。现代理解的「摩尔定律」是每一秒的操作次数以及每一美元所能买到的电脑性能，将每隔 N 个月翻一倍以上，N 大约是 18，这一表述有些背离「摩尔定律」最初的定义。

常见误解

「摩尔定律是物理定律」。事实上，摩尔定律只是一种关于技术进步的经验观察。没有什么规定摩尔定律会持续下去，当然它也不可能无限持续下去。时钟速度的增加已经达到了顶峰，目前价格/性能上的提升也来自于单个芯片上内核（处理单元）数量的上升。

9. 摩尔定律能让我们预测出超级人工智能的到来吗？

不能。人工智能系统不能做的事情很多，比如理解复杂的自然语言文本；加速意味着在很多情况下得到的错误答案的速度也越快。超级智能需要在主要的概念突破。这些很难预测，即便我们有了速度更快的机器也没啥用。

常见误解

「让机器更强大的意思是提升它们的智能」。这是人工智能的未来的讨论中的一个常见主题，这个主题似乎建立在一个混乱的概念上，我们使用「强大」来描述人类智力，但是在描述计算机时用的「强大」的含义更加简单，就是每秒操作的次数。

10. 什么是机器 IQ？

没有机器 IQ 这种说法。某种程度上一个人在多个任务上的多种智慧能力是高度相关的，人类可以说有 IQ，但是研究者们对任意单一维度上的 IQ 定义有争议。另一方面，任意给定的机器的各种能力之间都是不相关的：一台机器能打败世界象棋冠军，并不意味着它能玩的好别的棋类游戏。能赢得猜谜比赛的机器也无法回答「你叫什么名字？」这样简单的问题。

常见误解

「根据摩尔定律，机器 IQ 会不断上升」。既然根本不存在什么机器 IQ，它也就不可能增长；摩尔定律描述的仅仅是原始的计算吞吐量，与是有存在执行任意特定任务的算法没有关系。

11. 什么是智能爆炸？

「智能爆炸」这个术语是 I.J.Good 于 1965 年在其文章「Speculations Concerning theFirst Ultraintelligent Machine」中创造的。它指的是足够智能的机器能重复设计它自己的硬件和软件来创造出一个更加智能的机器的可能性，这个过程会一直重复下去，直到「人的智能被远远的甩在后面」。

常见误解

「一旦机器达到人类水平的智能，智能爆炸就在所难免」。反过来：虽然逻辑上是可行的，但是让 N 代的机器设计出 N+1 代的机器太难了。同样的道理，我们造的机器可能在一些重要的方面成为超过人类，但是在其他方面可能会落后于人类。在解决贫困、治疗癌症等重要问题上，机器的能力肯定会比人类强，而且不需要在人工智能研究上有大突破就能实现。

12. 人工智能系统何时才能超过人类智力？

这是一个难以回答的问题。因为首先它假定这件事必然发生，事实上它具有选择性：假如人类选择不去发展这样的人工智能，这件事就不太可能发生。第二，「超过」假定智力是线性的，而这不是真实情况，机器在某些任务的处理上比人类更快，而在更多放面则很糟糕。第三，如果我们认为「通用的」智能是有用的，我们就可以开发这样的机器，但目前我们不知道它是不是有用的。宽泛地说，实现这样的人工智能还需要很多技术突破，而这些都是难以预测的，大多数科学家认为这件事会在本世纪内发生。

常见误解

「它永远不会发生」。对技术突破进行预测是很难的。1933 年 9 月 11日，Rutherford，也许是那个时代最著名的核物理学家，在英国科学促进年会上向人们宣布：「任何想从原子变形过程中获取能源的努力都是徒劳的。」（他在各种场合发表过许多类似言论，大意都是表达使用原子能是不可能的）结果第二天早上，Leo Szilard发现了中子诱导链式反应，并很快对核反应堆申请了专利。

13. 人工智能系统现在能做什么？

人工智能的应用范围已经比几年前大很多了。从围棋、纸牌、简单的问答、从新闻中抓取信息、组合复杂的对象、翻译文字、识别语音、识别图像中的概念、到在「普通」交通条件下驾驶汽车，不一而足。在很多情况下，人工智能在你不知道的情况下发挥着作用，如检测信用卡欺诈，评估信用，甚至在复杂的电子商务拍卖中投标。搜索引擎中的部分功能也是人工智能的简单形式。

常见误解

「像『下棋』这样的任务对机器来说和对人类来说是一样的」。这是一个错误的假设：机器「掌握」一项技能的程度超过了人类。人类通过阅读和理解学会游戏规则，通过观看棋局和下棋来提高水平。但典型的下棋程序没有这样的能力——将下棋规则编程，让机器算法直接给出所有可能的下一步。机器无法「知道」人类所谓的规则（目前新兴的强化学习方式改变了这一点）。DeepMind 的人工智能系统可以学会很多种游戏，它不知道自己在学习什么，看起来也不太可能学会这些游戏的规则。

「机器执行任务的方式和人类一样」。我们不知道人类思考问题的机制，但这种机制与人工智能系统处理任务的方式看起来大不相同。例如，下棋程序通过考虑当前棋局状态和下一步可能的序列比较结果考虑下一步，而人类经常是先发现可能获得的优势，然后继续考虑如何找到一系列方式来实现它。

「如果机器可以做到任务 X，那么它就可以做类似的所有任务了」。参见有关机器IQ 的问题，机器目前还不能形成通用化的智能，它们的功能通常局限于某一领域。

14. 人工智能会对社会造成什么样的影响？

在可预见的未来中，人工智能的各种应用将会改变社会形式。自动驾驶汽车现在已经在路上进行测试，至少有一家公司承诺将在 2016 年内交货（考虑到目前遇到的困难，其他公司的态度则更为谨慎）随着计算机视觉和机械腿设计的进化，机器人非结构化环境正在变得更为实用——可能的应用范围包括农业和服务领域（特别是对于老人和残疾人而言）。

最后，随着机器能够理解人类语言，搜索引擎和手机上的「个人助理」将会改变现有的人机交互方式，它们可以回答问题，整合信息，提供建议，并促进交流。人工智能还可能会对科学领域（如系统生物学）产生重大影响，这些学科中信息的复杂性和数量一直令人望而却步。

常见误解

「机器人正在接管一切」。参见《人工智能的智力何时才能超过人类》，人工智能中的绝大多数进步是基于任务处理的改进。当然，从长远来看，维持人类的控制很重要。

15. 人工智能与机器人的发展会取代大量人类的工作吗？

一些研究（比如 Frey 和 Osborne 在 2013 年的调查）表明在未来美国将近一半的工作在自动化面前会变得很脆弱。其他作者，比如 Bryjolfsson 和麦肯锡在 2011 年的工作表明这一变化已经开始了：2008 年经济萧条之后就业率的缓慢恢复，生产率与停滞不前的工资之间的差异化增加了自动化的进程。随着人工智能与机器人的持续发展，更多的工作将受到影响看起来不可避免。大量的失业并不是必然的，但这可能会造成经济结构的巨大转变，需要想出组织工作与酬劳的新思路。

常见误解

「机器人的工作越多意味着人类工作越少」。工作不是零和（zero-sum）的：由一对机器人协助的工人可能更具工作效率，也因此需要更多这样的工人。没有机器人的帮助，一些领域的工作由人类完成可能不具备经济效益，或者一些工作单独的人或机器无法完成。同样，就像涂刷匠的刷子与滚筒：如果使用针尖大小的刷子一点一点的涂刷，我们就雇不起涂刷匠来涂刷一整间屋子了。

16. 什么是无人机，自动武器，杀人机器人？

无人机是由人远程控制的飞行器；有些无人机可以携带武器（通常是导弹），这些武器的释放也是由人远程控制的。自动武器是可以自主选择和吸引攻击对象的装置。目前这类装置包括韩国非军事化区里的自动瞄准机枪和一些不同类型的船载反导弹系统。目前在技术上可以实现将无人飞机的控制员替换成完全自动的计算机系统，以达到致命自主武器系统的要求。致命自主武器系统是日内瓦会议裁减军备议题的讨论主题。杀人机器人是对具有轮动能力和行走能力的武器的统称，包括：船，飞行器以及人工智能的昆虫飞行器。

常见误解

「完全自主武器的出现还需要 20-30 年的研发」。得出这个预估时间的依据无从知晓，但是 20-30 年的时间跨度有点夸大所需的研发时间长度。目前自主武器的研发已经在全世界内大范围的开展，英国国防部已经宣称，对于一些简单对抗如海上战役，完全自动武器现在已经可以实施。

17. 我们需要担心杀人机器人胡作非为或接管世界吗？

如果部署了自动化武器，它们也会有士兵那样的难题：有时难以分别朋友与敌人、平民与敌军。而且可能会有军事事故造成平民伤亡，或者机器人受到干扰与网络攻击。也因为后者，一些军事专家预测自动化武器可能需要封闭操作系统，没有电子通讯。如果系统行为不准确的话，这样做能防止有人凌驾于自动化控制器之上。但在可预见的未来，自动化武器可能会变得很常见，在有限的任务中被使用。但在全局规模上，它们很难自己编程出计划。

常见误解

我们可以按下「关闭」按钮。「关闭」按钮会使得自动化武器在网络攻击面前变得很脆弱。这样的通信频道在战争中也是如此。此外，通用智能系统会被赋予一项任务，防止自己的「关闭」按钮被按下。

18. 人工智能的「存在风险」是什么？它是真的吗？

关于人工智能风险的早期警告曾是非常模糊的。I.J.Good 对于人工智能的可行性提出了自己的观点：「只要机器能够聪明到告诉我们如何保持对它的控制。」人们普遍意识到，在我们的星球上如果存在一个超级智能实体，可能会出现恐慌；但另一方面，我们也都清楚更加聪明的机器会更加有用，而且更加聪明不一定意味着邪恶。事实上，论据很简单。

假设超智能系统被设计成实现由人类设计者指定的某一目标，并假设这一目标不完全符合人类的价值观，人工智能形成的价值观（如果有）是非常难以确定的。

任何充分有能力的智能系统将倾向于确保其自身的持续存在并且获取物理和计算资源——不是为了他们自己的目的，而是为了更好地执行人类为它设定的任务。

现在我们问题的本质是你所要求的不是你所得到的。NorbertWiener 是自动化和控制理论的先驱者，他在 1960 年写道：「如果我们使用——为达到某些目的——一些机器来代替我们做某些工作，我们最好能够清楚它们的确在按我们的想法工作。」Marvin Minsky 举了让机器计算 pi 这个例子，Nick Bostrom 则举了回形针的例子。对于人类而言，这些目标是根据人类视角提出的，这意味着计算机服务器或回形针覆盖整个银河系不是好的解决方案。一个具有能力的决策者——特别是能够通过互联网连接全球每块屏幕的智能——可能会对人类产生不可逆转的影响。幸运的是，这个问题相对比较明确，所以现在就可以开始解决。

常见误解

超智能机器将变得自发地产生意识、本能地变得邪恶或伤害人类。科幻小说作者通常假定上面这些一个或多个问题来设定机器与人类的对立面，这样的假设完全是不必要的。

我们人类发展人工智能系统，那么为什么我们要制造出来毁灭自己呢？有一些人类工智能「捍卫者」常常争辩道因为人类建立了人工智能系统，那么完全没有理由来支持这样的假设，即我们是在制造一个旨在毁灭人类的机器。这个没有抓住辩论要点，即哪个是邪恶意图，在设计者这一边还是代中间者这一边，这是存在存亡威胁的先决条件，这个问题也就是错误设定了对象。这将永远不会发生。

19. 为什么人们会突然对人工智能如此担心？

从 2014 年开始，媒体就定期地报道如 Stephen Hawking、 Elon Musk、 Steve Wozniak and Bill Gates 那样名人的对人工智能的担忧。这些报道通常引用那些最绝望话语并省略实质担心的深层原因，通常就像「什么是人工智能现存风险」那样的问题。在许多情况下，担忧就是在阅读 Nick Bostrom 的书籍超智能（*Superintelligence*）之后产生的。另外一些当下关心这个问题的潮流也是因为人工智能的发展正在加速。这种加速可能是很多因素的集合，包括逐步完善的理论基础，它连接了很多的人工智能领域成为一个统一的整体。还有学术实验室能产出达到能够应用并解决现实世界的实际问题在人工智能方向商业投资的急剧增加也作为。

常见误解

如果人们是担心超人工智能就在某个角落，那么基本上人工智能研究者很少认为超智能机器就在我们周围某个角落。这并不暗示着我们应该等着，直到这个问题变得很严重！如果我们发现直径 10 英里的小行星将于 50 年后撞向地球，我们难道能够不消灭它并声称「我们会在五年的时候去关注它」？

20. 人工智能在接下来的几十年里会取得怎样的进步？

这个领域好像并不要求人类级的通用人工智能能够达到成熟，而制造一些可信赖的高质量的产品也许在下个十年内有能实现。这就包括了语音识别、从简单的实际材料中提炼信息、对物体和行为的视觉识别、日常事物的机器人操作和自动驾驶。努力提升质量和扩展文本与视频的理解系统能制造更强劲的家用机器人，产生更为广泛有用的机器人，它能展示常识知识系统，一起学习并在遍历所有形式后表现得更好。还存在获取和组织科学知识的专业系统，它能管理复杂假说并可能对分子生物学、系统生物学和制药方面产生重大的影响。我们也许也会看到它在社会科学和政策制定有相同的影响，特别是在给它关于人类活动巨量的机器可读性数据之后，并如果机器是很可靠有用的，那么人们同样也需要机器去理解人类价值。公共和私人知识源，也就是知道和推理真实世界的系统，它不仅仅是数据的仓库，它会成为社会的组成部分。

21. 什么是「价值定位（value alignment）」？它有什么要紧的？

价值定位（Value alignment）就是校准人机关系具体目标价值的任务，所以机器最优选择大概来说就是无论做什么都是最大化人类的幸福感。如果没有价值定位，那么超脱人类掌控的超智能机器的出现就是不可忽视的风险。

常见误解

「我们所有需要的就是阿西莫夫定律（Asimov's laws）」。阿西莫夫定律本质上就是一些条款：它们给人类创造出各种故事情节提供灵感，但是基本对约束机器人没有什么有用的信息，因为它没有更多具体的细节。它们的基本结构为一组规则而不是效用函数，这是很有问题的：它们的词典式结构（例如任何对人类的伤害是比所有机器人的损害还要严格重要地多）意味着没有给不确定性或权衡留下空间。也许机器人只为了拍死一只在以后可能叮咬人类的蚊子会跳出悬崖毁灭了自己。另外，它也许会锁上人类汽车的门，因为坐车会提高人类受伤的可能性。最后，基于最大化人类效用的方法，对于第三条法则是没有必要的（机器人自我保护），因为机器人不保证自身的存在是不能为人类效用做出贡献的，还会令其拥有者十分失望。

22. 对于存在主义风险（existential risk），人工智能社区做了什么？

许多关于人工智能的存在主义风险的讨论都是处于人工智能社区主流之外的，它们是从人工智能研究最初到最主要的反动力。在 2008 年的时候，AAAI（美国人工智能学会）就举行了个座谈会来讨论这个问题。座谈会中期报告就指出了存在的一些长期问题，并降低了一些人工智能对人类社会风险的想法。最近，在 2015 年 1 月 Puerto Rico 由 Future of Life Institute 主办的会议上，参会者和随后参加者共六千多人共同签署了一份公开信，强烈呼吁应该有关注这些风险问题的研究和提出一个更加详细的研究议程。随后，Elon Musk 为支持这方面的研究而拿出了 1000 万美元。另外，Eric Horvitz 已经建立个期望追踪风险问题并在需要时给出政策建议的长期研究。最后还有AAAI 也已经建立了一个关注人工智能影响和伦理问题（Impact of AIand Ethical Issues）的常务委员会。

常见误解

「规约或控制研究是不可能的」。有些人辩称没办法避免消极后果，因为研究进展是无法停止和规约的。实际上这种声称本身就是错误的：在 1975 年关于基因重组的阿西洛马会议（Asilomar Conference）就成功地发起自愿活动中止了设计制造人类遗传性基因修饰，并一直持续成为了国际准则。另外，如果实现人类级的人工智能研究未加抑制（这个是很可能出现的），那么在方法上开始谨慎地研究确保人工智能系统在我们掌控下是十分重要的。

23. 我能提供什么帮助吗？

如果你是一个人工智能研究者（或对这方面感兴趣的经济学家、伦理学家、政治学者、未来主义者和律师），从 2015 年波多黎各会议（Puerto Rico conference）在研究议程中就已经兴起了一个主题，即在主要的人工智能会议上会举行相应的研讨会，比如说 AAAI Fall 和 Spring Symposium series 等等。FHI、CSER、 FLI 和 MIRI 网站都有更多的信息。

常见误解

「完成这些是没什么困难的」。我们不管做什么都无法改变未来，这些事都终将发生。也没有什么能离真相更近一点的，我们不能预测未来，因为我们正在创造未来，这是我们集体的选择。

-END-

参考文献(116字)

1. UC Berkely. 深度 | 伯克利教授Stuart Russell：人工智能基础概念与34个误区.[EB/OL]机器之心, http://www.sohu.com/a/119499799_465975,2016-11-21