来源：人机与认知实验室

作者：刘伟 苌凯旋

摘要：本文对人机融合智能的概念、应用、发展将面临的关键问题以及未来发展的方向进行简要介绍。

1 引言

1.1 现有人工智能的不足与挑战

人工智能（AI）的概念于1956年的达特蒙斯学院暑期论坛首次提出。六十年间人工智能伴随着互联网、大数据、云计算等技术的发展取得了长足的进展。这其中人工智能的理论思想演变为三大流派，分别是联结主义、行为主义和符号主义。尽管每种理论均取得了卓越的成就并且依旧为现在人工智能的主流研究方向，但是也均存在不足之处。联结主义思想模仿人大脑皮层神经网络的结构，通过深度学习方法，即用多隐层的处理结构处理大数据。但该方法限制于在具有可微分、强监督学习、封闭静态系统任务下才会得到良好的结果，并且训练得到的结果也限制于给定条件的问题上。行为主义思想通过不断模仿人或生物个体的行为超越原有的表现来推进机器的进化，主要依赖具有奖惩控制机制的强化学习方法。然而该方法的缺点在于过于简化人类的行为过程，忽略人类心理的内部活动过程，忽略意识的重要性。符号主义思想具有产生智能行为的充分必要条件假设，并且基于有限理性原理。该方法的实质是通过符号模拟人的大脑抽象逻辑思维过程，模拟人类认知系统的功能机理，并用计算机处理符号的运算，从而实现人工智能。但是符号主义思想面临四个主要挑战：1.知识的自动获取；2.多元知识的的自动融合；3.面向知识的表示学习；4.知识推理与运用。符号主义虽通过模拟人的思维过程实现人工智能，但在以上四个问题难以有突破性的结果。

人工智能的优势在于庞大的信息存储量和高速的处理速度，但是无法处理如休谟问题，即从“是”（being）能否推出“应该”（should），也即“事实”命题能否推出“价值”命题[4]；也无法处理情感的表征问题。人工智能尝试通过大数据与逐步升级的算法实现人的情感与意指依旧没有办法实现跨越。而人机智能融合将会是未来智能科学发展的下一个突破点。

1.2 人机融合智能

人机融合智能理论着重描述一种由人、机、环境系统相互作用而产生的新型智能形式，它既不同于人的智能也不同于人工智能，它是一种物理性与生物性相结合的新一代智能科学体系。人机交互技术主要涉及人脖子以下的生理心理工效学问题，而人机融合智能主要侧重人脖子以上的大脑与机器的“电脑”相结合的智能问题。人机融合智能在以下三个方面不同于人的智能与人工智能不同：在智能输入端，人机融合智能的思想不单单依赖硬件传感器采集的客观数据或是人五官感知到的主观信息，而是把两者有效地结合起来，并且联系人的先验知识，形成一种新的输入方式；其次是在信息的处理阶段，也是智能产生的重要阶段，将人的认知方式与计算机优势的计算能力融合起来，构建起一种新的理解途径；最后是在智能的输出端，将人在决策中体现的价值效应加入计算机逐渐迭代的算法之中相互匹配，形成有机化与概率化相互协调的优化判断。在人机融合的不断适应中，人将会对惯性常识行为进行有意识地思考，而机器也将会从人的不同条件下的决策发现价值权重的区别。人与机器之间的理解将会从单向性转变为双向性，人的主动性将与机器的被动性混合起来。人处理其擅长的“应该”（should）等价值取向的主观信息，而机器不仅处理其擅长的“是”（being）等规则概率的客观数据，同时也将从人处理“应该”（should）信息中优化自己的算法，从而产生人+机器既大于人也大于机器的效果。

人机融合采用分层的体系结构。人类通过后天完善的认知能力对外界环境进行分析感知，其认知过程可分为记忆层意图层，决策层、感知与行为层，形成意向性的思维；机器通过探测数据对外界环境进行感知分析，其认知过程分为目标层知识库，任务规划层、感知与执行层，形成形式化的思维。相同的体系结构指明人类与机器可以在相同的层次之间进行融合，并且在不同的层次之间也可以产生因果关系。图1为人机融合的示意图。

图1 人机融合智能

2 人机融合智能技术的应用

2018年，人机融合智能技术呈现一多分有的态势，既关涉个人也与“群体”智能有关。人机融合智能中的人不限于个人，而且代表着以人为本的认知思维方式还包括众人，机器也不限于机器装备还代表着以计算机系统的机制机理。除此之外，自然和社会环境、真实和虚拟环境都会对人机融合智能的适应性产生影响等。人机融合智能着重于解决上述人机融合过程中产生的细节问题。

美国快公司（Fast）提及的“人与机器人融合的阿凡达（avatar）风格”案例。通过其配置的头戴式显示器，操作者可以看到机器人捕捉到的场景，并且机器人将操作者执行动作产生的反馈继而传达回给操作者，从而形成人机融合的信息闭环。远程控制机器人传递了机器人对环境态势的感知，而由人处理理解与决策，这是初级阶段的人机融合智能。图2中展现的T-HR3型机器人通过最新的5G网络技术可以使机器人在长距离的工作环境中摆脱延迟影响，几乎可以为用户提供即时反馈。

该机器人对现实场景中的力的传达也十分精确，它可以执行需要用力才能完成的任务：双手拿球，抓起模块并堆砌，甚至与人握手。在人机融合与机器人的实际应用下，丰田公司研发的最新的人机融合平台将探索机器人与周围环境之间物理交互的安全管理，以及一种能将用户动作映射到机器人的新型远程操纵系统。使得人机融合获得更加流畅的体验。

图2 T-HR3型机器人

同时，在制造业行业人机融合智能也得到了重视与发展。曾经的工业流水线中机器人代替人类完成重复的机械工作。现今出现在制造业工业流水线中的人机融合智能依存于不同的硬件设备与环境条件，有的类似机器人助手，有的则是外骨骼套装。宝马公司的斯帕坦堡工厂里有一款“夏洛特小姐”的人机融合机器人，用来辅助车门的精确安装。梅塞德斯奔驰公司也在开发人机融合技术，该公司面向每个个体客户向奢华车型定制更加个性化的服务，利用数据与人工的结合使得这一服务得到可行。在使用人机融合智能取代了体积更大的自动化系统后，定制版S级轿车所需的特殊零件将不会带来普通流水线提供时效性的麻烦，转而替代的是更方便的操作与管理。麻省理工学院的教授朱莉·肖正在开发一种特殊的软件算法，它的目的在于使得机器人理解人类发出的信息讯号，继而解决机器人与人类的沟通问题。

3 人机融合智能未来的关键问题

目前人机融合智能的发展还在初级阶段，人机融合智能的第一个关键问题，也是最重要的问题，是在于如何将机器的计算能力与人的认识能力结合起来。目前处在应用阶段的人机融合中人与机器的分工明确，没有产生有效的结合作用。人类在后天的学习中不断拓展认知能力，所以人类能够在复杂的环境下更为精准地理解到态势的发展。通过联想能力人能够产生跨领域结合的能力，而这种认知联想能力恰恰是缺失的。如何使得机器产生这种能力是实现真正智能的突破口。朱利奥·托诺尼的整体信息论（Integrated Information Theory，IIT）表明，一个有意识的系统必须是信息高速整合的。同时，进化出有仿认知能力的机器，需要保证人与机器之间的共同意识的存在。所以人和机器之间必须建立高速，有效的双向信息交互关系。认知的基本在于抽象，而对于机器来说抽象能力决定了问题的限制环境，越是抽象的思维表征越能够适应不同的情境。同时，高抽象能力也会带来更普适的迁移能力，从而突破思维的局限性。一九七一年图灵获奖者约翰·麦卡锡发表观点“与所有专门化的理论一样，所有科学也都体现在尝试中。当你试图证明这些理论时，你就回到了尝试推理，因为常识指导着你的实验。”常识就是非结构化的多模态信息/支持的复合体，在认知里的常识是人类的先验知识，而计算机的信息输入恰恰忽略掉常识。所以研究知识本事，知识类型，知识原理也是突破认知与计算结合的关键。

人机融合的另一个关键问题是公理与非公理混合推理，直觉与理性结合的决策。公理是数学发展史中的理论基础，而在科学研究过程中逻辑推导是最为核心的方法。相同的，计算机的运行过程依旧是按照严密的算法语言运行。但是人类的决策不同于这个过程，人类的联想能力还依赖于类比推理。类比推理为非公理推理的一部分。非公理推理决定了在弱态势情况下的强感知问题。这种学习方法依赖于先验知识，通过利用大数据与概率的方法实现。而实现机器的非公理推理是人与机器的区别之一。更是人的情感在机器上实现的重要途径。通过先验知识人类产生直觉，而理性的分析是直觉的对立面。机器总是在理性地处理数据，而如何让机器产生直觉能力是人机融合的平滑性的关键。公理与非公理推理，直觉与理性的结合决策将是解决人机融合智能输出的重要研究方向。

人机融合智能的关键问题还包括介入问题，介入问题反应了人机融合的时机与方式问题。这个问题尤其在当人与机器出现对感知信息的不对称，人与机器在决策的方向出现矛盾时。同时人机融合中的介入问题体现在团队态势感知之中，而团队任务的比重也逐渐偏向于人机群的团队态势感知。团队态势感知中团员之间的交互包括接受、容忍、信任、匹配、调度、切换、说服，这是使得团员之间的合作产生团队大于个人的条件。而人机融合中的介入问题与人与人之间的交互问题具有同样的复杂度，从技术角度讲，人机融合智能绝不仅是一个数学仿真建模问题，同时是一个心理学工效问题，还应是一个实验统计体验拟合的问题。

人机融合智能的最后一个关键问题是伦理问题。人类价值观的起源是伦理学。从团队态势感知的严重中可以看出，人类本身拥有很多伦理道德困境，此外人工智能的出现也带给了人类对待人工智能的伦理问题的思考。与此同时，人机融合智能的范畴归属是人机融合智能伦理问题的关键。人机融合智能的伦理不仅包括人工智能的伦理，其中包括人工智能的思想产生对于实际法律问题的影响。而且包括人机融合后的界定，所产生的行为是归属于人还是机器的思想。在思想之外，人机融合智能中设备作为人的一部分所产生的行为需要面对如何的法律责任，也是人机融合智能在接下来发展的问题之重。

4 人机融合智能技术未来的发展方向

4.1 信息融合与人机融合智能

信息融合起源于数据融合，或者说数据融合是信息融合的第一阶段。数据融合利用多传感器探测数据所得到的数据与结果形成单一传感器无法得到的更准确可信的结论和质量。最早的数据融合限于硬件设备的差异多需加入人工的梳理，尽管如此传感器依旧会因硬件问题带来时效性和精度的问题，从而对后续的工作产生接二连三的影响。这使得研究向融合方式逐渐转变。信息融合发展的第二阶段除采用多传感器探测数据还融入了其他信息源。同时，比起传感器数据的融合，多信息源的信息融合方法和技术难度更大。需要从统计学和结构化模型迈向非结构化模型，以及人工智能技术和基于知识的系统。除此之外，信息融合正在不断地加入态势/影响估计等高级感知领域。现阶段的信息融合模型依然仅采用海量数据规模、快速动态的数据体系、多数据类型和低数据价值密度。

信息融合是人机融合智能中关键的一环。在目前的两个阶段中，信息融合无论在理论上还是在技术和应用实现上都只在于力图建立一个能够自动运行的产品，嵌入到应用系统中或直接作为系统应用到相应业务活动中。而在传统结构化数学模型和方法，如统计学、计算方法、数学规划以及各种信息处理算法无法解决的目标识别、态势估计、影响估计等高级融合问题，则求助于不确定性处理和人工智能技术。然而，当前不确定性处理技术特别是人工智能技术的发展与高级信息如人的需求相差甚远。而在处理不确定性问题，涉及到“是”（being）的问题到“应该”（should）问题的转变，是人的优势所在。在信息融合系统运行过程中添加人的选择判断与行动管理是使得信息融合智能在观测、判断、分析与决策方面的高级感知领域取得质变的关键。

4.2 态势感知与人机融合智能

态势感知（Situation Awareness）概念最早出现在航空心理学中，描述飞行员对作战飞行任务中态势的理解。态势感知的经典理论是Endsley于1995年提出的三级模型，其定义为人在一定的空间和时间内对环境中各要素的感知（perception）、综合理解（comprehension）以及预测（projection）的能力。二十多年来SA的研究逐渐扩展到民航飞行员、空中交通管制员、核电厂的操作员、军事指挥员等。在这些领域中，操作者的SA是影响决策质量和作业绩效的关键因素，拥有良好的态势感知对复杂和动态的系统，如航空，空中交通管制，飞机驾驶等任务中的决策起到了相当关键的作用。

态势感知的概念出现在人机协同的工作中。在态势感知的三级模型中，感知即获取信息，而在高负荷的认知条件下信息的获取主要依赖机器的传感器，后经过计算机的处理呈现给操作员。三级模型中机器在感知阶段扮演重要的角色。而在预测后的决策阶段，同样需要机器与人之间的协同判断与分析。三级阶段中彼此阶段之间的人机分离是模型中的缺陷。而推动态势感知中人与机器融合是实现态势理解获得良好绩效的关键。在人、机器与环境构成的特定情境的组成成分常会快速变化，在这种快节奏的态势演变中需要充分时间和足够信息来形成态势的全面感知与理解。同样，人机融合智能也在态势不足的情况下凭借先验知识通过大数据处理分析辅助操作员的决策方面提供了若态势下强感知的解决方法。

4.3 自主性与人机融合智能

自动化已经应用在了各种系统中，并且通常包括需要软件提供要逻辑步骤与操作。传统的自动化的定义为“系统在没有/很少人为操作员参与的情况下运行：但是，系统性能仅限于其设计要执行的具体操作”。相比于自动化系统，自主性涉及使用额外的传感器和更复杂的软件，以便在更广泛的操作条件和环境因素以及更广泛的功能或活动范围内提供更高水平的自动化行为。自主系统具有一定程度的自主行为（用人的决策代理）。通过软件方法可以扩展到基于计算逻辑（或者更普遍地，基于规则的）方法以包括计算智能（例如，模糊逻辑，神经网络，贝叶斯网络）。另外，学习算法可以提供学习和适应不断变化的环境的能力。自主是是自动化的一个重大扩展，在这种扩展中，高水平的面向任务的命令将在各种可能不是完全预期的情况下成功执行，就像我们目前期望智能人员在给予足够的独立性和任务时运行一样执行权限。自主是良好的设计和高度自动化。

但是自主系统常面临几个常见的问题。自主系统的设计能力问题，即自主性在人与自动化之间的平衡问题。面临新环境与一成不变的环境、轻度重复的工作与可信赖的重复工作、可不连续与始终如一、不可预测与可预测的博弈；操作员对自主系统的态势感知能力，高级的自动化很容易让操作员不了解自动化在做什么，所以需要给飞行员提供合适的参与度，保持与自主系统不脱节；辅助系统的问题，自动化的辅助系统常常给操作员很高的信任感，以此类比向专家求助问题，专家的标签本身就带来一种信任，而实际上真正对结果的评价应该在于问题本身的解答，而不是外在的标签。同样的辅助系统会给操作员带来同样的信任，但这种信任在有偏差的情况下会带来灾难；信任问题，信任问题受到系统因素、个人因素、情境因素的影响，自主系统对现实状况带来的错误的判断会使操作员对系统的信任迅速降低，而怎样让操作员信任自主系统，在此心理环境下做出更好的任务操作很重要。

人机融合智能中的一个重要课题如何解决人与自动化的平衡问题，人与机器之间的信任问题。自主系统下也需要以人为中心，并不需要寻求完全用机器取代人，人在其中的控制和指挥是必不可少的。所以需要更加灵活的自主性，和自主权的切换。随着系统能力的提升，自主性的水平也在提升。决策辅助为操作员提供潜在的选项，而监督控制是操作员可以适当地干预。具体情境下使用何种水平的自主性系统是动态变化的，比如在风险低的情境下可以使用高度的自动化，而在风险发生变化之后应该调控人在自助系统中的参与度。共享人和机器的态势感知也非常重要。即便在相同的显示器下处于相同环境中的人也会因为不同目标和心理模型，从而对未来的预测也是不同的。自主系统通过传感器获取信息理解世界的方式和人不同。所以需要对人和机器的态势感知进行共享。具体体现在目标一致，功能分配和重新分配，寻找人与机器各司其事的平衡，决策沟通，包括对战略、计划和行动，以及任务调整，因为任务通常需要对双方都有紧密的依赖。从这四个方面需要保持自主系统和人的态势感知保持一致性。

5 结束语

尽管人机融合智能的发展尚在初级阶段，但其概念中所传递出来的思考为人工智能注入了活力。人机融合智能在一些实际场景中初步取得了成果，未来还会在医疗、军事、机械等更多领域继续取得进步。人机融合智能是主客观的结合，是灵活的意向性与精确地形式化的结合。人机融合智能将会是接下来人工智能发展的一个重要分支。

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”