机器阅读理解首次超越人类!云从刷新自然语言处理新纪录
近日,云从科技和上海交通大学在自然语言处理领域取得重大突破,在卡内基-梅隆大学发起的大型深层阅读理解任务数据集RACE数据集上登顶第一,并成为世界首个超过人类排名的模型。
云从科技与上海交通大学首创了一种阅读信息匹配机制——DCMN模型,使机器的正确率达到72.1%,较之前最好结果(67.9%)提高了4.2个百分点,并在高中测试题部分首次超越人类69.4%的成绩。
有种题型叫“阅读理解”
不管是中文、英语还是任意其他语言,阅读理解都算得上是最难的题型之一,需要信息收集、知识储备、逻辑推理、甚至还要融会贯通的主观作答。
微软创始人比尔·盖茨曾经表示,“语言理解是人工智能领域皇冠上的明珠”。
机器阅读理解,是指机器通过阅读和理解大量文字,有效整理和总结出人类所需要的信息。
按照人工智能技术发展路径,在机器视觉、语音识别等智能感知技术在性能上趋于饱和之后,下一个人工智能的突破就是自然语言处理等认知决策技术。技术上形成从智能感知到认知决策的闭环,在机器上体现为会理解、会思考、会分析决策,人机交互方式更加便捷,将对各行各业将产生颠覆式创新。
例如为证券投资提供各种分析数据,进行金融风险分析、欺诈识别;在社交软件、搜索引擎辅助文字审阅和信息查找;还可以帮助医生检索和分析医学资料、辅助诊断等等。
RACE数据集
RACE数据集(ReAding Comprehension dataset collected from English Examinations)是一个来源于中学考试题目的大规模阅读理解数据集,包含了大约28000个文章以及近100000个问题。
它的形式类似于英语考试中的阅读理解(选择题),给定一篇文章,通过阅读并理解文章(Passage),针对提出的问题(Question)从选项中选择正确的答案(Answers)。
RACE数据集的难点在于,该题型的正确答案并不一定直接体现在文章中,只能从语义层面深入理解文章,通过分析文中线索并基于上下文推理,选出正确答案。
相对以往的抽取类阅读理解,算法要求更高,被认为是“深度阅读理解”。
DCMN模型
针对这种“深度阅读理解”,云从科技与上海交通大学首创了一种P、Q、与A之间的匹配机制,称为Dual Co-Matching Network(简称DCMN),并基于这种机制探索性的研究了P、Q、与A的各种组合下的匹配策略。
01 DCMN匹配机制
以P与Q之间的匹配为例:
本图为P与Q之间的DCMN匹配框架
云从科技和上海交大使用目前NLP最新的研究成果BERT分别为P和Q中的每一个Token进行编码。基于BERT的编码,可以得到的编码是一个包含了P和Q中各自上下文信息的编码,而不是一个固定的静态编码,如上图中Hp与Hq;
其次,通过Attention的方式,实现P和Q的匹配。具体来讲,是构建P中的每一个Token在Q中的Attendances,即Question-Aware的Passage,如上图中Mp。这样得到的每一个P的Token编码,包含了与Question的匹配信息;
为了充分利用BERT带来的上下文信息,以及P与Q匹配后的信息,将P中每个Token的BERT编码Hp,与P中每个Token与Q匹配后的编码Mp进行融合, 对Hp和Mp进行了元素减法及乘法操作,通过一个激活函数,得到了P与Q的最终融合表示,图中表示为Spq;
最后通过maxpooling操作得到Cpq,l维向量,用于最后的loss计算。
02 各种匹配策略研究
除了P与Q之间的匹配之外,还可以有Q与A、P与A之间的匹配,以及不同匹配得到的匹配向量间的组合,这些不同的匹配与组合构成了不同的匹配策略。对七种不同的匹配策略分别进行了试验,以找到更加合适的匹配策略,分别是:
[P_Q; P_A; Q_A], [P_Q; P_A], [P_Q; Q_A], [P_A; Q_A], [PQ_A], [P_QA], [PA_Q]
“PA”表示先将P和A连接为一个序列,再参与匹配,“PQ”与“QA”同理。符号“[ ; ]”表示将多种匹配的结果组合在一起。
[P_Q; P_A; Q_A]模式下的模型架构
7种不同策略经试验后,得出采用PQ_A的匹配策略,即先将P与Q连接,然后与A匹配,无论是在初中题目(RACE-M)、高中题目(RACE-H)还是整体(RACE),都得到了更优的结果。
虽然目前机器在一些阅读理解数据集上的水平已经超过了人类,但这并不能表明“机器打败了人类”,对于自然语言处理、对于人工智能,我们仍有一大步需要前进。
机器阅读理解(machine comprehension)
本篇博客主要参考了2017年的在ICLR会议上发表的论文《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/480607.shtml
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!相关文章
刚参加完阿里Java P6面试归来,6点面试经验总结!(含必考题答案)
机器阅读(一)--整体概述
论文浅尝 | 用图网络做小样本学习
史上最强Dubbo面试28题答案详解:核心功能+服务治理+架构设计等
数据缺失、混乱、重复怎么办?最全数据清洗指南让你所向披靡
深度学习技术在机器阅读理解应用的研究进展
论文浅尝 | 基于开放世界的知识图谱补全
快速排序quicksort算法优化
阿里P8架构师谈:Dubbo的详细介绍、设计思路、以及4大适用场景
巨省显存的重计算技巧在TF、Keras中的正确打开方式
论文浅尝 | 用可微的逻辑规则学习完成知识库推理
一点关于cloze-style问题的简谈
中文词语概念上下位图谱项目
POJ 1007 DNA排序解题
DeepMatch:用于推荐广告的深度召回匹配算法库
史上最全Spring面试71题与答案
论文浅尝 | 近期论文精选
海马体what where记忆推理模型
快速排序quicksort算法细节优化(一次申请内存/无额外内存排序)
- 【2024软考架构案例题】你知道 Es 的几种分词器吗?Standard、Simple、WhiteSpace、Keyword 四种分词器你知道吗?
- javaScript流程控制
- LeetCode【0035】搜索插入位置
- NVT新能德科技入职测评SHL题库更新:数字推理+演绎推理高分答案、真题解析
- Llama旋转位置编码代码实现及详解
- 项目管理人员的自我评估与职业目标设定
- 【nuxtjs 指南】解决nuxtjs本地开发跨域和防止路由与api冲突问题
- Golang并发模型:合理退出并发协程
- MySQL基础部分总结
- - 概述 - 《设计模式(极简c++版)》
- 基于Docker搭建Percona XtraDB Cluster数据库集群
- Alpine Linux详解