论文浅尝 | 基于Universal Schema与Memory Network的知识+文本问答

640?wx_fmt=png

来源:ACL 2017

链接:http://aclweb.org/anthology/P17-2057

 

本文提出将 Universal schema 用于自然语言问答中,通过引入记忆网络,将知识库与文本中大量的事实信息结合起来,构建出一个由问答对(question-answer pairs)训练得到的 end2end 模型。通过SPADES填空问答数据集上的评测可以看到,联合文本与知识库信息的策略,相对仅使用单一知识源取得了更好的问答效果,是目前性能最好的模型。

动机

作者认为,现有的问答方法主要利用单一知识库或是粗文本作为事实来源,两者均存在一定的局限性:基于知识库的方法,其性能主要受限于知识库知识的不完整性;粗文本虽然包含了海量事实信息,但呈现为非结构化形式,利用效率相对知识库较低。

Universalschema可以同时处理结构化的知识库信息及非结构化的粗文本信息,并在通用embedding空间中将它们对齐,这一性质使得结合文本与知识库信息用于问答成为可能。

方法

Universal schema

Universal schema 一般被用于处理知识库文本中的关系抽取问题,通过 entity pair 将粗文本规范化,而后得到实体之间的关系表示。这种关系可以是知识库的 relation,也可以是大语料中两个实体间存在的某种模式(pattern)

利用这种方法,可以将粗文本中的“实体-关系-实体”通过模式的形式呈现出来,也就作为后一步 embedding 的基础。

 

Memory Networks

记忆神经网络就是在常规的 attention 模型基础上,添加额外的记忆信息保存和引用机制(memory slot),在知识问答中的一个常规用法是将知识库三元组放入记忆槽(slot)中,本文则是将文本获取到的实体模式也作为三元组放入其中。

 

Model Frame


 

640?wx_fmt=png

整体的实验模型可以分为两个部分:

 

左侧是通过Universalschema将文本与知识库知识投影在一个通用空间中,作为融合知识存在,也就是模型的外部记忆信息。

 

右侧是问答处理机制,输入一个待填空的问句,通过双向LSTM整合为对应上下文向量,而后由一个循环的attention操作引入与该问题实体相关的三元组信息,不断更新该向量,最终得到与知识最相关的问题表示,而后利用softmax选出最相关答案实体,由此完成问答过程


实验

实验数据集

KB: Freebase

Text source:Clue Web

问答数据集:SPADES(填空问答数据集)包含 93K sentences 1.8M entities

 

实验设计

 

1.    仅使用文本知识的问答模型

2.    仅知识库知识问答模型

3.    文本+知识库知识问答模型:

      a.    ENSEMBLE(采用线性模型关联1,2模型)

      b.    UNISCHEMA(本文方法)

实验结果

640?wx_fmt=png

表1:问答实验的结果显示本文方法相对Bisk et al.更优的性能。

 

640?wx_fmt=png

2:通过一些事实结果反应出本文方法引入的文本信息有效弥补了知识库知识的不足

 

论文笔记整理:谭亦鸣,东南大学博士,研究方向为知识库问答、自然语言处理



OpenKG.CN


中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

640?wx_fmt=jpeg

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

 

点击阅读原文,进入 OpenKG 博客。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/480252.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据结构--图 Graph

文章目录1. 概念2. 存储方法2.1 邻接矩阵 Adjacency Matrix2.2 邻接表 Adjacency List3. 图的遍历3.1 广度优先搜索BFS(Breadth First Search)3.2 BFS代码(基于邻接表)3.3 深度优先搜索DFS(Depth First Search&#xf…

ChineseDiachronicCorpus项目,大规模中文历时语料库

ChineseDiachronicCorpus ChineseDiachronicCorpus,中文历时语料库,横跨六十余年,包括腾讯历时新闻2009-2016,人民日报历时语料1946-2003,参考消息历时语料1957-2002。基于历时流通语料库,可用于历时语言变…

2019最新拼多多Java面试题:幻影读+分段锁+死锁+Spring Cloud+秒杀

拼多多Java一面 简短自我介绍 事务的ACID,其中把事务的隔离性详细解释一遍 脏读、幻影读、不可重复读 红黑树、二叉树的算法 平常用到哪些集合类?ArrayList和LinkedList区别?HashMap内部数据结构?ConcurrentHashMap分段锁&…

视频问答兴起,多跳问答热度衰退,92篇论文看智能问答的发展趋势

星标/置顶小屋,带你解锁最萌最前沿的NLP、搜索与推荐技术文 | 舒意恒(南京大学硕士生,知识图谱方向)编 | 北大小才女小轶2019年的时候,舒意恒Y.Shu整理了一份《2019年,智能问答有哪些研究方向?…

论文浅尝 | 知识图谱相关实体搜索

本文转载自公众号:南大Websoft。相关搜索(Relevance Search)是信息检索中的一个经典问题,相关搜索是指给定一个查询实体,返回与其相关度最高的实体(一个类似的问题Similarity Search,一般来说指…

最新美团Java面试题目(共3面)

一面 线程池用过哪些,线程池有哪些参数,然后问我几个常用线程池的用法和实际场景问题。 集合框架的知识,hashmap,ArrayList,LinkedList源码相关知识,基本整个介绍了一遍,与hastable&#xff0c…

PersonGraphDataSet近十万的开放人物关系图谱项目

PersonGraphDataSet PersonGraphDataSet, nearly 10 thousand person2person relationship facts that build from extraction method, which can be applied to person kg search and inference applications。 人物图谱数据集,近十万的人物关系图谱事实数据库&am…

图Graph--寻找二度好友(BFS应用)

社交网络可以用图来表示(查阅图的概念)。 寻找二度好友,这个问题就非常适合用图的广度优先搜索BFS算法来解决,因为广度优先搜索是层层往外推进的。 首先,遍历与起始顶点最近的一层顶点,也就是用户的一度好…

java教程-scala教程-带你从菜鸟入门

java教程-菜鸟教程 https://www.runoob.com/java/java-tutorial.html scala教程-菜鸟教程 https://www.runoob.com/scala/scala-intro.html 使用 Scala 语言开发 Spark 应用程序 https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice1/

技术动态 | TechKG:一个面向中文学术领域的大型知识图谱

作者:东北大学-知识图谱研究组 任飞亮TechKG 是一个面向中文、面向学术、多领域的大型知识图谱知识库,知识库由“东北大学-知识图谱研究组”开发完成。和已有知识图谱如 Freebase 或 YAGO 相比,TechKG 具有如下主要特点:1、是一个…

技术总结:图算法、开源工具及其在工业界的应用场景概述

知识图谱本质上是一种图结构,在图内部数据规模大且质量高、外部算力足够的情况下,充分利用好图算法,能够最大程度地发挥出其数据价值。实际上,图(Graph)是一个常见的数据结构,现实世界中有很多很…

SIGIR2020 | 淘宝提出结合知识图谱与大规模推荐的新框架ATBRG

星标/置顶小屋,带你解锁最萌最前沿的NLP、搜索与推荐技术文 | 江城编 | 夕小瑶今天分享一篇淘宝发表在 SIGIR2020 上的关于知识图谱应用于大规模推荐的论文《ATBRG: Adaptive Target-Behavior Relational Graph Network for Effective Recommendation》&#xff0c…

图Graph--农夫过河问题(BFS/DFS应用)

农夫过河问题: /*** description: 农夫过河问题(羊,白菜,狼),一次最多带一个东西过河,* 农夫不在的情况下羊会吃白菜,狼会吃羊,如何平安过河* author…

机器学习之「二分类算法」-----银行营销案例分析

原文地址&#xff1a; <di&#xff1a;https://blog.csdn.net/weixin_44696674/article/details/88231922iv id“article_content” class“article_content clearfix” data-track-view"{“mod”:“popu_307”,“con”:",https://blog.csdn.net/weixin_44696674/…

论文浅尝 | 直译优于翻译?混合语言的知识库问答方法研究

动机作者思考&#xff0c;如果一个人懂多个语言&#xff0c;那么只要他知道某一语言的某个事实&#xff0c;就能以它作为另一语言问题的答案&#xff0c;同时希望证明计算机是否也能做到这一点&#xff0c;并完成混合语言的简单问题知识问答任务&#xff08;Code-Mix Simple Qu…

2018最新Java面试78题:数据结构+网络+NoSQL+分布式架构

算法和数据结构 数组、链表、二叉树、队列、栈的各种操作&#xff08;性能&#xff0c;场景&#xff09; 二分查找和各种变种的二分查找 各类排序算法以及复杂度分析&#xff08;快排、归并、堆&#xff09; 各类算法题&#xff08;手写&#xff09; 理解并可以分析时间和空…

工程实践:基于规则模式的军事和医药领域知识图谱问答快速实现

知识结构化问答是知识图谱的一个重要的应用方向&#xff0c;虽然现在许多真实的使用体验上&#xff0c;会被评价为“鸡肋且智障”&#xff0c;并且在落地上还没有太多的付费场景&#xff0c;但也不乏有不少学生、公司、机构在尝试花时间去做这个事情。当前&#xff0c;医疗知识…

图Graph--最小生成树

文章目录1.概念2.构造最小生成树Prim算法3.构造最小生成树Kruskal算法1.概念 对图运用不同的遍历方法就可能得到图的不同遍历顺序&#xff0c;每一种遍历顺序对应于一棵生成树对于无向连通图&#xff0c;所有的生成树中必有一棵树的所有边的权的总和最小的&#xff0c;称之为最…

随机森林RF、XGBoost、GBDT和LightGBM的原理和区别

随机森林RF、XGBoost、GBDT和LightGBM的原理和区别 https://www.cnblogs.com/hugechuanqi/p/10554156.html

Longformer:超越RoBERTa,为长文档而生的预训练模型

星标/置顶小屋&#xff0c;带你解锁最萌最前沿的NLP、搜索与推荐技术文 | ChrisCao, 小轶前言今天要与大家分享的是AllenAI今年发表的最新工作&#xff0c;Longformer——一种可高效处理长文本的升级版Transformer。作者团队提供了开源代码&#xff0c;大家可快速复现&#xff…