论文浅尝 | Tree-to-sequence 学习知识问答

论文笔记整理:谭亦鸣,东南大学博士生,研究兴趣:知识图谱问答。


 

来源:Neurocomputing 372: 64-72 (2020)

链接:https://sciencedirect.xilesou.top/science/article/abs/pii/S0925231219312639

 

对于知识图谱问答来说,主要任务是将自然语言问题映射到具有相同意义的结构化query上。但是目前基于深度学习的方法都仅关注了问题和关系链之间的语义对应,而忽视了query的结构信息。这篇文章提出将query视作tree,从而将实体和关系的顺序信息也编码进它们的向量表示中,从而更好的划分给定问题的candidate query。

动机

目前的深度学习方法主要利用关系链匹配而非整个query匹配给定的问题,这种做法并不能有效利用query结构信息。

因此作者提出将candidate query的结构编码进它的向量表示中,从而强化它与给定问题的匹配准确性。

方法

             

 

图3是作者提出方法的整体框架,以问题“what character did natalie portman play in star wars ?”为例,整体的框架流程描述如下:

1. 约束链接 作者提出了三种约束将问题中的成分关联到知识图谱上:(i)实体,使用目前性能最好的S-MART实体链接工具完成链接。(ii)类型,在知识图谱中查询所有类型的type,当问题中出现了某种类型的查询词时,完成类型链接。(iii)数字,分为以下三种情况,单独的数字,比较性词汇+数字的组合,最值表示(最大最小最年轻等等),将对应类型的逻辑操作添加到query中。;

2. Candidate Query构建 本质上是给出几种可能对应问题的带有缺省值的子图,首先根据实体链接确定子图中的实体节点(图中的叶子节点),然后使用中间节点将它们连起来,并选择任一中间节点作为答案节点,(需要时)补充上类型约束以及数字操作之后得到Candidate Query。(有点像排列组合,作者在论文中对每个步骤做了详细说明,有需要的童鞋可以读读原文3.2节)

3. Tree-based Encoder 图4描述了本文提出的基于树的编码过程,在这个图中,与这两个实体-关系pair共同组成?x的描述,在这个方向中,所有的实体类型数字操作和关系等等信息都流向answer节点(作者称其为前向,反之则为后向),在这种形式下,词与词之间根据位置信息的不同,可以互相定义为:preceding,sibling以及following。这些结构信息使得那些节点相同(相似)的Candidate query由于位置信息的差异被区分开来。为了将这种结构加入到表示学习中,作者使用一个tree-based LSTM进行编码(对相关公式证明感兴趣的请见原文3.3节)。

             

4. Mixed-mode Decoder 在解码过程的目的是选出最为匹配question的candidate query,这里作者引入了两个解码模式,用以处理两种类型的query-question匹配:其一是generating mode,由一个使用QA pair训练的LSTM网络构成。其二是referring mode,一个利用在网页对KB的远程监督学习到的统计模型,用以处理QA pair不足时,引入原始Web-KB对齐用以强化query与question之间的对应。

             

实验

实验使用的问答数据集是WebQuestion(3778个问题用于训练,2032训练)以及WebQuestionSP(移去了WebQuestion中那些无法使用query表示的问题,3098训练,1639用于测试),问题包含单三元组的简单问题以及包含四个关系的问题还有聚合类型的问题。

评价指标为准确率,召回率以及F1:

             

与现有方法的实验结果横向对比如表1:

             

从性能上看并非最好的,但作者表示他们的主要贡献在于利用并证明了query结构信息在QA任务上的有效性。

 


 

OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/479185.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

别再搞纯文本了!多模文档理解更被时代需要!

文 | Ryan都已经2021年了,互联网已经今非昔比,20年前纯文本的日子已经一去不复返,文字已经满足不了网页、文章的需求,绝大部分都会有着精心设计的表格、图片,甚至视频。PDF文档这种富文本格式拥有更加复杂的结构信息&a…

iOS 覆盖率检测原理与增量代码测试覆盖率工具实现

背景 对苹果开发者而言,由于平台审核周期较长,客户端代码导致的线上问题影响时间往往比较久。如果在开发、测试阶段能够提前暴露问题,就有助于避免线上事故的发生。代码覆盖率检测正是帮助开发、测试同学提前发现问题,保证代码质量…

LeetCode 199. 二叉树的右视图(DFS 按层queue)

文章目录1. 题目2. 解题2.1 DFS2.2 queue按层从右边遍历1. 题目 给定一棵二叉树&#xff0c;想象自己站在它的右侧&#xff0c;按照从顶部到底部的顺序&#xff0c;返回从右侧所能看到的节点值。 示例:输入: [1,2,3,null,5,null,4] 输出: [1, 3, 4] 解释:1 <--…

Android官方开发文档Training系列课程中文版:调用相机之简单拍照

原文地址&#xff1a;http://android.xsoftlab.net/training/camera/index.html 导言 在富媒体开始流行之前&#xff0c;整个世界是一个灰暗且平淡无奇的地方。还记得Gopher吗&#xff1f;我或许不记得了。自从APP成为用户生活的一部分之后&#xff0c;这便给他们提供了一种方…

谈谈工业界落地能力最强的机器学习算法

尽管BERT为代表的预训练模型大肆流行&#xff0c;但是身处工业界才会知道它落地有多难&#xff0c;尤其是QPS动辄几百的在线推荐、搜索系统&#xff0c;哪怕在大厂也很难在线上系统见到它们。 今天就想反其道而行之&#xff0c;谈谈工业界搜索、推荐、广告这类核心场景中落地能…

论文浅尝 | 中科院百度微软等学者最新综述论文40+最新方法阐述知识图谱提升推荐系统准确性与可解释性...

本文转载自公众号&#xff1a;先知。【导读】近来&#xff0c;知识图谱用于推荐系统是关注的焦点&#xff0c;能够提升推荐系统的准确性与可解释性。如何将知识图谱融入到推荐系统呢? 最近中科院计算所百度微软等学者最新综述论文《A Survey on Knowledge Graph-Based Recomm…

美团酒旅起源数据治理平台的建设与实践

背景 作为一家高度数字化和技术驱动的公司&#xff0c;美团非常重视数据价值的挖掘。在公司日常运行中&#xff0c;通过各种数据分析挖掘手段&#xff0c;为公司发展决策和业务开展提供数据支持。 经过多年的发展&#xff0c;美团酒旅内部形成了一套完整的解决方案&#xff0c;…

LeetCode 1103. 分糖果 II

1. 题目 排排坐&#xff0c;分糖果。 我们买了一些糖果 candies&#xff0c;打算把它们分给排好队的 n num_people 个小朋友。 给第一个小朋友 1 颗糖果&#xff0c;第二个小朋友 2 颗&#xff0c;依此类推&#xff0c;直到给最后一个小朋友 n 颗糖果。 然后&#xff0c;我…

计算广告与推荐系统有哪些区别?

文 | King James本文已获作者授权&#xff0c;禁止二次转载计算广告和推荐系统总感觉有千丝万缕的关系&#xff0c;但是它们之间又有什么异同呢&#xff1f;话不多说&#xff0c;上图&#xff01;计算广告和推荐系统有交集&#xff0c;但是不能说推荐系统是计算广告的一部分。因…

Android官方开发文档Training系列课程中文版:调用相机之简单摄像

原文地址&#xff1a;http://android.xsoftlab.net/training/camera/videobasics.html 这节课解释了如何通过已有的相机应用拍摄视频。 假设你的程序含有摄像功能&#xff0c;但是它只是程序很小的一部分功能&#xff0c;你并不想在这么小的功能上花费很大的精力。幸运的是&a…

解决cuda版本与pytorch版本不兼容问题

解决PyTorch与CUDA版本不匹配&#xff1a; 2 pytorch官网查看安装命令 https://pytorch.org/get-started/locally/ 如果你发现你的版本与上面的都不符合&#xff0c;可以点击 进入以前版本页面&#xff1a;https://pytorch.org/get-started/previous-versions/的安装命令&am…

论文浅尝 | 重新实验评估知识图谱补全方法

论文作者&#xff1a;Farahnaz Akrami&#xff0c;美国德州大学阿灵顿分校&#xff0c;博士生。笔记整理&#xff1a;南京大学&#xff0c;张清恒&#xff0c;硕士生。链接&#xff1a;https://arxiv.org/pdf/2003.08001.pdf代码&#xff1a;https://github.com/idirlab/kgcomp…

Android组件化方案及组件消息总线modular-event实战

背景 组件化作为Android客户端技术的一个重要分支&#xff0c;近年来一直是业界积极探索和实践的方向。美团内部各个Android开发团队也在尝试和实践不同的组件化方案&#xff0c;并且在组件化通信框架上也有很多高质量的产出。最近&#xff0c;我们团队对美团零售收银和美团轻收…

Android官方开发文档Training系列课程中文版:调用相机之控制相机

原文地址&#xff1a;http://android.xsoftlab.net/training/camera/cameradirect.html 在这节课&#xff0c;我们会讨论如何使用Android框架API来直接控制相机硬件。 直接控制设备的相机拍照或者摄像的代码远比通过其他相机应用来完成要多得多。然而&#xff0c;如果你想构建…

我,大学没毕业,在OpenAI搞AI,想教教你如何提升“研究品味”

文 | 蒋宝尚源 | AI科技评论在AI圈里有这么一个人&#xff0c;虽然大学没有毕业&#xff0c;但却做过谷歌大脑研究员&#xff0c;担任过OpenAI团队的领导人。他被人称作“怪胎”&#xff0c;也被人称作神童。他的名字叫做Chris Olah。在众人眼里&#xff0c;他的成长树在一开始…

LeetCode 889. 已知前序后序 求二叉树(不唯一)

1. 题目 返回与给定的前序和后序遍历匹配的任何二叉树。 pre 和 post 遍历中的值是不同的正整数。 示例&#xff1a;输入&#xff1a;pre [1,2,4,5,3,6,7], post [4,5,2,6,7,3,1] 输出&#xff1a;[1,2,3,4,5,6,7]来源&#xff1a;力扣&#xff08;LeetCode&#xff09; 链…

cuda run out of memory内存不足的解决方案

https://segmentfault.com/a/1190000022589080

论文浅尝 | TANDA: Transfer and Adapt Pre-Trained Transformer Models

论文笔记整理&#xff1a;王春培&#xff0c;天津大学硕士。链接&#xff1a;https://arxiv.org/pdf/1911.04118.pdf动机这篇文章聚焦的是问答系统&#xff08;Q&A&#xff09;中的一个问题&#xff1a;回答句子选择&#xff08;Answer Sentence Selection&#xff0c;AS2&…

深入浅出排序学习:写给程序员的算法系统开发实践

引言 我们正处在一个知识爆炸的时代&#xff0c;伴随着信息量的剧增和人工智能的蓬勃发展&#xff0c;互联网公司越发具有强烈的个性化、智能化信息展示的需求。而信息展示个性化的典型应用主要包括搜索列表、推荐列表、广告展示等等。 很多人不知道的是&#xff0c;看似简单的…

从ScrollView嵌套EditText的滑动事件冲突分析触摸事件的分发机制以及TextView的简要实现和冲突的解决办法

本篇文章假设读者没有任何的触摸事件基础知识&#xff0c;所以我们会从最基本的触摸事件分发处说起。 ScrollView为什么会出现嵌套EditText出现滑动事件冲突呢&#xff1f;相信你会有这种疑问&#xff0c;我们来看这么一种情况&#xff1a; 有一个固定高度的EditText&#xff…