论文浅尝 | Meta Relational Learning: 基于元关系学习的少样本知识图谱推理

本文转载自公众号:浙大KG。                                                                       


笔记整理:陈名杨,浙江大学在读博士

发表会议:EMNLP-2019

论文链接:https://arxiv.org/abs/1909.01515

开源代码:https://github.com/AnselCmy/MetaR


640?wx_fmt=png本文主要解决知识图谱中少样本链接预测的问题,具体来说,就是在仅观测到某个关系的少量三元组后,预测该关系的其他三元组,也就是对该关系进行链接预测。针对该问题,我们提出了一个元关系学习框架MetaR(Meta Relational Learning)融合元学习和知识图谱嵌入的方法,通过转移关系特定元信息(relation-specific meta information)从而解决知识图谱少样本链接预测的问题。本篇工作已经被EMNLP-2019接收。


知识图谱(KG)中包含了大量形如(head, relation, tail)的三元组,尽管如此,知识图谱仍然存在不完整性的问题,因此需要进行知识图谱的补全,其中一个很重要的方法就是链接预测。知识图谱嵌入(Knowledge Graph Embedding)是完成链接预测的一种有效方法,但其有效性依赖于足够的训练样本,因此在知识图谱中对于某一个关系的训练样本较少时,对于该关系的嵌入并不能得到充分的学习,所以完成链接预测的效果也会很差。但是在真实的情况中,少样本的问题广泛存在于知识图谱中。例如在Wikidata中,大约有10%的关系的三元组数量少于10个。我们在这里把仅有少量三元组的关系称为少样本关系(few-shot relations),本篇文章主要关注少样本链接预测,也就是在仅知道K个关于关系r的三元组的情况下,给定头实体h和关系r,预测尾实体t,通常K非常小,例如1、3、5。

下表为知识图谱的单样本链接预测任务的训练和测试任务举例:
640?wx_fmt=png
单样本链接预测的问题可以解释成,根据支持集(support)中的关于该关系的一个样本,从而对查询集(query)中的关于该关系的缺失了尾实体的三元组进行链接预测。
下图描述了一个三样本链接预测(3-shot link prediction)。也可以看出MetaR解决少样本链接预测的思路,其中最重要的思想在于使用在不同任务(across tasks)之间共享的relational learner,在一个具体的任务(within one task)中,从少量的关于某个关系的三元组中抽取出关系特定元信息,用于该关系的链接预测。其中,关系特定元信息包含两个部分,关系元(relation meta)和梯度元(gradient meta),其中关系元是连接头实体和尾实体的关系的高阶表示,梯度元则为关系元的梯度。

640?wx_fmt=png

具体的模型分为两个部分,关系元学习器(Relation-Meta Learner)和嵌入学习器(Embedding Leaner)。关系元学习器是根据支持集的头实体和尾实体的向量表示得到两个实体间的关联,也就是关系元;嵌入学习器计算在支持集和查询集中,送入的头尾实体二元组和计算出的关系元的真值,类似于在做知识图谱嵌入时的得分函数,同时在支持集的阶段通过该真值而计算出的关系元的梯度作梯度元从而更新关系元。整个流程如下:
640?wx_fmt=png
其中R为关系元,G为梯度元。
在实验阶段我们使用了NELL-One和Wiki-One,这两个数据集是在发表于MENLP-2018的One-Shot Relational Learning for Knowledge Graphs中提出,其中该文章提出的GMatching方法中需要使用一个不包含训练/验证/测试任务的关系的背景知识图谱(Background KG),但是我们提出的方法并不依赖于类似的背景知识图谱,所以我们对数据集进行了多种的不同处理,具体解释如下:
640?wx_fmt=png
在不同的数据集设定下进行实验,和GMatching对比都是公平的,因为这并没有改变少样本的设定,也没有更改数据集的总量,仅仅是不同的背景知识图谱使用方法。

实验中我们验证了:MetaR在少样本链接预测的任务上是否优于之前的模型;关系特定元信息在整个模型中的贡献;MetaR在做少样本链接预测时是否有什么要求。首先我们先把我们的模型和GMatching在NELL-One和Wiki-One上进行对比,从下表中可以看出,我们的方法在NELL-One、Wiki-One上和1-shot、5-shot的结果都要好于GMatching。
640?wx_fmt=png
并且我们进行了模型简化测试(ablation study),分别去掉梯度元(-g),去掉关系元和梯度元(-g-r),以下是在NELL-One进行单样本链接预测的Hit@10的结果,去掉相关部分后实验结果都大幅降度,说明了关系特定元信息的重要性。
640?wx_fmt=png
最后我们发现在实验结果上,NELL-One在BG:In-Train的数据集设定下实验结果更好, Wiki-One在BG:Pre-Train设定下的结果更好,我们对两个数据集进行分析后,认为是数据集的实体稀疏性和训练任务的数量会对实验结果产生影响。

本文对我们的工作仅进行了简要的分析,对本文感兴趣的读者请阅读论文了解更多细节。


OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

640?wx_fmt=jpeg

点击阅读原文,进入 OpenKG 博客。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/479548.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

测试集没标签,可以拿来测模型吗?

文:维建编:白鹡鸰背景正常情况下,我们可以用一个带标签的数据集来测试分类器的表现(称之为测试集)。然而,现实中,因为种种因素的制约(标注成本高、标注难度大等 Google:穷…

从0到1 | 手把手教你如何使用哈工大NLP工具——PyLTP!

原文链接:https://flashgene.com/archives/46041.html 本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢. 作者 | 杨秀璋 来源 | CSDN 博客(CSDN id:Eastmount) 【导语】此文是作者基于 Python 构…

美团智能配送系统的运筹优化实战

深入各个产业已经成为互联网目前的主攻方向,线上和线下存在大量复杂的业务约束和多种多样的决策变量,为运筹优化技术提供了用武之地。作为美团智能配送系统最核心的技术之一,运筹优化是如何在美团各种业务场景中进行落地的呢?本文…

Android如何给无法更改继承关系的Activity更换ActionBar(setContentView方法实战)

前言: 通常我们有时候会直接使用ADT工具直接新建一个Activity页,而这个Activity我们又无法更改它的父类,那遇到这种情况该如何处理呢?其实很简单,好,看如何来解决这个问题: 先来看看这个问题出…

论文浅尝 | 基于属性embeddings的跨图谱实体对齐

论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识库问答。来源:AAAI 2019链接:https://aaai.org/ojs/index.php/AAAI/article/view/3798跨图谱实体对齐任务的目标是从两个不同知识图谱中找出同一 real-world 实体&a…

LeetCode 771. 宝石与石头(哈希)

文章目录1. 题目信息2. 解题1. 题目信息 给定字符串J 代表石头中宝石的类型,和字符串 S代表你拥有的石头。 S 中每个字符代表了一种你拥有的石头的类型,你想知道你拥有的石头中有多少是宝石。 J 中的字母不重复,J 和 S中的所有字符都是字母…

开启NLP新时代的BERT模型,真的好上手吗?

都说BERT模型开启了NLP的新时代,更有“BERT在手,天下我有”的传说,它解决了很多NLP的难题:1、BERT让低成本地训练超大规模语料成为可能;2、BERT能够联合神经网络所有层中的上下文来进行训练,实现更精准的文…

YOLO系列:YOLOv1,YOLOv2,YOLOv3,YOLOv4,YOLOv5简介

原文链接: https://zhuanlan.zhihu.com/p/136382095 YOLO系列:YOLOv1,YOLOv2,YOLOv3,YOLOv4,YOLOv5简介YOLO系列是基于深度学习的回归方法。RCNN, Fast-RCNN,Faster-RCNN是基于深度学习的分类方法。YOLO官网:https://g…

一站式机器学习平台建设实践

本文根据美团配送资深技术专家郑艳伟在2019 SACC(中国系统架构师大会)上的演讲内容整理而成,主要介绍了美团配送技术团队在建设一站式机器学习平台过程中的经验总结和探索,希望对从事此领域的同学有所帮助。 0. 写在前面 AI是目前…

LeetCode 535. TinyURL 的加密与解密(哈希)

文章目录1. 题目信息2. 哈希解题1. 题目信息 TinyURL是一种URL简化服务, 比如:当你输入一个URL https://leetcode.com/problems/design-tinyurl 时,它将返回一个简化的URL http://tinyurl.com/4e9iAk. 要求:设计一个 TinyURL 的…

论文浅尝 | Doc2EDAG:一种针对中文金融事件抽取的端到端文档级框架

论文笔记整理:叶宏彬,浙江大学博士生,研究方向为知识图谱、自然语言处理。链接:https://arxiv.org/pdf/1904.07535.pdf背景大多数现有的事件提取(EE)方法仅提取句子范围内的事件参数。但是,此类…

NeurIPS'20 | 通过文本压缩,让BERT支持长文本

作者 | wangThr来源 | 知乎这是今年清华大学及阿里巴巴发表在NIPS 2020上的一篇论文《CogLTX: Applying BERT to Long Texts》,介绍了如何优雅地使用bert处理长文本。作者同时开源了不同NLP任务下使用COGLTX的代码:论文题目:CogLTX: Applying…

福利!Android官方网站出现中文版本!

这两天在Android开发者网站上查东西的时候发现有中文的搜索结果,点开结果全是中文的,以后可以畅通无阻的看文档了,快来围观。

自然场景人脸检测技术实践

一、 背景 人脸检测技术是通过人工智能分析的方法自动返回图片中的人脸坐标位置和尺寸大小,是人脸智能分析应用的核心组成部分,具有广泛的学术研究价值和业务应用价值,比如人脸识别、人脸属性分析(年龄估计、性别识别、颜值打分和…

LeetCode 257. 二叉树的所有路径(DFS)

文章目录1. 题目2. DFS解题1. 题目 给定一个二叉树,返回所有从根节点到叶子节点的路径。 说明: 叶子节点是指没有子节点的节点。 示例:输入:1/ \ 2 3\5输出: ["1->2->5", "1->3"]解释: 所有根节点到叶子节点的路径为: 1->…

JAVA BIO

JAVA BIO深入剖析1. Java BIO 基本介绍2. Java BIO 工作机制3. 传统BIO编程4. BIO模式下的多发和多收消息5. BIO模式下接收多个客户端6. 伪异步I/O编程7. 基于BIO的文件上传8. Java BIO模式下的端口转发9. 基于BIO模式下的即时通信功能清单简单说明项目启动与演示1. Java BIO 基…

速览EMNLP 2020上录取的知识图谱相关论文

文 | 泽宇源 | 知乎前不久,自然语言处理领域三大顶会之一的 EMNLP 2020 发布了论文录取的结果。在EMNLP 2020论文正式出版之前,泽宇搜集了目前Arxiv上已经发布出来的录取在EMNLP 2020上所有和知识图谱相关的论文,下面我们就一起来一睹为快。1…

技术动态 | 数据库研究者视角下的知识图谱研究

本文转载自公众号:图谱学苑 。本次讲解的是数据库领域的三大会(SIGMOD、VLDB、ICDE)近两年关于图数据的研究进展,特别是知识图谱的最新研究。知识图谱是2012年Google为改进其搜索引擎而提出的概念,其本质是一个描述事物…

MultiDex

原文转自:http://coolpers.github.io/multidex/2015/04/13/multidex.html 1.MultiDex的产生背景 当Android系统安装一个应用的时候,有一步是对Dex进行优化,这个过程有一个专门的工具来处理,叫DexOpt。DexOpt的执行过程是在第一次加…

PYTHON得到pdf页数、遍历当前文件夹

#第一步安装PyPDF2 pip install PyPDF2#第二步导入相应的模块 from PyPDF2 import PdfFileReader#第三步:定义相对应的函数 def get_num_pages(file_path):"""获取文件总页码:param file_path: 文件路径:return:"""reader PdfFileRe…