论文浅尝 - COLING2020 | 桥接文本和知识的多原型嵌入在少样本关系三元组抽取中的研究...

本文转载自公众号:浙大KG。    


论文题目:Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction

本文作者:余海阳

发表会议:COLING 2020

论文链接:https://person.zju.edu.cn/person/attachments/2020-10/01-1602383274-838948.pdf

监督学习下的关系三元组抽取方法需要大量的标注数据,训练样本少时性能较低。而人类可以在有限的监督样本下了解新的概念,通过学习少量实例来掌握新知识。为此,我们开始研究尚未得到充分理解的少样本关系三元组抽取任务。与以前的单任务下少样本学习问题不同,关系三元组由于实体和关系之间的隐式关联关系而更具挑战性。

关系三元组抽取任务是自然语言处理和知识图谱中重要的基础任务,该任务的目标是对于无结构化的文本预料中识别出实体对以及实体对之间的关系。这种三元组形式的知识存储方式,对于下游如知识问答、阅读理解等任务都有帮助。

目前的关系三元组抽取主要为监督学习的方式训练模型,需要大量的人工标注的训练样本,费时费力。而我们可以只在了解很少量的样本后就可以学习到新的知识,由此下少样本学习的研究对于关系三元组也极为重要。

对于少样本关系三元组抽取任务而来,我们有两个数据集meta data和test data,每个数据集包括的样本形式为(x,t),其中x为文本语料,t为句中抽取到的关系三元组。仿照少样本学习N-way K-shot设定,由于实体对的类别可以被关系类别约束,比如 Born_in关系约束头实体类别为PERSON以及尾实体类别为LOCATION,因此我们通过关系的类别决定三元组的分类。具体任务设定如下示意图:


在本文中,我们提出了一种新颖的多原型嵌入网络模型(MPE Net),联合抽取关系三元组的两个组成部分,即实体对和对应关系。具体来说,我们设计了一种混合的原型学习机制,该机制将有关实体与关系的文本、知识桥接在一起,从而让模型学习过程注入实体和关系之间的隐式关联。此外,我们提出了一种原型感知的正则化方法,使得模型学习原型的过程更有效率且更具有代表性。

我们通过重构 FewRel 数据集满足我们的实验设定,并对比了一些少样本学习的模型学习方法。实验结果表明了我们模型的有效性。同时我们发现目前抽取性能偏低主要由于实体对抽取的低效。我们进一步具体分析了实体对抽取的错误结果,并总结了三种主要的错误原因。

总体而言,这篇文章研究工作的主要贡献包括:

(1)探索研究少样本关系三元组抽取任务,并提出多原型嵌入网络模型将文本与知识桥接已注入实体与关系的隐式关联。实验结果表明,所提出的方法可以提高抽取性能。

(2)关系三元组抽取的实验结果中,实体对的抽取性能远远低于关系抽取的性能,如何进一步增强实体学习的效率是我们下一步需要探索的方向。

   

浙江大学知识引擎实验室

 


 

OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/478703.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

惊呆!不用一张图片,却训出个图像识别SOTA?

文 | 橙橙子如果老板派给你一个任务,不使用一张图片,让你训练一个视觉预训练模型,你会不会觉得老板疯了。最近有一篇论文,不仅没用一张真实图片和标注,还训练出个媲美SOTA的效果,甚至超过了MoCo…

LeetCode 797. 所有可能的路径(DFS)

1. 题目 给一个有 n 个结点的有向无环图,找到所有从 0 到 n-1 的路径并输出(不要求按顺序) 二维数组的第 i 个数组中的单元都表示有向图中 i 号结点所能到达的下一些结点(译者注:有向图是有方向的,即规定…

每天数百亿用户行为数据,美团点评怎么实现秒级转化分析?

背景 用户行为分析是数据分析中非常重要的一项内容,在统计活跃用户,分析留存和转化率,改进产品体验、推动用户增长等领域有重要作用。美团点评每天收集的用户行为日志达到数百亿条,如何在海量数据集上实现对用户行为的快速灵活分析…

pycharm插件之SonarLint

pycharm插件之SonarLint pycharm插件之SonarLint 一、插件安装位置 1、在线安装插件 通过File—>Settings—>Plugins进行安装插件,然后只需要重新启动IEDA即可。 2、离线安装插件 通过 Settings > Plugins > Install Plugin from 离线安装&#x…

论文浅尝 - ICLR2020 | You Can Teach an Old Dog New Tricks!关于训练知识图谱嵌入

论文笔记整理:谭亦鸣,东南大学博士生。来源:ICLR2020链接:https://openreview.net/pdf?idBkxSmlBFvrKG embedding(KGE)模型的目标是学习知识图谱中实体和关系的向量表示。近年来众多的KGE方法被提出&#…

撑起百万亿参数模型想象力!英伟达发布新一代SuperPOD超算,AI算力新巅峰!

周一,黄教主又很淡定的在自家厨房里开完了GTC发布会。众所周知,NLP领域的模型一个比一个大,自从百亿参数的Google T5出来后,大部分AI研究者只能望着手里的蹩脚算力兴叹。如今动辄就是千亿、万亿参数模型,目前比较流行的…

每日优鲜小程序基础组件介绍

每日优鲜小程序基础组件介绍1.基础组件介绍2.基础组件的结构与作用3.基础组件的接入方法初次引入初始化更新与维护基础组件接入1.基础组件介绍 小程序基础组件基于每日优鲜主商城小程序业务实践演变而来。 基础组件的名称为:mini_app_base_module。 基础组件的项…

Redis 高负载下的中断优化

背景 2017年年初以来,随着Redis产品的用户量越来越大,接入服务越来越多,再加上美团点评Memcache和Redis两套缓存融合,Redis服务端的总体请求量从年初最开始日访问量百亿次级别上涨到高峰时段的万亿次级别,给运维和架构…

LeetCode 394. 字符串解码(栈)

1. 题目 给定一个经过编码的字符串,返回它解码后的字符串。 编码规则为: k[encoded_string],表示其中方括号内部的 encoded_string 正好重复 k 次。注意 k 保证为正整数。 你可以认为输入字符串总是有效的;输入字符串中没有额外的空格&…

90TB显存!英伟达发布新一代SuperPod超算,AI算力新巅峰!

周一,黄教主又很淡定的在自家厨房里开完了GTC发布会众所周知,NLP领域的模型一个比一个大,自从百亿参数的Google T5出来后,大部分AI研究者只能望着手里的蹩脚算力兴叹。如今动辄就是千亿、万亿参数模型,目前比较流行的V…

VS Code HtmlFindClass 插件介绍

这款插件诞生于工作中,在写大量的前端代码之后,发现有的工作比较重复,浪费时间,于是想能不能通过工具来解决。起初是拿Java写的,但是它不利于推广,因为很多前端同学不掌握Java。以至于是一直我自己在使用。…

论文浅尝 - ACL2020 | 一种用于关系三元组提取的级联二进制标记框架

论文笔记整理:窦春柳,天津大学硕士。链接:https://arxiv.org/pdf/1909.03227.pdf动机首先作者提出了问题,传统的关系抽取是不能很好的解决三元组重叠,如下图。从图中可以发现,传统的关系抽取针对Normal 类型…

LeetCode 733. 图像渲染(DFS/BFS)

文章目录1. 题目2. 解题2.1 DFS2.2 BFS1. 题目 有一幅以二维整数数组表示的图画,每一个整数表示该图画的像素值大小,数值在 0 到 65535 之间。 给你一个坐标 (sr, sc) 表示图像渲染开始的像素值(行 ,列)和一个新的颜…

美团外卖Android平台化架构演进实践

美团外卖自2013年创建以来,业务一直高速发展。目前美团外卖日完成订单量已突破1800万,成为美团点评最重要的业务之一。美团外卖的用户端入口,从单一的外卖独立App,拓展为外卖、美团、点评等多个App入口。美团外卖所承载的业务&…

Vue源码探究笔记

对于源代码分析有一个基本原则:要找到它的最早期的版本,比如1.0版本。1.0版本奠定了一款框架的基础结构,之后的版本迭代都是基于这套结构进行更新的。所以掌握了基础结构,那也就掌握了这个框架。这个原则适用于世界上绝大多数事务…

Jarvis:一个值得关注的多模态端到端人机对话框架,针对所有行业适配

说到应用级的人机对话框架,很多人可能首先想到的是RASA开源项目。不过,今天跟大家简要分享一个功能更为丰富、性能更为强劲的多模对话框架——Jarvis,非常值得对话系统从业者关注一下。Jarvis是英伟达于2019年发布的人机对话服务,…

技术动态 | 知识图谱构建的研究已走入下半场,但大规模落地应用仍需时间

本文转载自公众号:AI前线。作者 | 李冬梅 采访嘉宾 | 唐杰知识图谱是近年来人工智能技术蓬勃发展的核心驱动力之一,已广泛应用在金融、电商、医疗、政务等众多领域,经过短短几年的发展,热度依旧不减,未来,知…

LeetCode 542. 01 矩阵(BFS DP)

文章目录1. 题目2. 解题2.1 BFS2.2 DP动态规划1. 题目 给定一个由 0 和 1 组成的矩阵,找出每个元素到最近的 0 的距离。 两个相邻元素间的距离为 1 。 示例 1: 输入: 0 0 0 0 1 0 0 0 0 输出: 0 0 0 0 1 0 0 0 0示例 2: 输入: 0 0 0 0 1 0 1 1 1 输出: 0 0 0 0…

美团旅行销售绩效系统研发实践

背景 O2O是目前互联网竞争最激烈的领域之一,其重要的业务特征是有大规模的线下业务团队,他们分布在五湖四海,直接服务着数以百万的商家,责任很重,管理的难度巨大。能否通过技术手段,打造高效的线下团队&…

深入解析Node.js setTimeout方法的执行过程

深入了解setTimeout源码之前,本有两个选择。一是通过chromium源码分析,二是通过Node.js源码分析。后来发现第一种方案的源码获取成本太大,于是从Node官网获取了几十兆的代码用来了解。 当前的Node版本为:v10.16.0 setTimeout方法定…