论文浅尝 | Zero-Shot Transfer Learning for Event Extraction

640?wx_fmt=png

事件抽取的目标是在非结构化的文本中确认事件的触发词(Eventtrigger)和参与者(Event argument),并判断触法词的事件类型(Eventtype),判断参与者在事件中的扮演的角色(Argument role)。有触发词和参与者的短语或文本称为EventMention。如下图的关于Transport-Person 事件的一条EventMention,dispatching是触发词,下划线是参与者,其中China作为Agent参与事件。

640?wx_fmt=png

目前大多数的事件抽取是基于已有的手动标记样本进行训练。常见的数据集ACE,总共有8个大类,33个小类,对每个类,有人为标记的训练语料。但是对于没有样本的新事件类型,用上述语料训练的模型会显得无力。对此,一是可以用远程监督的方法标记训练样本,二是用迁移学习方法。本文基于第二点的,提出在事件抽取任务中用零样本迁移学习方法:event mention 和event ontology联合映射到共享的语义空间上,拉近两者在语义空间上的距离。

640?wx_fmt=png

具体来说:对于新的语料,可以用AMR得到具体事件mention的结构,同时提供已定义好的关于事件类型ontology的结构。如上图所示,是对上述E1进行处理后得到mention的结构和一些已定义好的ontology结构。可以看到,事件触发词和事件类型名通常有一些共享含义,同时,两者的结构也趋于相似。本文基于这两点,将mention和ontology的结构表示联合映射到同一语义空间,最小化mention和对应的ontology的语义距离,从而学习一个通用映射函数,将已有样本训练得到的模型迁移到没有样本的事件中,整体框架如下:

640?wx_fmt=png

分为如下几步:

1. 找出候选触发词和候选参与者,称为Tiggerand Argument Identification

用WSD找出触发词候选项,并用FrameNet中的Lexical units匹配文本扩充触发词候选项;利用ARMparser找出参与者候选项。

2. 确定触发词对应的事件类型,称为 Tigger Classification

触发词分类主要是用CNN模型,模型的输入考虑了两个部分 [V_t,V_(S_t)]:V_t 触发词本身的语义表示,可以用word2vec来训练;触发词t的结构是 S_t,V_(S_t)是 S_t 的表示; ontology的 [V_y,V_(S_y)] 输入同理。

对于 V_(S_t),分两步进行:首先结构中的每条边,可以表示为 u=<w_1,λ,w_2>,用 M_λ 表示关系,可以得到每个元组的表示 V_u,对应公式如下;之后将 t 的所有元组的表示 V_u 拼接起来,输入到CNN网络中,得到V_(S_t)。

640?wx_fmt=png


对于 V_(S_y),ontology的每个元祖表示为 u^'=<y,r>, y 是事件类型,r 是参与者角色, V_u' 的表示如下,之后也输入到CNN中得到 V_(S_y)

640?wx_fmt=png


通过hinge loss来训练模型,将mention和ontology的表示学习到同一语义空间:

640?wx_fmt=png


3. 确定参与者在事件中扮演的角色,称为ArgumentClassification

参与角色的分类是基于触发词到参与者路径的相似度。仍以E1为例,通过将dispatch-01—>:ARG0—>China和Transport-Person—>Agent的路径信息学习到同一语义空间,之后根据语义相似度判断China在Transport-Person中的扮演的角色是Agent。

4. 预测新类别

测试时候,对于新的 t',用训练好的模型得到 t' 的结构化表示和所有ontology的结构化表示,距离最近的就是预测的结果。


本文进行了比较丰富的实验:

1. 在ACE数据集上进行实验,实验中可见类设置如下,N表示可见类的数量:

640?wx_fmt=png

上述设置下得到的效果如下,WSD-Embedding没有将结构信息考虑到迁移的过程中。可以在迁移学习过程中考虑更多的机构化信息,得到的效果更好;可见类越多,效果越好。

640?wx_fmt=png

2. 用ACE的 Justice类的4个小类做训练,用其余三个或用其他大类下随机的一个小类作测试。可以看到,测试类跟训练类的相似度越高,效果越好。

640?wx_fmt=png

3. 使用LSTM在所有类上进行训练和测试,和用ZSL进行训练和测试的效果对比。可以看到用ZSL训练得到的效果和用LSTM训练近500条样本得到的效果不相上下。

640?wx_fmt=png


笔记整理:王若旭,浙江大学硕士,研究方向为知识图谱,自然语言处理.



OpenKG.CN


中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

640?wx_fmt=jpeg

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

 

点击阅读原文,进入 OpenKG 博客。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/480347.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

今日头条Java后台Java研发三面题目

最近有同学在优知学院留言区留言是否能发布今日头条的面试题目&#xff0c;这位同学&#xff0c;题目来了哦~ 一面 concurrent包下面用过哪些&#xff1f; countdownlatch功能实现 synchronized和lock区别&#xff0c;重入锁 thread和runnable的区别 AtomicInteger实现原理…

实时事理逻辑知识库(事理图谱)终身学习项目-EventKGNELL(学迹)

EventKGNELL EventKGNELL, event knowlege graph never end learning system, a event-centric knowledge base search system&#xff0c;实时事理逻辑知识库终身学习和事件为核心的知识库搜索项目。包括事件概念抽取、事件因果逻辑抽取、事件数据关联推荐与推理。 项目地址&…

python--从入门到实践--chapter 15 16 17 生成数据/下载数据/web API

1.随机漫步 random_walk.py from random import choice class RandomWalk():def __init__(self, num_points5000):self.num_points num_pointsself.x_value [0]self.y_value [0]def fill_walk(self):while len(self.x_value) < self.num_points:x_direction choice([1…

ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答

一只小狐狸带你解锁 炼丹术&NLP 秘籍作者&#xff1a;舒意恒&#xff08;南京大学硕士生&#xff0c;知识图谱方向&#xff09;背景什么是知识图谱问答&#xff1f;知识图谱&#xff08;KG&#xff09;是一个多关系图&#xff0c;其中包含数以百万计的实体&#xff0c;以及…

论文浅尝 | 基于超平面的时间感知知识图谱嵌入

链接&#xff1a;http://talukdar.net/papers/emnlp2018_HyTE.pdf本文主要关注 KG embedding 中三元组成立的时间有效性问题&#xff0c;比如三元组(Cristiano Ronaldo, playsFor, Manchester United)&#xff0c;其成立的有效时间段是2003年到2009年&#xff0c;这个使三元组有…

Java面试进阶:Dubbo、Zookeeper面试题锦集

Dubbo面试题锦集 1、默认也推荐使用netty框架&#xff0c;还有mina。 2、默认是阻塞的&#xff0c;可以异步调用&#xff0c;没有返回值的可以这么做。 3、推荐使用zookeeper注册中心&#xff0c;还有redis等不推荐。 4、默认使用Hessian序列化&#xff0c;还有Duddo、FastJ…

POJ 1064 分割线缆(二分查找)

题目链接&#xff1a;http://poj.org/problem?id1064 题目大意&#xff1a;多根电缆切成指定段数&#xff08;每段相同长度&#xff09;&#xff0c;求每段线缆的最大长度&#xff08;精确到0.01&#xff09; 这题精度控制是难点&#xff0c;方法很简单&#xff0c;二分查找…

Learning to rank基本算法小结

原文链接&#xff1a;https://zhuanlan.zhihu.com/p/26539920 Learning to rank基本算法小结最近工作中需要调研一下搜索排序相关的方法&#xff0c;这里写一篇水文&#xff0c;总结一下几天下来的调研成果。包括Learning to rank 基本方法Learning to rank 指标介绍LambdaMART…

命名实体识别难在哪?

亚里士多德在《形而上学》中认为&#xff0c;对于存在&#xff0c;最重要的问题&#xff0c;就是给世间万物的存在基于语言来分层和分类。从神说要有光起&#xff0c;到基友给你取了个外号叫狗蛋。你会发现&#xff0c;创造与命名&#xff0c;在历史中往往等同。名字是自我概念…

论文浅尝 | 面向简单知识库问答的模式修正强化策略

链接&#xff1a;http://aclweb.org/anthology/C18-1277知识库问答研究旨在利用结构化事实回答自然语言问题&#xff0c;在网络中&#xff0c;简单问题占据了相当大的比例。本文提出在完成模式抽取和实体链接后&#xff0c;构建一个模式修正机制&#xff0c;从而缓解错误积累问…

最全BAT数据库面试89题:mysql、大数据、redis

数据库 mysql面试题目&#xff1a; MySQL InnoDB、Mysaim的特点&#xff1f; 乐观锁和悲观锁的区别&#xff1f;&#xff1f; 行锁和表锁的区别&#xff1f; 数据库隔离级别是什么&#xff1f;有什么作用&#xff1f; MySQL主备同步的基本原理。 如何优化数据库性能&#…

POJ 3481 Double Queue

题目链接&#xff1a;http://poj.org/problem?id3481 题目大意&#xff1a; 给你0-3四个指令&#xff1a; 0 退出 1 添加优先级为P 的 K值&#xff0c;进入队列 2 最高优先级出队 3 最低优先级出队 思路&#xff1a; 利用map数据对key默认升序排列。 AC代码如下&#xff…

理解 Word Embedding,全面拥抱 ELMO

原文链接&#xff1a;https://www.infoq.cn/article/B8-BMA1BUfuh5MxQ687T 理解 Word Embedding&#xff0c;全面拥抱 ELMO DataFun社区 阅读数&#xff1a;4238 2019 年 6 月 15 日提到 Word Embedding &#xff0c;如果你的脑海里面冒出来的是 Word2Vec &#xff0c;Glove &…

肝了1W字!文本生成评价指标的进化与推翻

一只小狐狸带你解锁 炼丹术&NLP 秘籍作者&#xff1a;林镇坤&#xff08;中山大学研一&#xff0c;对文本生成和猫感兴趣&#xff09;前言文本生成目前的一大瓶颈是如何客观&#xff0c;准确的评价机器生成文本的质量。一个好的评价指标&#xff08;或者设置合理的损失函数…

美团大脑 | 知识图谱的建模方法及其应用

本文转载自公众号: 美团技术团队.作为人工智能时代最重要的知识表示方式之一&#xff0c;知识图谱能够打破不同场景下的数据隔离&#xff0c;为搜索、推荐、问答、解释与决策等应用提供基础支撑。美团大脑围绕吃喝玩乐等多种场景&#xff0c;构建了生活娱乐领域超大规模的知识图…

最全Java面试208题,涵盖大厂必考范围!强烈建议收藏~

这些题目是去百度、小米、乐视、美团、58、猎豹、360、新浪、搜狐等一线互联网公司面试被问到的题目,熟悉本文中列出的知识点会大大增加通过前两轮技术面试的几率。 一.java基础面试知识点 java中和equals和hashCode的区别 int、char、long各占多少字节数 int与integer的区别…

大规模事理常识知识系统“学迹”的定位、应用与不足

我们于3月16正式对外发布了一个面向事理的实时学习和搜索系统Demo&#xff0c;取名叫“学迹”&#xff0c;取自“学事理&#xff0c;知行迹”(https://xueji.zhiwenben.com)。“学迹”的发布&#xff0c;进一步拓宽了现有知识库的门类&#xff0c;为进一步获取特定事件的概念解…

数据结构--散列表 Hash Table

文章目录1.线性探测 哈希表代码2.拉链法 哈希表代码1. 散列表用的是数组支持按照下标随机访问数据的特性&#xff0c;所以散列表其实就是数组的一种扩展&#xff0c;由数组演化而来。可以说&#xff0c;如果没有数组&#xff0c;就没有散列表。 2. 散列函数&#xff0c;设计的基…

论文浅尝 | 面向自动分类归纳的端到端强化学习

动机术语层次在许多自然语言处理任务中扮演着重要角色。然而&#xff0c;大部分现有的术语层次是人工构建的&#xff0c;其覆盖范围有限&#xff0c;或者某些领域上不可用。因此&#xff0c;最近的工作集中在自动化的术语层次归纳(automatictaxonomy induction)上。之前的研究工…

最新天猫Java面试题(含总结):线程池+并发编程+分布式设计+中间件

一面&#xff1a; HashMap实现原理&#xff0c;ConcurrentHashMap实现原理 红黑树&#xff0c;为什么允许局部不平衡 TCP&#xff0c;UDP区别&#xff0c;为什么可靠和不可靠 一次HTTP请求的全过程&#xff0c;包括域名解析、定位主机等 TCP三次握手 MySQL事务是什么&…