论文浅尝 | 时序与因果关系联合推理

论文笔记整理:李昊轩,南京大学硕士,研究方向为知识图谱、自然语言处理。


640?wx_fmt=png

来源:ACL2018

链接:https://www.aclweb.org/anthology/P18-1212


动机

理解事件之间的时间和因果关系是一项基本的自然语言理解任务。由于原因一定先于结果发生,因此时序关系与因果关系之间存在取值上的联系。在已有工作中较少联合关注这两种关系。本文提出了一种基于整数线性规划(ILP)模型的联合推理框架,通过约束限制了结果中时序和因果的一致性。


贡献点

1. 提出了基于 ILP 模型的时序与因果关系的联合推理框架,包含了以下约束条件:(1)原因必须在时序上先于其结果;(2)时序对称性约束;(3)时序传递性约束

2.  开发了一个用于联合标注数据集。本文通过在 EventCausality 数据集的基础上增加标注时序关系的方法构建了该数据集。


时序和因果联合推理方法

1.  时序关系部分

a)  时序关系部分的推理公式

640?wx_fmt=png

其中,640?wx_fmt=png 表示第 k 个事件-事件、事件-时间表达式对的时序关系标签;640?wx_fmt=png 表示第 k 个事件-事件、事件-时间表达式对被预测为标签640?wx_fmt=png。该式表示最大化所有事件-事件、事件-时间表达式对的打分之和。

b)  对称性与传递性约束

时序关系标签定义如下表所示:

640?wx_fmt=png

传递性关系640?wx_fmt=png 如下表所示:

640?wx_fmt=png


对称性与传递性约束定义如下:

640?wx_fmt=png

c)  增强语言学规则

本文使用了若干先验语言学知识用于限制Y的搜索空间,可以表达为如下形式:

640?wx_fmt=png

其中,640?wx_fmt=png是一组事件-事件、事件-时间表达式对,这些对可以被该语言学规则决定。

2.  包含因果关系的完整模型

640?wx_fmt=png

其中,640?wx_fmt=png是 W 的搜索空间,依赖于时序关系标签Y,其定义如下:

640?wx_fmt=png

其中,640?wx_fmt=png是因果关系标签集合;640?wx_fmt=png 是事件对 (i,j) 的因果关系标签。该约束将因果关系和时序关系联系在一起。

3.  打分函数

时序关系和因果关系均使用 Softmax 打分函数,例如事件-事件对的时序关系打分如下:

640?wx_fmt=png

对于因果关系,本文特别将词对顺序的先验概率分布加入特征。

4.  将联合推理转换为ILP形式

打分函数:

640?wx_fmt=png

时序关系对称性和传递性约束:

640?wx_fmt=png

语言学规则约束:

640?wx_fmt=png

640?wx_fmt=png约束:

640?wx_fmt=png


实验


1.  在 TB-Dense 数据集上时序关系识别的性能对比实验与ablation实验

640?wx_fmt=png

2.  在自建数据集上的时序与因果关系识别的性能

已有数据集不能满足要求,因此本文自建数据集用于同时测试时序与因果关系识别两个任务的性能。

640?wx_fmt=png


总结

本文提出了一种新颖的基于ILP模型的时序与因果联合推理框架TCR ,并且开发了一个新的时序与因果联合标注数据集。实验表明,TCR能够同时显著改善两个任务上的性能。

 



OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

640?wx_fmt=jpeg

点击阅读原文,进入 OpenKG 博客。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/479829.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode 64. 最小路径和(DP)

文章目录1. 题目信息2. 解题1. 题目信息 给定一个包含非负整数的 m x n 网格,请找出一条从左上角到右下角的路径,使得路径上的数字总和为最小。 说明:每次只能向下或者向右移动一步。 示例:输入: [[1,3,1],[1,5,1],[4,2,1] ] 输出: 7 解释…

加快读博失败的10种方法

文 | 德先生源 | 知乎博士难毕,全球皆如此。差不多每个学校都有1/3到一半的博士研究生拿不到学位。读博失败不仅本人难受,导师也不好过。为了帮助自己的博士生们顺利毕业,犹他大学的Matt Might教授(计算机科学家,生物学…

要成为一个 Java 架构师得学习哪些知识以及方法?

“ 最近在架构师线下实战中,被问到最多的一个问题,就是要成为一个 Java 架构师得学习哪些知识,以及怎样才能做到架构师这个级别? 今天主要澄清几个关于架构师的几大误区。 架构师并不是人人都能做到的,如果你能走到…

论文浅尝 | 一种可解释的语义匹配复值网络

笔记整理:耿玉霞,浙江大学直博生。研究方向:知识图谱,零样本学习,自然语言处理等。论文链接:https://arxiv.org/pdf/1904.05298.pdf本文是发表在 NAACL 2019 上的最佳可解释性论文。受量子力学中数学模型的…

指针都没搞懂,还能算得上 C++ 老司机?

在工业界,有这样一个规律:“ 但凡能用其他语言的都不会用C,只能用C的必然用C。”但是,C的学习和项目开发都比较困难。一个有经验的老手也经常搞出野指针,内存泄露等bug,包括我自己在学C的时候也非常痛苦。所…

DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用+距离运算

在NLP领域,语义相似度的计算一直是个难题:搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用&#xff…

如何才能真正的提高自己,真正成为一名出色的架构师?

“ 有读者朋友给我留言,如何才能真正的提高自己,成为一名架构师,有学习各种语言的小伙伴。 这里我结合我的学习方法论,再结合我自己的经验,分享部分心得,希望对你有所帮助。 欢迎小伙伴留言给到你现在遇…

论文浅尝 | 从知识图谱流中学习时序规则

论文笔记整理:汪寒,浙江大学硕士,研究方向为知识图谱、自然语言处理。链接:http://ceur-ws.org/Vol-2350/paper15.pdf动机知识图谱是现在十分流行的数据管理方式,在最近几年应用广泛。但目前的基于KG的规则挖掘主要都是…

如何选择数据结构和算法(转)

文章目录1. 时间、空间复杂度 ! 性能2. 抛开数据规模谈数据结构和算法都是“耍流氓”3. 结合数据特征和访问方式来选择数据结构4. 区别对待IO密集、内存密集和计算密集5. 善用语言提供的类,避免重复造轮子6. 千万不要漫无目的地过度优化熟知每种数据结构和算法的功能…

Linux服务器安装cuda,cudnn,显卡驱动和pytorch超详细流程

原文链接:https://blog.csdn.net/kingfoulin/article/details/98872965 基本的环境 首先了解自己服务器的操作系统内核版本等信息: 查看自己操作系统的版本信息:cat /etc/issue或者是 cat /etc/lsb-release等命令 查看服务器显卡信息&…

自训练:超越预训练,展现强大互补特性的上分新范式!

文 | 香侬科技编 | 兔子酱背景预训练(Pre-training)模型自BERT问世以来就一发不可收拾,目前已经在自然语言理解和生成两个方面取得了突破性成就。但是,作为它的一个“兄弟”,自训练(Self-training&#xff…

论文浅尝 | 通过文本到文本神经问题生成的机器理解

论文笔记整理:程茜雅,东南大学硕士,研究方向:自然语言处理,知识图谱。Citation: Yuan X, WangT, Gulcehre C, et al. Machine comprehension by text-to-text neural question generation[J]. arXiv preprint arXiv:17…

安装paddlepaddle-GPU 报libcudnn.so和libcublas.so找不到的解决方案

第一步,查找两个的文件位置 第二步: 由于cudcun实在cuda10.0的基础上安装的,解压cudcnn的tar包之后会出现一个cuda-10.0文件夹,而不是cuda. 第三步: 在一步出现的位置找到了和libcublas.so.10对其进行了重命名就好了…

LeetCode 221. 最大正方形(DP)

文章目录1. 题目信息2. 解题1. 题目信息 在一个由 0 和 1 组成的二维矩阵内,找到只包含 1 的最大正方形,并返回其面积。 示例: 来源:力扣(LeetCode) 链接:https://leetcode-cn.com/problems/maximal-squ…

anaconda配置虚拟环境

一般是在服务器上,创建一个自己的虚拟环境,自己来用,不影响别人的环境,也不用被别人安装环境影响。 打开终端 1.查看当前存在哪些虚拟环境 conda env list 或 conda info -e 2.创建名字为 lly_env 的虚拟环境(名字自己取一个&am…

论文浅尝 | 知识图谱推理中表示学习和规则挖掘的迭代学习方法

作者:张文,浙江大学在读博士,研究方向为知识图谱的表示学习,推理和可解释。本文是我们与苏黎世大学以及阿里巴巴合作的工作,发表于WWW2019,这篇工作将知识图谱推理的两种典型方法,即表示学习和规…

21个深度学习调参的实用技巧

文 | AI_study源 | AI算法与图像处理导读在学习人工智能的时候,不管是机器学习还是深度学习都需要经历一个调参的过程,参数的好坏直接影响着模型效果的好坏。本文总结了在深度学习中21个实用的调参的技巧,快来学习吧!这篇文章在国…

从Java程序员进阶为架构师,全套16张图概括最全技能!建议收藏!

如何从程序员进阶到架构师?今天完整的把我积累的经验和技能分享给大家! 作者:陈睿|优知学院创始人 数据结构算法程序 数据是一切能输入到计算机的信息总和,结构是指数据之间的关系,数据结构就是将数据及其之间的关系有…

Python 爬虫系列教程一爬取批量百度图片

原文地址:https://blog.csdn.net/qq_40774175/article/details/81273198 很久之前就学习了Python的爬虫了,也用来做过一些项目(主要是一些课程项目),但时间比较紧,一直没有空把它写下来,这个暑假…

论文浅尝 | 利用知识图谱嵌入和图卷积网络进行长尾关系抽取

论文笔记整理:王狄烽,南京大学硕士,研究方向为关系抽取、知识库补全。链接:https://arxiv.org/pdf/1903.01306.pdf发表会议:NAACL2019动机现有的利用远程监督进行实体关系抽取的方法大多关注于如何对训练数据进行降噪&…