论文浅尝 | 基于知识库的神经网络问题生成方法

论文笔记整理:谭亦鸣,东南大学博士生,研究方向为跨语言知识图谱问答。



640?wx_fmt=png


来源:NLPCC2018

链接:http://tcci.ccf.org.cn/conference/2018/papers/EV7.pdf

 

问题背景与动机

作者认为,目前的问题语料生成主要依赖于人工标注和整理,成本较大。而现有基于知识库的自动问题生成方法都不能较好的替代上述所需的人工标注效果。在同时考虑生成问题语料的流利度和问题的质量两个方面的问题后,采用了基于LSTM的神经网络生成方案,并提出一种新的输入序列预处理方式,从而达到获取高质量中文问题语料的效果。本方法在NLPCC2018KBQG任务上获得了最优。

 

贡献

1.    使用LSTM用于中文问题生成

2.    提出了一种新的输入序列处理方法

 

模型

本文提出的模型由编码与解码两个部分组成,编码部分的输入是三元组(来自知识图谱)。

三元组由subjectrelationshipobject构成,作为答案的object在问题生成过程中不会被直接表达于问句中,但是它的存在有助于系统理解目前所生成问题的目标。因此,在问题生成过程中object需要被转换为一些特别的形式,以反映出它作为答案时,问句应表现出的问题意图类型。

下表是一些转换的例子,比如时间信息根据形式的不同可用<date>表示日期,<time>表示具体时间等等。

640?wx_fmt=png

中文处理中一个非常难的问题是名称的识别,由于使用pattern无法有效找到中文名称信息,因此作者采用HanLP工具来完成上述工作,在HanLP中,名称信息可通过角色标注被识别出来。

这种object完成了上述两次替换的得到序列被作者称为token_seq,在完成名称识别后,则可以对原始三元组的object成分进行“词->词性标签“的替换(除了形容词和副词),如下表所示,经过这种替换的序列则被称为token_pos_seq

需要说明的是,三元组中的subject会在输出序列中以<ent>的标签形式出现,因此不参与到问题生成模型的输入中,token_pos_seq/token_seq中的标签<is>用于分开relationshipobject

640?wx_fmt=png

编码器-解码器的网络结构方面,采用了常见的双向LSTM编码与单RNN解码的形式完成。

640?wx_fmt=png


实验

文章的实验数据来自 NLPCC2018KBQG 评测子任务,提供规模为24,479的问答训练集,测试集规模为357,评测指标选用了BLEU-4(较高的BLEU值表示模型生成的问题与标准问题的描述形式更为相近,但并不意味着低BLEU问题就是错误的,这里仅供参考)。

此外,详细的神经网络参数设置原文已由描述,这里不再赘述。

实验结果如下表所示。

640?wx_fmt=png



OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

640?wx_fmt=jpeg

点击阅读原文,进入 OpenKG 博客。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/479835.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

何使用BERT模型实现中文的文本分类

原文网址&#xff1a;https://blog.csdn.net/Real_Brilliant/article/details/84880528 如何使用BERT模型实现中文的文本分类前言Pytorchreadme参数表算法流程1. 概述2. 读取数据3. 特征转换4. 模型训练5. 模型测试6. 测试结果7. 总结前言 Google官方BERT代码&#xff08;Tenso…

LeetCode 152. 乘积最大子序列(DP)

文章目录1. 题目信息2. 解题1. 题目信息 给定一个整数数组 nums &#xff0c;找出一个序列中乘积最大的连续子序列&#xff08;该序列至少包含一个数&#xff09;。 示例 1:输入: [2,3,-2,4] 输出: 6 解释: 子数组 [2,3] 有最大乘积 6。 示例 2:输入: [-2,0,-1] 输出: 0 解释…

YouTube深度学习推荐系统的十大工程问题

文 | 王喆源 | https://zhuanlan.zhihu.com/p/52504407这篇文章主要介绍了YouTube深度学习系统论文中的十个工程问题&#xff0c;为了方便进行问题定位&#xff0c;我们还是简单介绍一下背景知识&#xff0c;简单回顾一下YouTube的深度推荐系统论文Deep Neural Networks for Yo…

RPC框架的实现原理,及RPC架构组件详解

RPC的由来 随着互联网的发展&#xff0c;网站应用的规模不断扩大&#xff0c;常规的垂直应用架构已无法应对&#xff0c;分布式服务架构以及流动计算架构势在必行&#xff0c;亟需一个治理系统确保架构有条不紊的演进。 单一应用架构 当网站流量很小时&#xff0c;只需一个应…

论文浅尝 | 时序与因果关系联合推理

论文笔记整理&#xff1a;李昊轩&#xff0c;南京大学硕士&#xff0c;研究方向为知识图谱、自然语言处理。来源&#xff1a;ACL2018链接&#xff1a;https://www.aclweb.org/anthology/P18-1212动机理解事件之间的时间和因果关系是一项基本的自然语言理解任务。由于原因一定先…

LeetCode 64. 最小路径和(DP)

文章目录1. 题目信息2. 解题1. 题目信息 给定一个包含非负整数的 m x n 网格&#xff0c;请找出一条从左上角到右下角的路径&#xff0c;使得路径上的数字总和为最小。 说明&#xff1a;每次只能向下或者向右移动一步。 示例:输入: [[1,3,1],[1,5,1],[4,2,1] ] 输出: 7 解释…

加快读博失败的10种方法

文 | 德先生源 | 知乎博士难毕&#xff0c;全球皆如此。差不多每个学校都有1/3到一半的博士研究生拿不到学位。读博失败不仅本人难受&#xff0c;导师也不好过。为了帮助自己的博士生们顺利毕业&#xff0c;犹他大学的Matt Might教授&#xff08;计算机科学家&#xff0c;生物学…

要成为一个 Java 架构师得学习哪些知识以及方法?

“ 最近在架构师线下实战中&#xff0c;被问到最多的一个问题&#xff0c;就是要成为一个 Java 架构师得学习哪些知识&#xff0c;以及怎样才能做到架构师这个级别&#xff1f; 今天主要澄清几个关于架构师的几大误区。 架构师并不是人人都能做到的&#xff0c;如果你能走到…

论文浅尝 | 一种可解释的语义匹配复值网络

笔记整理&#xff1a;耿玉霞&#xff0c;浙江大学直博生。研究方向&#xff1a;知识图谱&#xff0c;零样本学习&#xff0c;自然语言处理等。论文链接&#xff1a;https://arxiv.org/pdf/1904.05298.pdf本文是发表在 NAACL 2019 上的最佳可解释性论文。受量子力学中数学模型的…

指针都没搞懂,还能算得上 C++ 老司机?

在工业界&#xff0c;有这样一个规律&#xff1a;“ 但凡能用其他语言的都不会用C&#xff0c;只能用C的必然用C。”但是&#xff0c;C的学习和项目开发都比较困难。一个有经验的老手也经常搞出野指针&#xff0c;内存泄露等bug&#xff0c;包括我自己在学C的时候也非常痛苦。所…

DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用+距离运算

在NLP领域&#xff0c;语义相似度的计算一直是个难题&#xff1a;搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用&#xff…

如何才能真正的提高自己,真正成为一名出色的架构师?

“ 有读者朋友给我留言&#xff0c;如何才能真正的提高自己&#xff0c;成为一名架构师&#xff0c;有学习各种语言的小伙伴。 这里我结合我的学习方法论&#xff0c;再结合我自己的经验&#xff0c;分享部分心得&#xff0c;希望对你有所帮助。 欢迎小伙伴留言给到你现在遇…

论文浅尝 | 从知识图谱流中学习时序规则

论文笔记整理&#xff1a;汪寒&#xff0c;浙江大学硕士&#xff0c;研究方向为知识图谱、自然语言处理。链接&#xff1a;http://ceur-ws.org/Vol-2350/paper15.pdf动机知识图谱是现在十分流行的数据管理方式&#xff0c;在最近几年应用广泛。但目前的基于KG的规则挖掘主要都是…

如何选择数据结构和算法(转)

文章目录1. 时间、空间复杂度 ! 性能2. 抛开数据规模谈数据结构和算法都是“耍流氓”3. 结合数据特征和访问方式来选择数据结构4. 区别对待IO密集、内存密集和计算密集5. 善用语言提供的类&#xff0c;避免重复造轮子6. 千万不要漫无目的地过度优化熟知每种数据结构和算法的功能…

Linux服务器安装cuda,cudnn,显卡驱动和pytorch超详细流程

原文链接&#xff1a;https://blog.csdn.net/kingfoulin/article/details/98872965 基本的环境 首先了解自己服务器的操作系统内核版本等信息&#xff1a; 查看自己操作系统的版本信息&#xff1a;cat /etc/issue或者是 cat /etc/lsb-release等命令 查看服务器显卡信息&…

自训练:超越预训练,展现强大互补特性的上分新范式!

文 | 香侬科技编 | 兔子酱背景预训练&#xff08;Pre-training&#xff09;模型自BERT问世以来就一发不可收拾&#xff0c;目前已经在自然语言理解和生成两个方面取得了突破性成就。但是&#xff0c;作为它的一个“兄弟”&#xff0c;自训练&#xff08;Self-training&#xff…

论文浅尝 | 通过文本到文本神经问题生成的机器理解

论文笔记整理&#xff1a;程茜雅&#xff0c;东南大学硕士&#xff0c;研究方向&#xff1a;自然语言处理&#xff0c;知识图谱。Citation: Yuan X, WangT, Gulcehre C, et al. Machine comprehension by text-to-text neural question generation[J]. arXiv preprint arXiv:17…

安装paddlepaddle-GPU 报libcudnn.so和libcublas.so找不到的解决方案

第一步&#xff0c;查找两个的文件位置 第二步&#xff1a; 由于cudcun实在cuda10.0的基础上安装的&#xff0c;解压cudcnn的tar包之后会出现一个cuda-10.0文件夹&#xff0c;而不是cuda. 第三步&#xff1a; 在一步出现的位置找到了和libcublas.so.10对其进行了重命名就好了…

LeetCode 221. 最大正方形(DP)

文章目录1. 题目信息2. 解题1. 题目信息 在一个由 0 和 1 组成的二维矩阵内&#xff0c;找到只包含 1 的最大正方形&#xff0c;并返回其面积。 示例: 来源&#xff1a;力扣&#xff08;LeetCode&#xff09; 链接&#xff1a;https://leetcode-cn.com/problems/maximal-squ…

anaconda配置虚拟环境

一般是在服务器上&#xff0c;创建一个自己的虚拟环境&#xff0c;自己来用&#xff0c;不影响别人的环境&#xff0c;也不用被别人安装环境影响。 打开终端 1.查看当前存在哪些虚拟环境 conda env list 或 conda info -e 2.创建名字为 lly_env 的虚拟环境(名字自己取一个&am…