NLP论文阅读记录 - 2021 | WOS 智能树提取文本摘要深度学习

文章目录

  • 前言
  • 0、论文摘要
  • 一、Introduction
    • 1.1目标问题
    • 1.2相关的尝试
    • 1.3本文贡献
  • 二.前提
  • 三.本文方法
  • 四 实验效果
    • 4.1数据集
    • 4.2 对比模型
    • 4.3实施细节
    • 4.4评估指标
    • 4.5 实验结果
      • 4.6 细粒度分析
  • 五 总结
  • 思考


前言

在这里插入图片描述

An Intelligent Tree Extractive Text Summarization Deep Learning (21)

0、论文摘要

在最近的研究中,深度学习算法为自然语言提供了有效的表示学习模型。基于深度学习的模型比经典模型创建更好的数据表示。它们能够自动提取文本的分布式表示。在本研究中,我们引入了一种新的树提取文本摘要,其特征是拟合知识库训练模块中的文本结构表示,并且还解决了以前未解决的内存问题。所提出的模型采用树结构机制来生成短语和文本嵌入。所提出的架构模仿文本的树配置并提供更好的特征表示。它还采用了一种注意力机制,可以提供额外的信息源来进行更好的摘要提取。该新颖模型将文本摘要作为一个分类过程,其中模型计算短语和文本摘要关联的概率。
模型分类分为信息熵、显着性、冗余度、位置等多种特征识别。该模型在两个数据集上进行了评估,即多文档组合查询(MCQ)和双重注意组合数据集(DAC)数据集。
实验结果证明,我们提出的模型比其他模型具有更大的概括精度。

一、Introduction

1.1目标问题

文本摘要是语言处理中的一个重要研究课题。通过将冗长的文本缩减为更少的短语或更少的段落,这是应对信息过剩挑战的理想方法。智能平板电脑等移动设备的地位标志着文本摘要成为小屏幕和较少带宽能力的重要工具[1-3]。它也可以用作计算机的理解考试。为了生成可接受的摘要,深度学习方法必须理解文本并从中浓缩重要信息。当文本大小变大时,这些责任对于计算机来说是一个很大的问题
增加。尽管搜索引擎可以使用高级检索方法,但它们没有能力从多个来源提取数据并返回简短的有用响应。此外,还需要及时的工具来提取多个来源。这些警报引发了人们对计算机文本摘要模型的兴趣。当前的文本摘要技术依赖于使用文本统计特征的精细特征提取工程。这些系统很复杂,需要工程模型。此外,这些系统无法生成可理解的文本摘要。端到端训练模型在其他方面表现出更好的效果,例如人脸识别、机器翻译和物体识别。目前,神经摘要模型受到关注;提出了几种技术,并演示了它们在文本语料库中的用途[4-7]。
神经摘要有两种模型:抽取式摘要和抽象式摘要。提取模型决定并连接文档中的相关短语以生成摘要,同时保留其原始内容。提取模型通常用于现实世界的应用[7-10]。提取模型的一个中心问题是确定定义关键信息的显着短语[11]。同时,提取摘要模型为原始文本构建了语义模型,并生成类似于人类的摘要。当前的抽象模型非常薄弱[12-15]。
尽管如此,神经模型在文本摘要中使用时仍然存在一些问题。这些模型缺乏文档内容的底层方面结构。因此,文本摘要仅使用不捕获多方面内容的表示向量空间[16]。另一个问题是神经架构是对循环网络(例如门控单元和术语记忆)的修改。理论上,这些网络可以记住计算的状态向量中先前的选择。但现实情况并非如此。此外,记住文档语义相对困难且不是必需的[17]。先前状态的加权表示向量将用作确定下一个状态的步骤的附加输入。因此,模型可以获得过去步骤中计算出的状态,因此最后一个状态将保存先前状态的信息[18]。
这项研究的主要贡献是引入了一种基于神经网络的摘要模型,通过将摘要视为分类过程来从文本中提取相关短语。该模型通过提取内容、重要性、冗余和位置等特征来计算每个短语作为短语成员的分数。我们提出的模型提高了效率和准确性:(i)首先它使用树文本表示; (ii) 在构建文本树时,对单词和短语使用了两种自注意力技术。这使得模型能够对重要内容做出强烈反应。
在这项研究中,出现了两个问题:(1)反映文本树以增强短语的嵌入结构以学习文本语义; (2)从文本中提取最重要的短语以生成首选摘要[18-22]。

1.2相关的尝试

1.3本文贡献

我们的研究与其他研究之间的主要区别是:我们提出的模型利用树结构自注意力技术来产生短语嵌入。增强自注意力技术可以提高性能并提供对摘要短语选择中高分短语的理解。为了测试我们的模型与最先进模型的性能比较,使用了两个数据集:MCQ 新闻和 DAC 集。我们的模型明显优于比较模型。
文章的结构安排如下。第 2 节详细描述了我们的摘要模型。第 3 节介绍了模拟结果。第 4 节描述了相关的比较模型。第 5 节给出了讨论和结论。

总之,我们的贡献如下:

二.前提

三.本文方法

四 实验效果

4.1数据集

4.2 对比模型

4.3实施细节

4.4评估指标

4.5 实验结果

4.6 细粒度分析


五 总结

我们提出的模型使用注意力技术来采用短语嵌入。这些实验描绘了我们模型的高性能结果。我们的结果强调,自注意力生成的嵌入提供了更好的状态表示并提高了摘要质量。我们的模型在 MCQ 和 DAC 数据集上比类似模型实现了更高的性能。这项工作在三个方面与其他模型不同。首先,它利用反映更好文档结构的树注意力模型。其次,它利用自注意力模块来生成有效的嵌入主题。第三,提取的特征在学习阶段进行扎根和加权,同时关注过去分类的短语。我们相信,将支持学习与短语到短语的训练目标相结合是未来研究的激励之路。另一项工作必须集中于建议除 ROUGE 分数之外的新评估指标,以改进摘要任务,特别是对于长短语。

思考

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/623371.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

迁移mysql8.x数据到monggodb数据库

因流量逐步增加随即数据库要从mysql换成monggodb,所以有了数据迁移的需求 首先需要导出mysql的数据,导出格式为.CSV的文件 使用navicat链接mysql数据库注意,需要使用拥有所有权限的用户 登录mysql mysql -u root -pZxcvbnm2024 CREATE USER …

vue3-类与样式绑定

Class 与 Style 绑定 class 和 style 都是 attribute,我们可以和其他 attribute 一样使用 v-bind 将它们和动态的字符串绑定。 Vue 专门为 class 和 style 的 v-bind 用法提供了特殊的功能增强。除了字符串外,表达式的值也可以是对象或数组。 绑定cla…

工智能基础知识总结--朴素贝叶斯

什么是朴素贝叶斯 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。 给定训练集 T = ( x 1 , y 1 ) , ( x 2 , y 2 ) ,

Python 点云处理总目录

一、点云滤波 原始点云包含过多噪点和冗余点,滤波和采样往往是点云预处理的必要步骤 1.滤波 直通滤波 统计滤波 半径滤波 2.采样 下采样抽稀 二、邻近搜索 如何组织点云快速获取当前点邻域范围,是面对海量点云保证处理速度的重要前提 3.KD树与八…

linux如何创建文件教程分享

在Linux中创建文件通常通过使用命令行完成。这里有几种不同的方法来创建一个新文件: 1. 使用 touch 命令 touch 命令是最简单的创建空文件的方式。这个命令将更新文件的访问和修改时间戳。如果指定的文件不存在,它将创建一个空文件。 touch newfile.t…

Python实现读取超100G的数据文件

前言 本文是该专栏的第42篇,后面会持续分享python的各种干货知识,值得关注。 在项目工作中,难免会遇到需要你通过python去读取100G甚至超过100G的数据文件。对于小数据的文件来说,相信很多同学都可以轻松解决。但对于大数据文件,类似读取100G的数据文件甚至会对电脑的性能…

实战指南:如何在Spring Boot中无缝整合Dubbo【四】

欢迎来到我的博客,代码的世界里,每一行都是一个故事 实战指南:如何在Spring Boot中无缝整合Dubbo【四】 前言项目结构主项目(作为主pom)接口服务提供者properties文件实现类 服务消费者properties接口层 实现效果图 前言 微服务架构已经成为…

BUUCTFMisc (我flag呢???)

刚好,更完密码学,然后就到下一个对新手还算 “友好” 的地方了--->Misc(但他还是比密码学难) 找不出flag belike : 看了别人的找法以后be like: 这里我就来讲几道我觉得比较有意思的题目吧&…

python 字符串的详细处理方法

当前版本: Python 3.8.4 简介 字符串是由字符组成的序列,可以用单引号、双引号或三引号(单引号或双引号的连续使用)括起来。一般用来表示和处理文本信息,可以是字母、数字、标点符号以及其他特殊字符,用于…

CAN/CANFD数据记录仪汽车电子售后神器

CAN数据记录仪是一种用于采集和存储CAN总线数据的工具,广泛应用于汽车、轨道车辆、工业控制等大数据量且不易排查故障的系统中。它可以实时存储总线上的数据,方便后续的研究和分析。解决工程师售后难点。 在选择CAN数据记录仪时,需要根据实…

JavaScript基础05

1 - 作用域 1.1 作用域概述 通常来说,一段程序代码中所用到的名字并不总是有效和可用的,而限定这个名字的可用性的代码范围就是这个名字的作用域。作用域的使用提高了程序逻辑的局部性,增强了程序的可靠性,减少了名字冲突。 Ja…

结构化数据,非结构化数据,半结构化数据(AI问答)

结构化数据,非结构化数据,半结构化数据,请介绍一下 结构化数据、非结构化数据和半结构化数据是按照数据组织形式和复杂度进行区分的三大类型: 结构化数据: 结构化数据是指具有固定格式和预定义模式的数据,…

春节回家前,请一定给你的电脑装上KKView远程控制软件

马上春节了,电脑不能带回家,有时候要处理点意外的事情,怎么办?只要走之前,给你电脑装上KKView远程控制软件,就可以随时随地用手机或电脑控制你的工作电脑,远程办公、传文件、看摄像头都没问题。…

Spring全局异常处理

目录 概述依赖导入创建全局异常处理总结 概述 在Spring框架中,全局异常处理主要是通过ControllerAdvice(或其特化形式RestControllerAdvice)注解和ExceptionHandler注解来实现的。这种机制能够捕捉到控制器(Controller或RestCont…

2024.1.15每日一题

LeetCode 82.删除排序链表中的重复元素 II 82. 删除排序链表中的重复元素 II - 力扣(LeetCode) 题目描述 给定一个已排序的链表的头 head , 删除原始链表中所有重复数字的节点,只留下不同的数字 。返回 已排序的链表 。 示例…

常用Java代码-Java中的Optional类和null安全编程

在Java中,Optional 是一个可以为null的容器对象。如果值存在则isPresent()方法返回true。调用get()方法会返回值,如果值为null则抛出NullPointerException。以下是一个详细的代码详解。 在之前的Java版本中,程序员需要手动检查是否为null&am…

docker安装部署Elasticsearch(ES)以及相关配置

Elasticsearch简介 mysql用作持久化存储,ES用作检索 基本概念:index库>type表>document文档 index索引(相当于MySQL的数据库) 动词:相当于mysql的insert 名词:相当于mysql的db Type类型&#xff…

Jenkins-自动化

定时构建 使用Cron表达式指定执行时间。 # 格式 # ┌──分(0 - 59) # │ ┌──时(0 - 23) # │ │ ┌──日(1 - 31) # │ │ │ ┌─月(1 - 12) # │ │ │ │ ┌─星期&#…

这本书没有一个公式,却讲透了数学的本质!

《数学的雨伞下:理解世界的乐趣》。一本足以刷新观念的好书,从超市到对数再到相对论,娓娓道来。对于思维空间也给出了一个更容易理解的角度。 作者:米卡埃尔•洛奈 原文完整版PDF:https://pan.quark.cn/s/019bf19c4981…

2024--Django平台开发-Redis持久化、主从复制、哨兵(十)

before Redis基础: Redis的安装:Windows平台、centos7 Windows平台不推荐安装,但是开发阶段,测试使用还是可以的,推荐使用centos等其他Linux平台,因为将来项目部署也要放到Linux云服务器上。 Redis的通用…