南洋理工75页最新「深度学习对话系统」大综述论文,最全面概述深度学习对话技术进展...

来源:专知  

摘要

对话系统是一个流行的自然语言处理(NLP)任务,因为它在现实生活中应用前景广阔。这也是一个复杂的任务,因为涉及到许多需要研究的自然语言处理任务。因此,关于深度学习的对话系统研究的大量工作开展了。在这个综述中,我们主要关注基于深度学习的对话系统。我们全面回顾了对话系统的研究成果,并从模型类型和系统类型两个角度对其进行了分析。具体地,从模型类型的角度,讨论了对话系统中广泛应用的各种模型的原理、特点和应用。这将帮助研究人员了解这些模型,并了解它们如何应用于最先进的框架中,这在设计一个新的对话系统时非常有帮助。从系统类型的角度,讨论了任务导向对话系统和开放领域对话系统这两个研究方向,并对相关的热点问题进行了深入的探讨。此外,我们还对对话系统的评价方法和数据集进行了全面的综述,为未来的研究铺平了道路。最后,根据最近的研究成果,确定了一些可能的研究趋势。据我们所知,这个综述是目前对话系统和对话相关任务领域中最全面和最新的,广泛覆盖了流行的框架、主题和数据集。

https://www.zhuanzhi.ai/paper/a34ced4ac06f1af10dea73064600db50

引言

对话系统(或聊天机器人)正在世界上发挥更大的作用。人们可能仍然有一种刻板印象,即聊天机器人是那些给银行打电话时死板的代理。然而,由于人工智能的复兴,现代聊天机器人可以谈论丰富的话题,从你的生日派对到拜登的演讲,如果你愿意,它们甚至可以为你预订聚会地点或播放演讲视频。对话系统是目前自然语言处理领域的热点之一,在工业和日常生活中都有很高的要求。聊天机器人的市场规模预计将从2021年的26亿美元增长到2024年的94亿美元,复合年增长率(CAGR)为29.7%。预计到2021年底,80%的企业将配备聊天机器人自动化。

对话系统可以与人聊天,也可以作为对话的助手。根据其应用,对话系统通常分为两类:面向任务的对话系统和开放域对话系统。面向任务的对话系统解决了特定领域的特定问题,如电影票预订、餐厅餐桌预订等。传统的任务导向对话系统采用流水线结构,由四个功能模块组成: 自然语言理解、对话状态跟踪、策略学习和自然语言生成,这将在第三节详细讨论。许多最先进的作品设计端到端面向任务的对话系统,以实现比流水线方法更好的优化。开放域对话系统的目标是在没有任务和域限制的情况下与用户聊天,而不是专注于任务完成(Ritter et al., 2011),这通常是完全数据驱动的。开放域对话系统一般分为三类: 生成式系统、基于检索的系统和集成系统。生成系统运用序列到序列模型将用户消息和对话历史映射到一个可能不会出现在训练语料库中的响应序列。相比之下,基于检索的系统尝试从某个回复应集中选择已存在的回复。集成系统通过两种方式将生成法和基于检索的方法相结合: 将检索到的响应与生成的响应进行比较,从中选择最优的回复; 生成模型还可以用于提炼检索到的回复(Zhu et al., 2018; Song et al., 2016; Qiu et al., 2017; Serban et al., 2017b)。生成系统可以产生灵活的、对话的、与上下文相关的回复,但有时它们缺乏连贯性,倾向于做出枯燥的回应。基于检索的系统从人的回复集中选择回复,从而能够获得更好的表层语言的连贯性。然而,检索系统受限于响应集的有限性,有时检索到的回复与对话上下文的相关性较弱(Zhu et al., 2018)。

对于对话系统,现有的综述论文(Arora et al., 2013; Wang and Yuan, 2016; Mallios and Bourbakis, 2016; Chen et al., 2017a; Gao et al., 2018)要么过时,要么不全面。这些论文中的一些定义目前已经不再使用,很多新的著作和话题没有涉及到。此外,它们大多缺乏多角度的分析。因此,在本综述中,我们全面回顾了近年来基于深度学习方法的高质量研究,并从模型角度和系统角度提供了对最新研究的见解。此外,本综述根据最新的研究成果更新了定义,并广泛覆盖了对话系统中的各种热点问题。

传统的对话系统大多是基于有限状态(Arora et al., 2013)、基于统计学习和基于机器学习的系统。基于有限状态的系统易于实现,并且能够自然地响应,这使得它们在早期的行业产品中很受欢迎。但是,这些系统的对话流是预先确定的,这使对话系统的应用程序保持在特定的场景中。基于统计学习和基于机器学习的系统通常执行模板填充来管理某些任务。与基于有限状态的系统相比,这些系统更加灵活,因为对话流不是预先确定的。但是,由于模板固定,在模板填写方面F1分数不高,在应用场景和响应多样性方面也受到限制。大多数最先进的对话系统都是基于深度学习的系统。深度学习的快速增长提高了对话系统的性能(Chen et al., 2017a)。深度学习可以被看作是多层神经网络的表示学习。深度学习体系结构广泛应用于对话系统及其子任务。第2节讨论了各种流行的深度学习架构。

从对话系统出发,NLP也有很多与对话相关的任务,包括但不限于问答、阅读理解、对话解缠、视觉对话、视觉问答、对话推理、对话语义解析、对话关系提取、对话情感分析、仇恨言语检测,MISC检测等。在这个调查中,我们还谈到了一些处理这些对话相关任务的工作,因为对话系统的设计可以从这些相关领域的进展中受益。

我们为这篇长文章制作了一个图,以帮助读者熟悉整体结构(图1)。在这个综述中,第一部分简要介绍了对话系统和深度学习;第二节讨论了现代对话系统中流行的神经模型及其相关工作;第三部分介绍了任务导向对话系统的原理和相关工作,并讨论了当前的研究挑战和热点问题;第4节简要介绍了这三种系统,并重点介绍了开放域对话系统的研究热点;第5节回顾了对话系统的主要评价方法;第6节全面总结了对话系统常用的数据集;最后,第七部分对全文进行了总结,并提出了一些研究趋势。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484686.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

第二章 物理层 2,3 数据通信基础知识 [计算机网络笔记]

第二章 物理层 2,3 数据通信基础知识 本笔记参考书目: 计算机网络(第8版)谢希仁2021王道计算机网络视频公开课 本节重点: (了解即可) 通信方式:单工/半双工/全双工传输方式:并行/串行传输同步/异步传输…

《GTA 5》走进现实!AI逼真还原游戏街景,还能“脑补”细节 | 英特尔出品

来源:AI科技评论作者:琰琰编辑:刘冰一在不少玩家眼中,GTA 5(GTA V)称得上是一款旷世神作!GTA 也叫“侠盗猎车手”,是R星旗下一款超高人气动作冒险类游戏,目前已经发售至第…

对公平席位分配问题的探讨:最大余数法、Q值法和D’Hondt方法及其特例|公平分配原则等

公平席位分配问题 本文研究公平的席位分配问题。对席位分配问题中经典的最大余数法、Q值法和D’Hondt方法进行研究和比较,在提出公平性判断原则的基础上,分析其优缺点。本文使用Matlab搭建三种席位分配模型,并对结果展开讨论。给出最大余数法…

电动车产业深度报告:对比苹果,剖析特斯拉产业链投资机会 | 附完整报告下载...

报告出品方:兴业证券作者:戴畅 董晓彬 赵季新本篇报告对苹果产业链和特斯拉产业链进行了深度对比分析,前者引领消费电子黄金十年,后者将开启相关产业链赤金十年。1智能手机 vs 电动汽车:电动车方兴未艾,市场…

七牛云注册创建oss并配置自定义域名

1.登陆官网注册账号 有个人和企业两种,根据自己的情况进行注册 https://portal.qiniu.com/signup/choice 2.注册后要进行认证,不认证是没有免费空间给你使用的 3.创建对象存储,这个当然是选择离自己距离近的咯,更快的响应嘛 4.创建成功后,如果不想绑定到自己的域名的话,七牛云也…

状态转移法求解夫妻过河问题

状态转移法求解夫妻过河问题 摘 要 本文研究夫妻问题。主要运用“状态转移法”解决夫妻过河问题,并用Python编程实现,输出求解过程和结果。分析夫妻对数n和船载人数m和是否有解的关系,给出了该问题的一般提法和解法。 目 录 3.1 约束条件 1…

第二章 数据的表示和运算 2.1.6 循环冗余校验码/CRC码 [计算机组成原理笔记]

第二章 数据的表示和运算 2.1.6 循环冗余校验码/CRC码 本笔记参考书目: 计算机组成原理(第六版.立体化教材)白中英、戴志涛2021王道计算机组成原理视频公开课 本节重点: 循环冗余校验码/CRC码 的生成和检错 转载请注明文章来源…

利用基于GPU的AI模拟一个现实宇宙 仅需36分钟

来源:The Next Web编译:科技行者科学家已经习惯于使用超级计算机处理宇宙学领域的海量数据,最近卡耐基梅隆大学的研究团队找到一种新方法,可以使用常规的机器学习技术(与AI绘画或作曲拥有同样的底层设计),在图形处理单…

第七章:集成学习(利用AdaBoost元算法...)

---恢复内容开始--- 集成学习其实不能算一个算法,应该算是一种框架,集百家之长。集成算法具体有Bagging与Boosting两种大类。两者区别: 1)Bagging是并行的,它就好比找男朋友,美女选择择偶对象的时候,会问几…

GPT-3难以复现,为什么说PyTorch走上了一条“大弯路”?

来源:OneFlow 投稿责编:欧阳姝黎2020 年,最轰动的 AI 新闻莫过于 OpenAI 发布的 GPT-3 了。它的1750亿参数量及其在众多NLP任务上超过人类的出众表现让人们开始坚信:大模型才是未来。但与之带来的问题是,训练超大模型所…

生小兔问题

生小兔问题🐰 本文研究生小兔问题。使用代数模型,在考虑生育情况变化的情况下,求解兔子/白鼠的数目变化。 第1章 问题重述 生小兔问题 兔子出生后能够存活12个月,从第7月开始生小兔,7、8两月每对兔子生1对小兔/月&am…

光刻机龙头ASML回应韩国建厂:无需过度解读

来源: 深城物联近期,韩国在半导体领域的动作不小。先是韩国总统文在寅公开宣布韩国将斥资4500亿美元建设全球最大芯片制造基地,之后韩国又向全球光刻机龙头大厂阿斯麦(ASML)抛出了橄榄枝,请ASML在韩国建立再…

Spring入门之一-------实现一个简单的IoC

一、场景模拟 public interface Human {public void goHome();} Human:人类,下班了该回家啦public interface Car {void start();void stop();void turnLeft();void turnRight();} Car:汽车,可以启动、停止、左转、右转public cla…

常染色体的隐性疾病数学建模(代数模型)

常染色体的隐性疾病数学建模(代数模型) 摘要:本文研究随交配代数的增长,常染色体隐性疾病的基因分布变化问题。使用代数模型,在正常人不与显性患者交配,但隐性患者可与正常人、隐性患者交配的情况下时&…

一文拆解中国火星车着陆全过程

天问一号着陆器降落火星(艺术图)来源: 深城物联 经过惊心动魄的九分钟,中国首个火星车祝融号成功穿越火星大气层,着陆于火星北半球的乌托邦平原南端。自此,继苏联和美国之后,中国成为了第三个成…

第二章 物理层 4 奈氏准则和香农定理 [计算机网络笔记]

第二章 物理层 4 奈氏准则和香农定理 本笔记参考书目: 计算机网络(第8版)谢希仁2021王道计算机网络视频公开课 本节重点: 奈氏准则和香农定理的计算/适用范围 转载请注明文章来源! 失真 失真的影响因素&#xff1…

谈谈数学之现在与未来

文章来源:好玩的数学来源:《数学教学通讯》2005年3月(上半月)(总第220期)作者:王元(中国科学院数学与系统科学研究院)数学科学是什么?我们首先谈谈数学科学是…

SQL Server创建Job, 实现执行相同脚本而产生不同作业计划的探究

1 . 背景描述 本公司的SQL Server 服务器近百台,为了收集服务器运行的状态,需要在各个实例上部署监控Job,将收集到的信息推送到中央管理服务器。 收集的信息主要包括:慢查询、阻塞、资源等待、Connection_Trace log 、Job执行状态…

基于线性常微分方程的我国某省艾滋病传播的数学模型建立和预测分析

基于线性常微分方程的我国某省艾滋病传播的数学模型建立和预测分析 如有错误,欢迎指正!转载需注明出处和作者信息!©️Sylvan Ding 摘要 艾滋病(AIDS)又称获得性免疫缺陷综合征,由人类免疫缺陷病毒&…

神经网络的持续终身学习综述论文

来源:专知人和高级动物在整个生命中不断获取、微调和转让知识和技能。这种能力,称为lifelong learning,是由一系列神经认知机制协调的过程,这些机制共同促进了sensorimotor技能的发展以及对长期记忆的巩固和检索。因此对于计算系统…