论文浅尝 | 嵌入常识知识的注意力 LSTM 模型用于特定目标的基于侧面的情感分析...

640?wx_fmt=png

MaY, Peng H, Cambria E. Targeted aspect-based sentiment analysis via embedding commonsense knowledge into an attentive LSTM[C]//AAAI. 2018.

 

任务简介

特定目标的基于侧面的情感分析,在原来基于侧面的情感分析的基础上,进一步挖掘细粒度的信息,分析特定对象的侧面级别的情感极性。具体任务的示例如图1所示,给定句子识别该句子描述了哪个目标的哪个侧面,并且识别出关于该侧面的情感极性。


 640?wx_fmt=png

图 1 特定目标的侧面级别的情感分析示例

640?wx_fmt=png

图 2 文本描述多个目标的多个侧面的示例


从图 2 的示例中,我们可以看出真实的文本描述中,我们可能同时描述多个目标和关于这些目标的多个侧面,原来基于侧面的情感分析,一般用于评论分析,假定目标实体已经给定,因此该任务只能识别出侧面以及分类该侧面的情感,更一般的情况,该任务并不能解决,因此,需要构建新的任务,特定目标的基于侧面的情感分析,同时抽取文本的描述的目标、它们对应的侧面以及描述这些侧面的情感极性。例如,给定句子“I live in [West London] for years. I like it and itis safe to live in much of [west London]. Except [Brent] maybe.”包含两个目标[west London]和[Brent]。我们的目标就是识别目标的侧面并且分类这些侧面的情感。我们想到的输出就是关于目标[WestLondon]的结果[‘general’:positive;‘safety’:positive]和关于目标[Brent]的结果[‘general’: negative; ‘safety’:negative]。


现有方法的不足:

(1)在一个句子中,同一个目标可能包含多个实例(同一个目标的不同表述方式,例如,同义词、简写等)或者一个目标对应一个句子中的多个词语。但是,现有的方法都假设所有的实例对于情感分类的重要性是一样的,简单地计算所有实例的向量的均值。事实上,同一个目标中的个别实例对于情感分类的重要性明显高于其他的实例。

(2)现有的层次注意力机制模型将关于给定目标、侧面和情感的建模过度简化成一种黑盒的神经网络模型。现有的研究方法都没有引入外部知识(情感知识或者常识知识)到深度神经网络,这些知识可以有助于侧面和情感极性的识别。


模型简述和常识知识:

本文提出的神经结构如图2所示,包含两个模块:序列编码器和层次注意力模块。给定一个句子s={w1,w2,…,wL},首先查阅词向量表将句子中输入的词语全部变成词向量{vw1,vw2,…,vwL}。其中序列编码器基于双向LSTM,将词向量转换成中间隐含层序列输出,注意力模块置于隐含层输出的顶部,其中比较特殊的是,本结构中加入目标级别的注意力模块该模块的输入不是序列全部的中间隐含层输出,而是序列中描述目标对象对应的位置的词语的隐含层输出(如图2中的紫色模块),计算这些词语的自注意向量(vt)。这里目标级别的注意力模块的输出表示目标,目标的表示结合侧面的词向量用于计算句子级别的注意力表示,将整个句子表示一个向量,这个句子级别的注意力模块返回一个关于特定目标和侧面的句子向量,然后用这个向量预测这个目标对应的侧面的情感极性。

640?wx_fmt=png

图 3 注意力神经结构


为了提升情感分类的精确度,本文使用常识知识作为知识源嵌入到序列编码器中。这里使用 SenticNet 作为常识知识库,该知识库包含了 5000 个概念关联了丰富的情感属性(如表1所示),这些情感属性不但提供了概念级别的表示,同时提供了侧面和它们的情感之间对应的语义关联。例如,概念“rottenfish”包含属性“KindOf-food”可以直接关联到侧面“restaurant”或者“food quality”,同时情感概念“joy”可以支撑情感极性的分类。(如图4所示)


640?wx_fmt=png

表 1 SenticNet 的示例


因为 SenticNet 的高维度阻碍了将这些常识知识融合到深度神经网络结构中。AffectiveSpace 提出了方法将 SenticNet 中的概念转化成连续低维度的向量,而且没有损失原始空间中的语义和情感关联。基于这个新的概念空间,本文将概念级别的信息嵌入到深度神经网络模型中可以更好地分类自然语言文本中的侧面和情感分类。

640?wx_fmt=png

图 4 SenticNet 语义网络的部分


实验结果

本文主要评估了两个子任务:一是侧面分类,二是基于侧面的情感分类;主要评估两个测度,精确度、Macro-F1和Micro-F1;实验室的数据集包括SentiHood和Semeval-2015;常识知识库使用SenticNet和使用AffectiveSpace作为概念embedding,如果没有抽取到概念,那么使用零向量作为输入。实验结果如图5和图6所示。

640?wx_fmt=png

图 5 在 SentiHood 数据集上的性能

640?wx_fmt=png

图 6 Semeval-2015数据集的性能


论文笔记整理:徐康,南京邮电大学讲师,研究方向为情感分析、知识图谱。



OpenKG.CN


中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

640?wx_fmt=jpeg

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

 

点击阅读原文,进入 OpenKG 博客。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/480640.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里P8架构师谈:MySQL有哪些存储引擎,各自的优缺点,应用场景

经常面试都会问到MYSQL有哪些存储引擎,以及各自的优缺点。今天主要分享常见的存储引擎:MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)等,以及最常用的MyISAM与InnoDB两个引擎 &#xf…

TensorFlow 全网最全学习资料汇总之TensorFlow的技术应用

谷歌于2015年11月发布了全新人工智能系统TensorFlow。该系统可被用于语音识别或照片识别等多项机器深度学习领域,主要针对2011年开发的深度学习基础架构DistBelief进行了各方面的改进,它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行…

13个offer,8家SSP,谈谈我的秋招经验

本文转载自公众号“夕小瑶的卖萌屋”,专业带逛互联网算法圈的神操作 -----》我是传送门 关注后,回复以下口令: 回复【789】 :领取深度学习全栈手册(含NLP、CV海量综述、必刷论文解读) 回复【入群】&#xf…

领域应用 | 知识图谱的技术与应用

本文转载自公众号:贪心科技。作者 | 李文哲,人工智能、知识图谱领域专家导读:从一开始的Google搜索,到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统,无一不跟知识图谱相关。它在技术领域的…

阿里P8架构师谈:MySQL慢查询优化、索引优化、以及表等优化总结

MySQL优化概述 MySQL数据库常见的两个瓶颈是:CPU和I/O的瓶颈。 CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候。 磁盘I/O瓶颈发生在装入数据远大于内存容量的时候,如果应用分布在网络上,那么查询量相当大的时候那么平瓶颈就…

医药领域知识图谱快速及医药问答项目

QABasedOnMedicaKnowledgeGraph self-implement of disease centered Medical graph from zero to full and sever as question answering base. 从无到有搭建一个以疾病为中心的一定规模医药领域知识图谱,并以该知识图谱完成自动问答与分析服务。 项目介绍 本项…

一文详解深度学习在命名实体识别(NER)中的应用

近几年来,基于神经网络的深度学习方法在计算机视觉、语音识别等领域取得了巨大成功,另外在自然语言处理领域也取得了不少进展。在NLP的关键性基础任务—命名实体识别(Named Entity Recognition,NER)的研究中&#xff0…

如何做机器学习项目规划?一个事半功倍的checklist

一只小狐狸带你解锁 炼丹术&NLP 秘籍前言在接到一个新项目的时候,对其进行合理的安排和规划往往会有事半功倍的效果。下面是从规划30 多个机器学习项目的经验中,提炼出的一个简单有效的checklist。一起来看看叭~项目动机明确你的项目的更广泛的意义。…

论文浅尝 | 一种用于新闻推荐的深度知识感知网络

Citation: Wang H, Zhang F, Xie X, et al. DKN: Deep Knowledge-Aware Networkfor News Recommendation[J]. 2018.Published at: The 27th International Conference on World Wide Web (WWW18)URL:https://arxiv.org/pdf/1801.08284.pdfMotivation推荐系统最初是为…

MySQL数据库主从同步的3种一致性方案实现,及优劣比较

数据主从同步的由来 互联网的很多业务,特别是在高并发的场景下,基本都是读远远大于写,如果数据库读和写的压力都同在一台主机上,这显然不太合理。 于是,把一台数据库主机分为单独的一台写主库(主要负责写操…

中文复合(条件事件、因果事件、顺承事件、反转事件)事理图谱构建项目

ComplexEventExtraction chinese compound event extraction,中文复合事件抽取,包括条件事件、因果事件、顺承事件、反转事件等事件抽取,并形成事理图谱。 项目地址:https://github.com/liuhuanyong/ComplexEventExtraction 关于…

对话系统的简单综述及应用智能客服

https://zhuanlan.zhihu.com/p/52899436 对话系统的简单综述及应用智能客服“天猫精灵,放歌”,”送你一首好听的歌《XXX》“,《XXX》音乐响起...相信有天猫精灵的用户对此场景都不陌生,或者语音操作其他智能音箱设备,比…

硬核推导Google AdaFactor:一个省显存的宝藏优化器

一只小狐狸带你解锁炼丹术&NLP秘籍作者:苏剑林(来自追一科技,人称“苏神”)前言自从GPT、BERT等预训练模型流行起来后,其中一个明显的趋势是模型越做越大,因为更大的模型配合更充分的预训练通常能更有效…

领域应用 | 用知识图谱玩唐诗,“唐诗别苑”附庸端午节的别样风雅!

本文转载自公众号:互联网教育国家工程实验室 。 端午节在每年的农历五月初五,又称端阳节、午日节、五月节等。端午节起源于中国,是古代百越一带崇拜龙图腾的部族举行图腾祭祀的节日。五月初五也是缅…

参加完阿里蚂蚁金服Java中间件6轮面试题!6点血泪总结~

蚂蚁金服一面:分布式架构 50分钟 1、个人介绍加项目介绍20分钟 2、微服务架构是什么,它的优缺点? 3、ACID CAP BASE理论 4、分布式一致性协议,二段、三段、TCC,优缺点 5、RPC过程 6、服务注册中心宕机了怎么办&am…

特定热点事件监控与分析项目

EventMonitor Event monitor based on online news corpus built by Baidu search enginee using event keyword for event storyline and analysis,基于给定事件关键词,采集事件资讯,对事件进行挖掘和分析。 项目地址:https://g…

深度好文:2018 年 NLP 应用和商业化调查报告

、 深度好文:2018 年 NLP 应用和商业化调查报告 Debra 阅读数:7650 2019 年 1 月 11 日近年来,自然语言处理技术已经取得了长足进步,成为应用范围最广泛,也是最为成熟的 AI 技术之一。但实际上,自然语言处理…

论文浅尝 | 通过多原型实体指称向量关联文本和实体

Cao Y,Huang L, Ji H, et al. Bridge Text and Knowledge by Learning Multi-Prototype Entity Mention Embedding[C]// Meeting of the Association for Computational Linguistics. 2017:1623-1633.导读:学术界近两年来十分关注如何将文本等非结构化数据和知识库等…

【面试必备】奉上最通俗易懂的XGBoost、LightGBM、BERT、XLNet原理解析

一只小狐狸带你解锁 炼丹术&NLP 秘籍在非深度学习的机器学习模型中,基于GBDT算法的XGBoost、LightGBM等有着非常优秀的性能,校招算法岗面试中“出镜率”非常高。这些经典的机器学习算法不仅是数据科学竞赛神器,在工业界中也被广泛地使用。…

2019手把手教你Java面试通关BAT

金三银四俗称跳槽黄金季,很多同学都想趁着这段时间拿高薪,去更牛逼的公司工作,认识更多大牛,提升自己的职场竞争力。 那怎样才能通过BAT面试官的考核?怎样成为一名Offer收割机? 之前讲过收割Offer有一个最…