论文浅尝 | 从 6 篇顶会论文看「知识图谱」领域最新研究进展 | 解读 代码

本文内容源自往期「论文浅尝」,由 PaperWeekly 精选并重新排版整理,感谢 PaperWeekly。


ISWC 2018

640?wxfrom=5&wx_lazy=1


■ 链接 | http://www.paperweekly.site/papers/1912

■ 源码 | https://github.com/quyingqi/kbqa-ar-smcnn

■ 解读 | 吴桐桐,东南大学博士生,研究方向为自然语言问答

概述

随着近年来知识库的快速发展,基于知识库的问答系统(KBQA )吸引了业界的广泛关注。该类问答系统秉承先编码再比较的设计思路,即先将问题和知识库中的三元组联合编码至统一的向量空间,然后在该向量空间内做问题和候选答案间的相似度计算。该类方法简单有效,可操作性比较强,然而忽视了很多自然语言词面的原始信息。

因此,本文提出了一种 Attentive RNN with Similarity Matrix based CNN(AR-SMCNN)模型,利用 RNN 和 CNN 自身的结构特点分层提取有用信息。

文中使用 RNN 的序列建模本质来捕获语义级关联,并使用注意机制同时跟踪实体和关系。同时,文中使用基于 CNN 的相似矩阵和双向池化操作建模数据间空间相关性的强度来计算词语字面的匹配程度。

此外,文中设计了一种新的实体检测启发式扩展方法,大大降低了噪声的影响。文中的方法在准确性和效率上都超越了 SimpleQuestion 基准测试的当前最好水平。

模型

640?

模型如上图所示,假设单关系问题可以通过用单一主题和关系论证来查询知识库来回答。因此,只需要元组(s,r)来匹配问题。只要s和r的预测都是正确的,就可以直接得到答案(这显然对应于o)。

根据上述假设,问题可以通过以下两个步骤来解决: 

1. 确定问题涉及的 Freebase 中的候选实体。给定一个问题 Q,我们需要找出实体提及(mention)X,那么名称或别名与实体提及相同的所有实体将组成实体候选 E。现在 E 中的所有实体都具有相同的实体名称,因此我们暂时无法区分他们。具体地,模型中将命名实体识别转换成了基于 Bi-LSTM 完成的序列标注任务。 

2. 所有与 E 中的实体相关的关系都被视为候选关系,命名为 R。我们将问题转换为模式 P,它是通过用 <e> 替换问题中的提及而创建的。为了找出与问题真正相关的关系,我们将 P 与 R 中的每个关系进行比较并对它们进行评分,然后将得分最高的关系作为最终结果。

为了更好地进行关系匹配,模型从单词字面表达和语义两个层面对自然语言进行了建模。具体操作如下图所示:

640?

图中所示的 AR-SMCNN 模型,输入是经替换 mention 后的问题模版(pattern)P 和候选关系 rk

模型左边的部分是结合了 attention 机制的 BiGRU,用于从语义层面进行建模。右边的部分是 CNN 上的相似性矩阵,用于从字面角度进行建模。最终将特征

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/480697.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

互联网(IT)大厂面试技巧(面经)

目录 前言 面试的正确姿势 实战 最后的总结 前言 虽然资历尚浅&#xff0c;但是也面过不少试&#xff0c;有Google、微软等外企大佬&#xff0c;也有BAT等国内巨头&#xff0c;工作的这几年也有幸当过几次面试官&#xff0c;小鹿这里呢就结合自己的亲身经历&#xff0c;聊…

「优知学院」淘宝技术架构的前世今生(上)

“ 淘宝技术架构经历从最初的LAMP架构&#xff0c;到IOE架构&#xff0c;再到分布式架构&#xff0c;再到去IOE&#xff0c;最后到现在的云计算平台架构这一变化过程在不断解决上面的技术问题&#xff0c;可以说淘宝技术架构的演变就是活生生的一本架构教科书。 这次为大家带…

十大双跨平台整体发展情况盘点

在2019年国家级双跨平台发布一年之际和新一轮遴选开场之前&#xff0c;相关媒体“从战略演进、平台发展、资源汇聚及行业应用四个维度九个细分指标”&#xff0c;对十大双跨平台整体发展情况通过“一张图”的形式做了一次盘点&#xff08;图略&#xff09;。 我们通过对图中指…

机器学习中的范数规则化之(一)L0、L1与L2范数

机器学习中的范数规则化之&#xff08;一&#xff09;L0、L1与L2范数 zouxy09qq.com http://blog.csdn.net/zouxy09今天我们聊聊机器学习中出现的非常频繁的问题&#xff1a;过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问…

模型训练慢和显存不够怎么办?GPU加速混合精度训练

目录 混合精度训练 理论原理 三大深度学习框架的打开方式 Pytorch Tensorflow PaddlePaddle 混合精度训练 一切还要从2018年ICLR的一篇论文说起。。。 《MIXED PRECISION TRAINING》 这篇论文是百度&Nvidia研究院一起发表的&#xff0c;结合N卡底层计算优化&#x…

陈睿:架构设计之数据库拆分六大原则

架构设计之数据库拆分原则 数据拆分前其实是要首先做准备工作的&#xff0c;然后才是开始数据拆分&#xff0c;我先讲拆分前需要做的事情&#xff1a; 第一步&#xff1a;采用分布式缓存redis、memcached等降低对数据库的读操作。 第二步&#xff1a;如果缓存使用过后&#xf…

模式识别之特征提取算法

说明&#xff1a;此处暂时简单介绍下各种特征提取算法&#xff0c;后续完善。 前言&#xff1a;模式识别中进行匹配识别或者分类器分类识别时&#xff0c;判断的依据就是图像特征。用提取的特征表示整幅图像内容&#xff0c;根据特征匹配或者分类图像目标。常见的特征提取算法…

ACL2020 | 对话数据集Mutual:论对话逻辑,BERT还差的很远

一只小狐狸带你解锁 炼丹术&NLP 秘籍本文为MuTual论文作者的特别约稿编辑&#xff1a;rumor酱、夕小瑶前言自然语言处理是人工智能领域的掌上明珠&#xff0c;而人机对话则是自然语言处理领域的最终极一环。以BERT为代表的预训练模型为自然语言处理领域带来了新的春天&…

大型网站系统的特点和架构设计

分布式架构 阿里P8架构师谈&#xff1a;淘宝技术架构从1.0到4.0的架构变迁 优知学院」淘宝技术架构的前世今生&#xff08;上&#xff09; 优知学院」淘宝架构的前世今生&#xff08;下&#xff09; 揭秘&#xff1a;一位亲历者眼中的淘宝技术架构发展之路 淘宝发展历程最具…

IDC 和浪潮联合发布了《2020-2021 中国人工智能计算力发展评估报告 》

近日&#xff0c;IDC 和浪潮联合发布了《2020-2021 中国人工智能计算力发展评估报告 》&#xff08;以下简称《报告》&#xff09;。《报告》指出&#xff0c;中国 AI 基础设施市场规模在 2020 年达到了 39.3 亿美元&#xff0c;到 2024 年预计达到 172. 2 亿美元。 《报告中》…

Linux系统中Oracle数据库使用SELECT语句检索数据(1)实例应用

Linux系统中Oracle数据库使用SELECT语句检索数据(1)实例应用 1&#xff0c;首先切换到Oracle用户&#xff0c;并进入数据库#sql / as sysdba2&#xff0c;启动数据库&#xff0c;并连接样例及表格&#xff0c;启动命令#startup&#xff0c;连接样例#conn scott/tiger3&#xff…

知乎搜索框背后的Query理解和语义召回技术

一只小狐狸带你解锁 炼丹术&NLP 秘籍前言随着用户规模和产品的发展&#xff0c; 知乎搜索面临着越来越大的 query 长尾化挑战&#xff0c;query 理解是提升搜索召回质量的关键。本次分享将介绍知乎搜索在 query term weighting&#xff0c;同义词扩展&#xff0c;query 改写…

阿里P8架构师谈:分布式架构设计12精讲

分布式架构设计包含&#xff1a; 分布式缓存 分布式消息中间件 分库分表、读写分离 单点登录等 想成为阿里160万年薪的P8架构师&#xff1f;你必须掌握如下6大技能体系&#xff01; 阿里P8架构师谈&#xff1a;分布式架构系统拆分原则、需求、微服务拆分步骤 阿里P8架构师谈…

【干货】推荐系统中的机器学习算法与评估实战

【导读】推荐系统是机器学习技术在企业中最成功和最广泛的应用之一。本文作者结合MLMU演讲【1】的Slides&#xff0c;对推荐系统的算法、评估和冷启动解决方案做了详细的介绍。 作者 | Pavel Kordk 编译 | 专知 翻译 | XiaowenMachine Learning for Recommender systems — P…

Google | 突破瓶颈,打造更强大的Transformer

一只小狐狸带你解锁炼丹术&NLP秘籍作者&#xff1a;苏剑林 (来自追一科技&#xff0c;人称“苏神”)前言《Attention is All You Need》一文发布后&#xff0c;基于Multi-Head Attention的Transformer模型开始流行起来&#xff0c;而去年发布的BERT模型更是将Transformer模…

阿里P8架构师谈:高并发网站的监控系统选型、比较、核心监控指标

在高并发分布式环境下&#xff0c;对于访问量大的业务、接口等&#xff0c;需要及时的监控网站的健康程度&#xff0c;防止网站出现访问缓慢&#xff0c;甚至在特殊情况出现应用服务器雪崩等场景&#xff0c;在高并发场景下网站无法正常访问的情况&#xff0c;这些就会涉及到分…

斯坦福CS224n追剧计划【大结局】:NLP和深度学习的未来

一只小狐狸带你解锁炼丹术&NLP秘籍简介Stanford CS224n追剧计划是由夕小瑶的卖萌屋发起的开源开放NLP入门项目&#xff0c;借助github和微信群为大家提供同期小伙伴打卡讨论、内容沉淀、作业笔记和FAQ共享、连线斯坦福等服务。关于该计划的详请见这里 。1. Github项目地址h…

KubeVela 高可扩展的云原生应用平台与核心引擎

https://www.oschina.net/news/121015/kubevela-open-source 目录什么是 KubeVela &#xff1f;KubeVela 解决了什么问题&#xff1f;1. 应用开发者眼中的 KubeVela一个 Appfile 示例2. 平台工程师眼中的 KubeVela3. KubeVela vs 经典 PaaS快速入门安装KubeVela1. 安装Kubernet…

打造工业级推荐系统(三):推荐系统的工程实现与架构优化

打造工业级推荐系统&#xff08;三&#xff09;&#xff1a;推荐系统的工程实现与架构优化 gongyouliu 阅读数&#xff1a;4148 2019 年 4 月 26 日导读&#xff1a;个性化推荐系统&#xff0c;简单来说就是根据每个人的偏好推荐他喜欢的物品。互联网发展到现在&#xff0c;推荐…

阿里P8架构师谈:什么是缓存雪崩?服务器雪崩的场景与解决方案

什么是应用服务雪崩 雪崩问题 分布式系统都存在这样一个问题&#xff0c;由于网络的不稳定性&#xff0c;决定了任何一个服务的可用性都不是 100% 的。当网络不稳定的时候&#xff0c;作为服务的提供者&#xff0c;自身可能会被拖死&#xff0c;导致服务调用者阻塞&#xff0c…