“知识图谱+”系列:知识图谱+图神经网络

最近有很多朋友联系泽宇说想了解一些知识图谱和图神经网络(GNN)结合的研究。那泽宇当然要满足朋友们的要求啊,本期泽宇从知识图谱的几个不同研究方向总结了结合GNN的经典研究,也和大家一起分享。所有内容是泽宇查阅了很多顶会论文,对每一类挑选出一篇具有代表性的论文进行解读,如有理解有误的地方还请批评指教。

本期是“知识图谱+”系列的第一期“知识图谱+图神经网络”,之后会陆续分享知识图谱+各类方向的技术介绍,敬请关注。

为了方便大家一起交流讨论知识图谱技术,知识图谱学术交流群已经成立了,感兴趣想要入群的朋友们可以联系泽宇拉大家入群。

预备知识:

图神经网络:个人认为,图神经网络最直观的理解就是对于一个图结构的输入数据,由于每个节点和其邻域中的节点都具有紧密的关联,因此用图神经网络可以将每个节点的领域信息聚合起来更新当前节点的表示。但是知识图谱和传统的图网络结构最大的不同在于,知识图谱是一个多关系图数据结构,每对节点之间连接的边的类型可能是不一样的,因此,针对知识图谱需要设计更特殊的图神经网络来建模知识图谱。

知识图谱嵌入:知识图谱嵌入是将知识图谱中的实体和关系转换为数值化的表示,可以看成一个基础任务,学习出的嵌入表示可以用于各种和知识图谱相关的任务,本期介绍的和GNN结合的研究很多都需要用到知识图谱嵌入技术,因此,希望入门了解知识图谱嵌入的朋友可以看之前专门对知识图谱嵌入的总结文章:

年末巨制:知识图谱嵌入方法研究总结

1 知识图谱表示学习

Modeling Relational Data with Graph Convolutional Networks. ESWC 2018.

Michael Schlichtkrull, Thomas N. Kipf(GCN的作者), Peter Bloem, Rianne van den Berg, Ivan Titov, Max Welling.

核心贡献:这篇论文是图卷积神经网络(GCN)的发明者参与的一项研究,最大的贡献在于开创性地将GCN用于建模知识图谱这类多关系图网络,而以前的所有图神经网络的模型都只能建模只具有单一关系的图网络。

为了对多关系图网络进行建模,论文提出了多关系GCN,在学习每个实体的表示时,针对当前实体关联的每个关系分别用GCN执行聚合操作,具体过程如下图所示:

核心公式为:

由上式可以发现,每一层RGCN网络针对每一个关系具有一组参数,这也是RGCN能够建模多关系的关键所在,参数Wr类似于是关系的表示。

执行图卷积操作只是为了学习实体的表示,要想实现更多功能还需要额外的模块,本文给出了两个具体的知识图谱中的任务:实体分类链接预测

实体分类:

实体分类任务比较简单,只需要用RGCN学习得到的实体表示接一个分类器模型就可以了,训练的时候采用交叉熵loss函数。

链接预测:

链接预测任务需要利用RGCN学习出的实体表示,再结合知识图谱表示学习的方法共同学习实体和关系的嵌入表示,并通过打分函数评估一个三元组成立的可能性,论文中采用的是DistMult模型,实际可以采用任何知识图谱表示学习模型。整个链接预测的模型结构是一个encoder-decoder框架,RGCN是encoder,知识图谱表示学习模块是一个decoder。

2 实体对齐

Cross-lingual Knowledge Graph Alignment via Graph Convolutional Networks. EMNLP 2018. 

Authors: Zhichun Wang, Qingsong Lv, Xiaohan Lan, Yu Zhang. 

核心贡献:这篇论文最大的特点是用基于GCN的知识图谱嵌入模型学习了实体表示并用于跨语言的知识图谱对齐(实体对齐)任务,取得不错的实体对齐效果。并且,模型有效地结合了(实体,关系,实体)和(实体,属性,属性值)这两类三元组,以改善实体对齐的效果。利用GCN 进行实体对齐的示意图如下图所示:

先用GCN学习到两个知识图谱中的实体嵌入表示,再根据实体嵌入表示计算两个知识图谱中实体的相似度,完成实体对齐。

本文之所以采用GCN是因为作者发现:

  • 等价的实体具有更相似的属性
  • 等价的实体具有的邻域信息比较接近。

根据上面发现的两个特点,为了同时利用实体的结构(领域)和属性信息,本文方法为 GCN 网络层中的每个实体分配了两个特征向量,也就是结构特征向量和属性特征向量。由于两个知识图谱中实体和属性数量不同,所以需要采用两个GCN来分别学习实体嵌入表示,这两个GCN网络的结构如下表所示:

从上表可以看到,两个GCN在某些层共享权值矩阵,节省了模型参数,并且,对于属性特征,通过GCN将两个知识图谱中的每个实体都映射到相同维度的空间中。整个模型采用TransE的Hinge Loss进行训练。

3 小样本知识图谱补全

One-Shot Relational Learning for Knowledge Graphs. EMNLP2018.

Wenhan Xiong , Mo Yu , Shiyu Chang , Xiaoxiao Guo , William Yang Wang

这篇论文是第一次提出小样本知识图谱补全任务的研究,由于知识图谱中存在大量小样本的关系,这类关系只能够关联极少数的三元组,因此,论文结合GCN和度量学习实现了对于小样本关系的尾实体预测。

核心贡献:知识图谱补全方向第一篇小样本关系学习(本文特指one-shot,之后出现few-shot的研究)的工作。通过衡量参考三元组查询三元组中实体对的匹配程度,来判断查询三元组是否成立。小样本知识图谱补全简而言之就是先让你知道一个关系对应的几个三元组(one-shot就只有一个三元组),然后问你(头实体,关系,?)尾实体是什么。详细的小样本知识图谱补全的任务介绍可以查阅论文。

小样本学习的问题其实在图像等领域已经有了很多研究,对于这类问题比较有效的方法是度量学习(Metric Learning)和基于优化的元学习(Meta Learning),这篇论文就是采用了度量学习的方案。

这篇论文最有意思的地方在于,考虑到一个关系对应的三元组数量很少,那就用关系对应的实体来表示这个关系,而这里实体假设不存在小样本的问题,也就是实体具有很多的邻域信息,那么,就可以借助实体的邻域信息学习到好的实体表示,进而用来表示小样本关系。基于这个思路,自然而然就想到了采用GCN来编码实体的邻域信息

得到实体表示后,基于图像中用到的深度匹配的方法,计算参考三元组中实体表示和查询三元组中的实体表示的相似度,如果相似程度高说明查询三元组成立,其中的尾实体为正确预测出的尾实体。

4 节点重要性估计

Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks. KDD 2019.

Authors: Namyong Park, Andrey Kan, Xin Luna Dong, Tong Zhao, Christos Faloutsos.

这篇论文研究的是估计知识图谱中的节点重要性,可以应用于其它下游任务例如推荐系统等。

核心贡献:这篇论文设计的GENI模型是一种基于GNN的方法,特点是GCN是用来聚合节点重要性得分,而不是像其它的用于知识图谱的GCN那样通过谓词感知的注意力机制来聚合节点嵌入表示。

GNN通常通过节点嵌入在邻居之间传播信息,这是基于一个实体及其邻居相互影响的假设进行建模,因此就其邻居的表示而言,可以更好地表示一个实体的表示。但是,在节点重要性估计的任务中,相邻重要性分数对节点的重要性起主要作用,而其他邻居特征可能影响不大。整个模型的结构图如下图所示,其中红框中为用GNN的打分聚合。GNN的输入为scoring network生成的节点重要性打分,本文的scoring network实验中采用的是简单的多层全连接网络。

5 关系预测

Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs. ACL 2019.

Authors: Deepak Nathani, Jatin Chauhan, Charu Sharma, Manohar Kaul.

这篇论文是研究知识图谱中的关系预测任务,主要方法是在之前介绍的RGCN的基础上,结合了attention机制设计的图注意力网络。

核心贡献:针对知识图谱的多关系图数据结构,设计了融合实体和关系表示的图注意力网络(GAT),同时采用多头注意力机制,在学习一个节点的表示时有效聚合了邻域信息并考虑了不同邻居对表示节点的重要程度,达到了良好的编码知识图谱的效果。本文设计的图注意力机制的核心注意力模块如下图所示:

通过线性映射矩阵W1将头实体hi,尾实体hj和关系gk的嵌入表示融合起来:

再经过非线性激活函数:

接着,就可以计算一个节点和其邻域中每个节点之间的注意力权重

再采用多头注意力机制和GCN更新节点的嵌入表示:

6 关系抽取

Graph Convolution over Pruned Dependency Trees Improves Relation Extraction. EMNLP 2018.

Authors: Yuhao Zhang, Peng Qi, Christopher D. Manning.

这篇论文是利用GCN实现关系抽取的高被引经典研究,提出了针对关系抽取量身定制的一种新型图卷积网络。模型使用有效的图卷积运算对输入句子的依存关系结构进行编码,然后抽取以实体为中心的表示,以进行可靠的关系预测。

核心贡献:利用 GCN 编码依存结构的句子并实现关系抽取,并设计了一个以路径为中心的剪枝策略移除依存树中与关系抽取无关的路径。

还是一样,我们主要看看这篇论文中是如何利用GCN的。这里特别的是,GCN不是编码某个已经建立好的图数据,而是需要对整个句子进行编码,更准确的说,GCN应该是对句子的依存结构进行编码

这里特殊之在于,Aij表示当前第i个词是否与第j个词存在依存关系,如果存在值是1,类似于图结构中的邻接矩阵。

为了解决GCN无法建模长距离依赖关系的问题,在改进方法中,论文提出了基于上下文的GCN模型,在前面介绍的GCN网络前接一个Bi-LSTM,将编码了上下文信息的词表示输入GCN中,大大提高了整个模型的效果。

之后,将GCN输出的句子表示和头尾实体表示拼接输入分类器中,完成关系抽取任务。

7 知识图谱推荐

KGAT: Knowledge Graph Attention Network for Recommendation. KDD 2019.

Authors: Xiang Wang, Xiangnan He, Yixin Cao, Meng Liu, Tat-Seng Chua.

这篇论文是非常经典的结合图注意力网络来实现知识图谱推荐的研究,为了实现推荐,作者将用户、项目和实体融合起来构建了一个协同知识图谱,并在这个协作知识图谱上使用知识图谱注意力网络学习节点表示。

核心贡献:建模协同知识图谱中显式的高阶关系可以通过项目侧信息提供更好的推荐。论文中提出的KGAT方法在图神经网络框架下以显式且端到端的方式实现了高阶关系建模。整个模型结构如下图所示:

实体和关系的嵌入表示首先通过知识图谱嵌入模型TransR训练得到:

接着,利用TransR的投影机制将实体表示投影到关系空间中,并通过内积的形式计算一个三元组的打分:

有了上式的三元组打分就可以计算注意力权重了:

进一步,利用图注意力机制和实体的邻域信息学习每个实体的邻域表示:

基于上面得到的实体邻域表示,就可以按照GCN的套路更新实体表示了:

接着,按照推荐系统的任务要求,用上面介绍的图注意力网络在整个协同知识图谱中学习用户和项目的表示,并计算内积得到用户和项目的匹配程度:

8 事件抽取

Jointly Multiple Events Extraction via Attention-based Graph Information Aggregation. EMNLP 2018.

Authors: Xiao Liu, Zhunchen Luo, Heyan Huang.

这篇论文是利用GCN做多事件抽取的研究,提出了一种新颖的联合多个事件抽取(JMEE)框架,通过引入句法捷径弧和图卷积网络加自注意力机制来建模图结构信息。

核心贡献:论文提出了一种基于句法结构的新型联合事件抽取框架JMEE,核心模块是利用自注意力机制来聚集图结构信息,保持了多个事件之间的关联,并有效地应用在事件抽取中。

本文的事件抽取模型需要对一句话中的所有token经过词嵌入层和Bi-LSTM层,之后将得到的无向图转换为带有自环的有向图结构,并利用GCN计算每个节点的表示

其中,GCN的第一层网络输入也就是每个节点的初始表示是在GCN之前计算得到的词向量表示。

接着,将用GCN学习到的每个token的表示输入带有自注意力机制的事件触发分类器和事件参数分类器中完成事件抽取任务。

9 知识图谱概率逻辑推理

Efficient Probabilistic Logic Reasoning with Graph Neural Networks. ICLR 2020.

Authors: Yuyu Zhang, Xinshi Chen, Yuan Yang, Arun Ramamurthy, Bo Li, Yuan Qi, Le Song.

马尔可夫逻辑网由于融合了逻辑规则和概率图模型,能够实现知识图谱上的概率逻辑推理,本文借助GNN提高了概率推理的效率和性能。

核心贡献:本文设计的模型中最核心的模块就是ExpressGNN,ExpressGNN可以看成是对实体的两级编码:紧凑的GNN将相似的嵌入分配给知识图谱中的相似实体,而可表达的可调嵌入提供了额外的模型能力,可以对图结构以外的实体特定信息进行编码。ExpressGNN的伪码如下所示:

论文中介绍了ExpressGNN具有的一些优良特性:

  • 高效:ExpressGNN直接作用在知识图谱上,而不是在庞大的马尔可夫逻辑网上工作,使其比现有的MLN推理方法更有效。
  • 紧凑性:具有共享参数的紧凑型GNN模型可以非常有效地提高内存效率,从而使ExpressGNN可以处理大规模的问题。
  • 丰富的表现力:GNN模块可以捕捉知识图谱中编码的结构知识。同时,可调嵌入模块可以对特定于实体的信息进行编码,从而弥补了GNN在区分非同构节点方面的不足。
  • 泛化性:通过GNN嵌入,ExpressGNN可以对新实体通用,也就是对于零样本的问题也可以很好的解决。

10 借助知识图谱的动作识别

I Know the Relationships: Zero-Shot Action Recognition via Two-Stream Graph Convolutional Networks and Knowledge Graphs. AAAI 2019.

Author: Junyu Gao, Tianzhu Zhang, Changsheng Xu.

这篇论文主要研究的是零样本动作识别任务,作者发现除了视觉特征外,外部知识用来建模对象之间的显式关系也同样重要。

核心贡献:提出了一种新颖的两分支的 GCN 框架,该框架可以有效地利用知识图谱来对动作-属性,动作-行为和属性-属性之间的关系进行建模。为了从动作和属性中分别实现知识蒸馏,利用GCN设计了分类器分支和实例分支,以端到端的方式实现动作分类。整个模型的结构图如下图所示:

分类器分支:旨在为不同的动作类别生成分类器,该分类器将一组概念及其对应的词嵌入向量作为输入。

实例分支:旨在利用从视频取得的打分来生成视频实例的属性特征。

本文采用GCN最大的优势在于,两个分支通过用GCN编码知识图谱共同对知识空间中的行为-属性,行为-行为和属性属性之间的关系进行建模。学习的分类器(分类器分支)可以以端到端的方式有效地评估每个视频的生成的属性特征(实例分支)。

好了,以上就是本期所有对于知识图谱+图神经网络的学习分享了。所有内容都是泽宇经过调研和学习理解总结的,之后还会陆续分享知识图谱+各类方向的技术介绍,如果大家有对某个方向感兴趣的可以联系泽宇,敬请关注啊。

往期精选:

知识图谱和专家系统、知识工程、数据库等概念的比较

年末巨制:知识图谱嵌入方法研究总结

介绍一些知识图谱的实际应用类项目

知识图谱最新权威综述论文解读:知识表示学习部分

手把手教你搭建一个中式菜谱知识图谱可视化系统

如果对文章感兴趣欢迎关注知乎专栏“人工智能遇上知识图谱“,也可以扫描下方二维码关注同名微信公众号人工智能遇上知识图谱”,让我们一起学习并交流讨论人工智能与知识图谱技术。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/482139.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

周志华:“数据、算法、算力” 人工智能三要素,在未来要加上“知识”!

来源:AI科技评论作者:李雨晨 编辑:丛末在CCF-GAIR 2020 的人工智能前沿专场上,南京大学计算机系主任、人工智能学院院长、CCF会士、ACM、AAAI、IEEE、IAPR Fellow周志华教授以“反绎学习”为题发表了大会报告。周志华表示&#x…

“知识图谱+”系列:知识图谱+强化学习

泽宇个人一直认为强化学习是建模动态系统最好的方法之一,通过与环境的不断交互,在动作选择和状态更新的动态过程中逐渐达到优化目标。因此,本期泽宇将从知识图谱结合强化学习的角度介绍几个不同的研究方向的内容,包括知识图谱推理…

吴恩达 | 未来十年,人工智能将向以数据为中心转变

来源:IEEE Spectrum访者:吴恩达 计算机科学家吴恩达在人工智能领域可谓声名显赫。2000 年底,他与斯坦福大学的学生一起开创了使用图形处理单元(GPU)训练深度学习模型的先河,并在 2011 年共同创立了谷歌大脑…

给几句话就能生成分子,看见分子也能生成描述,神秘的Google X把多模态AI做成了黑科技...

来源:机器学习研究组订阅AIscience 领域近来有了诸多进展。设想一下,医生写几句话来描述一种专门用于治疗患者的药物,AI 就能自动生成所需药物的确切结构。这听起来像是科幻小说,但随着自然语言和分子生物学交叉领域的进展&#x…

MIT新发现:细胞在分裂前会把垃圾带走

来源:生物通 细胞可以利用这种策略清除有毒的副产品,给后代一个干净的环境。麻省理工学院(MIT)的研究人员发现,在细胞开始分裂之前,它们会进行一些清理,将似乎不再需要的分子排出体外。利用他们开发的一种测量细胞干质…

图灵测试其实已经过时了

来源:立委NLP频道图灵测试的实质就是要让人机交互在限定时间内做到真假莫辨。玩过GPT3的同学们都清楚,其实这一点已经做到了。从这个角度看,图灵测试已经过时了。区别人和机器,需要寻找其他的标准。今天就唠一唠正在风口上的预训练…

揭示世界本质的「机器科学家」,比深度神经网络还强?

来源:AI科技评论作者:Charlie Wood编译:王玥、刘冰一编辑:陈彩娴我们正处于“GoPro 物理学”的风口浪尖。无论摄像机聚焦于什么事件,算法都可以识别其中潜在的物理方程。2017 年,西北大学化学与生物工程系的…

AI 与合成生物学「联姻」的五大挑战:技术、数据、算法、评估与社会学

来源:ACM通讯编译:王玥编辑:陈彩娴在过去的二十年里,生物学发生了翻天覆地的变化,建立在生物系统上的工程成为了可能。赋予了我们细胞遗传密码(DNA)排序能力的基因组革命是这一巨大变化的主要推…

物理学家:时间旅行有可能实现,但前提是……

来源:机器之心作者:Barak Shoshany原文链接:https://phys.org/news/2022-04-parallel-timelines.html时间旅行是科幻电影、小说中经久不衰的话题,然而直到现在,我们依然无法确定这种幻想是否可行。在这篇文章中&#x…

二叉树----数据结构:二叉树的三种遍历及习题

二叉树----数据结构:二叉树的三种遍历,利用递归算法。 关于二叉树的遍历,应用非常广泛,不单单是访问打印结点,还可以进行一系列的操作,如赋值、删除、查找、求二叉树的深度等等。 有递归和非递归两种算法,非递归用到了…

谷歌硬件主管:AR眼镜还在开发,环境计算是未来目标

来源:网易智能5月13日消息,谷歌硬件主管里克奥斯特洛 (Rick Osterloh)日前在接受采访时表示,“环境计算”是谷歌未来的目标和愿景。奥斯特洛周三在接受采访时表示:“计算应该能够无缝帮助你解决任何问题,而且就在你身边…

大脑衰老可逆转,只需注入年轻脑脊液,「返老还童」登Nature

来源:FUTURE远见 选编:闵青云 「老喽,记不住喽。」随着年龄的不断增长,不少人都会发出这样的感叹——记忆力逐渐下降。那么是否存在一种方法,可以让这种自然现象「逆天改命」呢?Nature说:有的。…

人工智能在苍蝇眼的帮助下监测无人机:新的仿生算法从噪声中提取信号

来源:国际仿生工程学会2018年12月,由于有报道称附近有无人机飞行,数千名度假旅客被困在伦敦盖特威克机场。导致这个欧洲非常繁忙的机场关闭了两天,造成重大延误,并使航空公司损失了数百万美元。商业空域中未经授权的无…

树的知识点总结-数据结构

** 一:树的基本术语 1.定义 树是一种非线性结构,只有一个根结点,除根结点外每个孩子结点可以有多个后继,没有后继的结点叫叶子结点。 2.概念 根结点:没有前驱; 孩子:有前驱的结点;…

NLP预训练范式大一统,不再纠结下游任务类型,谷歌这个新框架刷新50个SOTA

来源:机器之心编辑:张倩、小舟在这篇论文中,来自谷歌的研究者提出了一种统一各种预训练范式的预训练策略,这种策略不受模型架构以及下游任务类型影响,在 50 项 NLP 任务中实现了 SOTA 结果。当前,NLP 研究人…

赫夫曼树编码的算法及应用习题--数据结构

赫夫曼树编码的算法及应用习题 1.构造赫夫曼树的方法 1.根据给定的n个权值{w1,w2,---wn},构成n棵二叉树的集合F{T1,T2...,Tn},其中每棵二叉树中只有一个带权为Wi的根结点,其左右子树为空。 2.在F中选取两棵根结点的权值最小的树作为左右子树&#xff…

吴咏时:未来基础学科发展的“铁三角”

来源: 节选自《物理》2022年第5期《圆桌论坛:对21世纪物理学的愿景展望》。2021年9月,在清华大学举行“庆祝杨振宁先生百年华诞思想研讨会”圆桌论坛环节上,美国犹他大学教授吴咏时对今后基础物理学做了一番展望。他指出了基础物理…

树的叶子结点与完全二叉树结点计算方法

一:完全二叉树中结点问题 分析: 设叶子节点个数为n0,度为1的节点个数为n1,度为2的节点个数为n2 侧有 n0n1n2n (1) 对于二叉树有: n0n21 (2) 由(1)(2) > n0(n1-n1)/2 (3) 由完全二叉树…

图的知识点总结-数据结构

一&#xff1a;图的基本概念和术语 1.图之间的关系可以是任意的&#xff0c;任意两个数据元素之间都可能相关。 2.顶点&#xff1a;数据元素。 3.边or弧&#xff1a;从一个顶点到另一个顶点的路径。<V, W>表示弧&#xff0c;&#xff08;V,W&#xff09;表示边&#x…

当物理学遇到机器学习:基于物理知识的机器学习综述

来源&#xff1a;集智俱乐部作者&#xff1a;潘佳栋 审校&#xff1a;梁金编辑&#xff1a;邓一雪摘要物理信息机器学习&#xff08;Physics-informed machine learning&#xff0c;PIML&#xff09;&#xff0c;指的是将物理学的先验知识&#xff08;历史上自然现象和人类行为…