同学你好！本文章于2021年末编写，获得广泛的好评！

故在2022年末对本系列进行填充与更新，欢迎大家订阅最新的专栏，获取基于Pytorch1.10版本的理论代码(2023版)实现，

Pytorch深度学习·理论篇(2023版)目录地址为：

CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录本专栏将通过系统的深度学习实例，从可解释性的角度对深度学习的原理进行讲解与分析，通过将深度学习知识与Pytorch的高效结合，帮助各位新入门的读者理解深度学习各个模板之间的关系，这些均是在Pytorch上实现的，可以有效的结合当前各位研究生的研究方向，设计人工智能的各个领域，是经过一年时间打磨的精品专栏！https://v9999.blog.csdn.net/article/details/127587345欢迎大家订阅(2023版)理论篇

以下为2021版原文~~~~

图神经网络（Graph Neural Network，GNN）是一类能够从图结构数据中学习特征规律的神经网络，是解决图结构数据（非欧氏空间数据）机器学习问题的最重要的技术。

1 图神经网络的基础知识

图神经网络（Graph Neural Network，GNN）是一类能够从图结构数据中学习特征规律的神经网络，是解决图结构数据（非欧氏空间数据）机器学习问题的最重要的技术之一。
前面章节中主要介绍了神经网络的相关知识。接下来，让我们了解一下图神经网络相关的基础知识。

1.1 欧氏空间与非欧氏空间

欧氏空间/欧几里得空间：能用一维、二维或更高维的矩阵表示，其最显著的特征就是有规则的空间结构。这是一个特别的度量空间。例如，音频、图像和视频等都是定义在欧氏空间下的欧几里得结构化数据。
非欧氏空间：并不是平坦的规则空间，是曲面空间，即规则矩阵空间以外的结构。非欧氏空间下最有代表的结构就是图（graph）结构，它常用来表示社交网络等关系数据。

1.2 图

在计算机科学中，图是由顶点（也称节点）和顶点之间的边组成的一种数据结构。它通常表示为G(V，E)的形式，其中G表示一个图，V是图G中顶点的集合，E是图G中边的集合。

图结构研究的是数据元素之间的多对多关系，即任意两个元素之间都可能存在关系，即顶点之间的关系可以是任意的，图中任意元素之间都可能相关。

在图结构中，不允许没有顶点。任意两个顶点之间都有可能有关系，顶点之间的逻辑关系用边来表示。边可以是有向的或无向的，边集合可以是空的。

图结构中的每个顶点都有自己的特征信息，顶点间的关系可以反映出图结构的特征信息。在实际的应用中，可以根据图顶点特征或图结构特征进行分类。

1.3 图相关的术语

无向图和有向图：根据图顶点之间的边是否带有方向来确定。
权：图中的边或弧上附加的数量信息，这种可反映边或弧的某种特征的数据称为权。
网：图上的边或弧带权则称为网，可分为有向网和无向网。
度：在无向图中，与顶点v关联的边的条数称为顶点v的度。在有向图中，则以顶点v为弧尾的弧的数量称为顶点v的出度，以顶点v为弧头的弧的数量称为顶点v的入度，而顶点ν的度即其出度与入度之和。

1.4 图计算中的度量单位

顶点数（node)；节点的数量。
边数（edge）：边或连接的数量。
平均度（average degree）：表示每个顶点连接边的平均数，如果图是无向图，那么平均度的计算为2×edge÷nodes
平均路径长度（average netwok distarce)：任意两个顶点之间距离的平均值。它反映网络中各个顶点间的分离程度。值越小代表网络中顶点的连接度越大。
模块化指数(modulanty index)：衡量网络图结构的模块化程度。一般地，该值大于0.44就说明网络图达到了一定的模块化程度。
聚类系数（clustering coefficient)：和平均路径长度一起能够展示网络节点的平均路径小的情况，从而给出一些节点聚类或“抱团”的总体迹象。
网络直径（diameter）：网络图直径的最大测量长度，即任意两点间的最短距离构成的集合之中的最大值。

1.5 结构化数据与非结构化数据

1.5.1 结构化数据

由二维表结构来进行逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。

1.5.2 非结构化数据

数据结构不规则或不完整、没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。它包括所有格式的办公文档、文本、图片HTML、各类报表、图像、音频或视频信息等。

1.6 GNN在不同类型数据上的应用

图神经网络（GNN）是一种直接在图结构上运行的神经网络，可以对图结构数据进行基于节点特征或结构特征的处理，通过顶点间的信息传递、变换和聚合来(层级化）提取或处理特征。GNN成为在图、点云和流形上进行表征学习的主流方法。

在结构化场景中，GNN被广泛应用在社交网络、推荐系统、物理系统、化学分子预测，指知识图谱。

在非结构化领域，GNN可以用在图像和文本等领域。

在其他领域，还有图生成模型和使用GNN来解决组合优化问题的场景。

1.7 GNN的起源

1.7.1 GCN

GNN的第一个动机源于卷积神经网络(CNN)，最基础的CNN便是图卷积网络(GraphConvolutional Network，GCN)。GNN的广泛应用带来了机器学习领域的突破并开启了深在规则的欧氏空间数据上运行，GCD是将卷积神经网络应用在各模型。

1.7.2 图嵌入

GNN的另一个动机来自图嵌入，它学习图中节点、边或子图的低维向量空间表示。DeepWalk、LINE、SDNE等方法在网络表示学习领域取得了很大的成功，然而这些方法在计算上较为复杂并且在大规模的图上并不是最优的。GNN却可以解决这些问题。

1.7.3 总结

GNN不但可以对单个顶点和整个结构进行特征处理，而且可以对图中电一小部分顶点所组成的子图）进行特征处理。如果把图数据当作一个网络，那么GNN可以分别对网络的整体、部分和个体进行特征处理。GNN将深度学习技术应用到由符号表示的图数据上，充分融合了符号表示和低维向量表示，并发挥出两者的优势。

2 矩阵基础

2.1 哈达马积

两个矩对应位置上的元素进行相乘的结果

2.2 点积

两矩阵的行列乘法的结果

2.3 度矩阵与邻接矩阵

图的度矩阵：描述图中每个节点所连接的边数。

图的邻接矩阵：描述图中每个节点之间的相邻关系。

度矩阵D:

邻接矩阵A：

2.4 邻接矩阵的几种操作

邻接矩阵的行数和列数一定是相等的(即为方形矩阵)。无向图的邻接矩阵一定是对称的，而有向图的邻接矩阵不一定对称。一般地，通过矩阵运算对图中的节点信息进行处理。

2.4.1 获取有向图的短边

2.4.2 获取有向图的长边

2.4.3 将有向图的邻接矩阵转化成无向图的邻接矩阵

3 图卷积神经网络

在下图中可以看到，图卷积神经网络的输入是一个图，经过一层层的计算变换后输出的还是一个图。

如果从卷积的角度来理解，那么可以将处理后的邻接矩阵当作一个卷积核，用这个卷积核在每一个隐藏层的特征结果上进行全尺度卷积。由于该卷积核的内容是图中归一化后的边关系，因此用这种卷积核进行卷积处理可使隐藏层的特征按照节点间的远近关系信息进行转化，对隐藏层的特征进行了去噪处理。去噪后的特征含有同类样本间的更多信息，从而使神经网络在没有大量样本的训练条件下，也可以训练出性能很好的模型。

图神经网络的实质是：对节点间的图结构关系进行计算，并将计算结果作用在每个节点的属性特征的拟合当中。