来源：人工智能AI技术
本文，建议阅读
本文简要介绍了图计算、图数据库、知识图谱、图神经网络等图技术领域的相关历史和不同类型的图结构。
在科学研究中，从方法论上讲，我们应该先看森林，再看树。目前，人工智能学术研究正在蓬勃发展，技术发展迅速。可以说，每一棵树都在为荣耀而战，日新月异。AI就从业者而言，在广阔的知识森林中，系统梳理脉络，更好地把握趋势。
图神经网络产业和互联网时代的不断发展和进步，图神经网络已成为人工智能和大数据的重要研究领域。图神经网络是传播和聚合相邻节点间信息的重要技术，可以有效地将深度学习的概念应用于非欧几里德空间的数据。简要介绍了不同类型的图结构，如图计算、图数据库、知识图谱、图神经网络等。对不同的图神经网络技术进行分析比较，重点对不同的图卷积网络算法进行分类比较。阐述了图形生成与图形对抗网络、图形强化学习、图形迁移学习、神经任务图和图形零样本学习相结合的技术方法，列出了不同图形神经网络技术在文本、图像、知识地图、视频任务等领域的具体应用。最后，展望图神经网络未来的发展和研究方向。
图神经网络、图结构、图计算、深度学习、图神经网络应用
近年来，随着计算机行业的快速发展和数据量的井喷式增长，深度学习方法得到了广泛的应用。通过神经网络端到端的解决方案，深度学习在图像处理、语音识别、语义理解等领域取得了巨大的成功。深度学习的应用通常是分布在高维特征空间中的欧几里德数据。图是一种关系数据结构(Graph)近年来，深度学习中的应用研究越来越受到重视。本文将图片的演变过程分为三个阶段：数学起源、计算应用和神经网络延伸。
图的概念起源于18世纪著名的柯尼斯堡七桥问题。到20世纪中期，拟阵理论、超图理论、极图理论等研究蓬勃发展，使得图论(Graph Theory)在电子计算诞生前，就已经成为了重要的数学研究领域。
随着计算机的出现和机器计算时代的到来和发展，图形数据库作为一种重要的数据结构，可以有效抽象地表达信息和数据之间的关系，图形数据库有效地解决了传统的关系数据结构面对大量复杂数据暴露的建模缺陷，计算速度慢，图形数据库已成为一个非常受欢迎的研究领域。图结构(Graph-structured Data)]不同类型和结构的数据节点可以通过边缘的形式连接结构化数据点，因此广泛应用于数据存储、检索和计算应用。
基于图结构数据，知识地图[4-7}可以通过点与边的语义关系准确描述现实世界中实体之间的关系。知识地图的研究方向作为人工智能的一个非常重要的研究领域，包括知识提取、知识推理、知识地图可视化等。图计算(Graph Computing)图计算法}具有数据规模大、局部性低、计算性能高等特点s-}}主要可分为路径搜索算法、中心算法、社区发现算法三类，实现了复杂大规模关系数据的高及时性和准确性，在社交网络、群体反欺诈和用户推荐等领域具有重要应用。
与已经非常成熟的图计算不同，图神经网络( Graph Neural Network)研究主要集中在相邻节点信息的传播和聚合上。2013年提出的基于图论的图卷积神经网络研究方向，从图形神经网络的概念到深入学习中卷积神经网络的灵感，吸引了大量学者的关注。2018年DeepMind提出图网络(Graph NeW ork) flz}希望结合深度学习端到端学习方法与图结构关系的理论，解决深度学习无法处理关系推理的问题。针对图神经网络存在的问题，不同的学者也了不同的解决方案。随着对图神经网络新兴领域的深入研究和探索，人工智能领域的地图将得到更大的扩展。
文献[12]在关系归纳偏差和深度学习研究的基础上，提出了面向关系推理的图形网络概念并进行了总结，但没有对不同的图形网络技术进行分类和比较。文献[13]从半监督和无监督方法的角度总结了图形结构的深度学习，但缺乏类似的分类和应用讨论。文献[14]不同模型和应用主要从传播规则和网络结构的角度进行分析。文献[15]详细比较了时间和空间不同图形神经网络的方法结构，但没有讨论深度学习领域的图形神经网络，如图形加强学习、图形迁移学习等。本文对六种图神经网络方法的优缺点进行了分析和比较，首次讨论和研究了处理异构图数据的图神经网络技术，总结了五种图神经网络的研究领域，展望了未来的发展方向。
图神经网络处理的数据是在欧氏空间中表示不规则网络的图结构数据，其基本图结构为：
其中图G由数据节点集合 连接节点集合。
映射到高维特征空间：
所得到的邻接矩阵通过下图表示：
表示邻接矩阵Aij中的元素。
从图的构成上来进行区分，图结构主要可以分为空间和时间两个角度。空间上图结构的变化可以从节点和边来进行区分，如边异构的有向图、权重图和边信息图，以及节点异构图。时间上引入节点在时序变化中的差异从而形成了时空图结构。图1中对这五种典型的图结构示例进行了对比展示，表1中对不同图结构的结构特征、图模型和应用场景进行了总结和梳理。
1)有向图是指在图结构中，连接节点之间的边包含指向性关系，即节点之间的关联就包含了方向的传递性关系，对于图神经网络而言，这种传递关系和深度学习神经网络神经元中信号传递的结构近似，有向图的输入是各个节点所对应的参数。
针对单向图的处理方式，Niepert等人[16]提出了适用于有向图的无监督判断不同节点标签方式的理论。而就可能存在的双向关系，Kampffmeyer等人[17]在利用知识图谱解决零样本学习的方法中提出了通过双向权重对应的双向邻接矩阵表示双向关系，从而实现给神经网络传递更多的信息。
2)权重图是指图结构中的边包含权重信息，可以有效地描述节点之间相互作用的可靠程度，定量地表现关系的连接程度。对于权重图的处理，Duan等人[18]提出了通过对动态权重有向图进行归一化处理，利用节点之间的关联关系权重动态实现了信息挖掘的方法。
3)边信息图是对于存在不同结构边的图结构，节点之间的关联关系可以包含权重、方向以及异构的关系，比如在一个复杂的社交网络图中，节点之间的关联关系既可以是单向的关注关系，也可以是双向的朋友关系。
对于包含复杂边信息的图结构而言，复杂的关联关系不能直接通过简单的权重约束来表示，G2S[19]提出了一种将原始图转换成二分图的方式，在处理自然语言处理任务中，将每一个词节点之间的关联关系采用独立分开编码方式，从而大幅提升了语义理解的效率。
4)节点异构图是指在图中的节点属于多个不同的类型的图结构，这种图结构往往可以根据异构节点的类型，对节点进行向量表示，这里可以通过独热编码等编码方式来实现节点的向量表示。
MetaGraph2Vec[20]提出了一种通过元路径对异构图结构的文本进行编码的方式，这种方法根据异构节点的类型对邻居节点进行分组，可以应用于节点分类、节点聚类以及相似度搜索等问题。
5)时空图是一种属性图结构，其特点是高维特征空间f*中的特征矩阵X会随着时间而变化，这里我们定义为
图结构随着时间序列的引入，可以有效地处理包含动态和时序关系类型的任务，Yan等人[21]提出了一种基于时空图卷积神经网络的骨架运动检测方法，You等人[22]基于视频标签节点之间的邻接关系相似度，利用提出了一种多标签视频分类的图神经网络方法。
图神经网络对于非欧几里德数据在深度学习中的应用有着非常重要的地位，尤其是利用图结构在传统贝叶斯因果网络上可解释的特点，在定义深度神经网络关系可推理、因果可解释的问题上有很大的研究意义。如何利用深度学习方法对图结构的数据进行分析和推理吸引了非常多的研究和关注。
这里我们将现有的图神经网络的算法进行了总结与归纳，给出一个通用的图神经网络结构如图2所示，将图神经网络推理过程通过图节点预表示、图节点采样、子图提取、子图特征融合、图神经网络的生成和训练子过程来表示，具体步骤如下:
STEP1图节点预表示:通过图嵌入(Graph Embedding)的方法对图中每一个节点进行嵌入表示;
STEP2图节点采样:对图中每个节点或存在的节点对的正负样本进行采样;
STEP3子图提取:提取图中每一个节点的邻节点构建n阶子图，其中n表示第n层的邻节点，从而形成通用的子图结构;
STEP4子图特征融合:对每一个输入神经网络的子图进行局部或全局的特征提取;
STEPS生成图神经网络和训练:定义网络的层数和输入输出的参数，并对图数据进行网络训练。
本章将从分别频域和空间域的GCN研究的角度，对比多种图卷积神经网络[23]的差异效果和发展历程;介绍门控图神经网络[24]、利用注意力结构替代卷积的图注意力网络[25]、针对无监督模型的图自动编码器[26]以及时域空间的图时空网络[27];讨论图嵌入[28]作为图神经网络的模型结构和多种实现方式。最后对上述网络模型从聚合方式、网络基础和应用优势的角度对比分析图神经网络模型之间的差异。
深度学习的流行与卷积神经网络的广泛适用性密不可分，图神经网络的研究中时间最长、研究成果最多的就是图卷积神经网络，从特征空间来看图卷积神经网络主要可以分为频域和空间域两个类型。
图卷积神经网络将原始图结构的数据G=(V, E)映射到一个新的特征空间：
以单层向前传播图卷积神经网络为例，第i层神经网络的特征用wi表示，对于图结构中的每一个节点vi在计算时，每一层神经网络的输出H(l+1)都可以以非线性函数f(·,·)表示为
其中A为特征邻接矩阵。通过非线性激活函数ReLU=σ(·)实现一个图卷积神经网络结构，其分层传播规则如下：
表示为图结构G= (V, E)的邻接矩阵，I为单位矩阵： 表示矩阵A 的对角矩阵，w(l)为第l层卷积神经网络的权重矩阵。通过分层传播规则，图卷积神经网 络将卷积神经网络局部参数共享的特性带入了图结构中，使得每一个节点的感受域的光对随着传播层数的增加而得更大的提升，从而获取到更多邻节点的信息。接下来两小节将分别从频域和空间图卷积的方向具体列举分析不同类型图卷积神经网络方法。
频域的图卷积神经网络基于图信号处理[29]问题，将图神经网络的卷积层定义为一个滤波器，即通过滤波器去除噪声信号从而得到输入信号的分类结果实际问题中只能用于处理无向且边上无信息的图结构，将输入信号的图定义为可特征分解的拉普拉斯矩阵，归一化后的特征分解可以表示为通用结构其对角矩阵A就是特征值的λi按序排列组成的特征矩阵。
最早在频域实现的图卷积神经网络是由Bruna[10]等人提出定义频域图卷积神经网络的卷积层函数。将频域图卷积神经网络假设在图信号处理中的滤波器，特征分解需要至少o(n3)的计算复杂度和0 (n2)的存储空间，对于输入图数据为稀疏矩阵的场景时，可以通过随机特征分解等方法在保证精度的情况下将时间复杂度降低到0 (n2r + r3), r为近似矩阵的秩远小于n。
Henafff[30]等人提出基于插值内核(Interpolation Kernel)的图卷积神经网络方法。在频域卷积神经网络的基础上提出了无监督和有监督两种新的通过图卷积神经网络来进行推理预测的方案，从图1图神经网络通用结构中可以看出，第一步图节点的预表示可以根据数据预测相似性矩阵，这种方法也将应用场景扩充到了大规模图像和文本分类等问题中。
Dei}errad[11]等人提出了基于切比雪夫多项式的频域卷积滤波器ChebNet，其中切比雪夫多项式的组成是由特征值对角矩阵的项组成的，通过切比雪夫展开式Ti(x)替换了原始GCN中通用频域卷积滤波器g的特征分解部分，从而有效地避免了特征分解的计算部分，将计算复杂度从o(n3)降低到了o (LE)，其中E为输入图G中边的数量。一阶切比雪夫图卷积神经网络[27]则是利用了一阶切比雪夫展开更好的提升网络的计算效率。针对包含复杂属性的节点异构图，可以通过图卷积神经网络来实现节点的聚类。为了提升属性图的信息提取的性能和模型的效果，Zhang等人提出了AGC[31]自适应图卷积方法，利用高阶图卷积来获取全局聚类的结构来定义k阶图卷积，从而实现了对于复杂异质图的处理。
与深度学习中卷积神经网络对图像的像素点进行卷积运算类似，基于空间的图卷积神经网络通过计算中心单一节点与邻节点之间的卷积，来表示邻节点间信息的传递和聚合，作为特征域的新节点表示。
Scarselli等人[32]提出了一种利用基于相同图卷积结构的循环函数递归地实现了空间图卷积神经网络的收敛方法，该方法可以支持节点和边上分别包含特定属性契合传统卷积神经网络基本思想的方法。Dai等人[33]提出的随机稳态图神经网络迭代算法SSE通过异步随机的方式，对于每个拥有不同数量邻节点的节点而言利用双向权重矩阵w1，wz在每次卷积迭代中更新节点的特征表示。
随机稳态图神经网络不支持边上包含的信息，这里通过两个权重函数分别对全部的节点v∈VN和包含信息的节点集合v∈VN进行卷积处理，这样从而使得图卷积神经网络的迭代效率得到了提升。图结构数据中节点存在极多的关系导致参数数量过多的情况下，引入基础分解和块对角分解两种方式可以有效解决过拟合的问题。关系图卷积神经网络可以有效地应用在以节点为中心的实体分类问题和以边为中心的链接预测问题上。
AtWOOCl[34]提出的基于图结构的传播卷积神经网络DCNN通过传播卷积的方式，扩散性地扫描图结构中的每一个顶点，替代了一般图卷积神经网络基于矩阵特征的卷积形式，DCNN的参数是根据搜索深度而不是节点在图结构中的位置决定的，可以用于节点、边以及图结构等多种分类任务，但由于计算转移概率的时间复杂度较高，并不适用于大规模的图结构数据。Zhuang和Ma[35]在传播和邻接矩阵两种卷积结构的基础上提出了一种双路图卷积神经网络的方法，通过半监督图卷积[29]的和转移概率的正逐点互信息((PPMI)矩阵作为卷积运算邻接矩阵来更好提升模型的信息抽取的效果。
图卷积神经网络频域和空间两个方向分析对比如表2所示。频域图卷积神经网络主要依赖于频域矩阵的特征分解，而空间图卷积神经网络主要是借助邻节点特征信息的聚合来定义在图数据上的卷积运算。此外在最新的研究中，GCN的实现方式还包括利用子图训练组合的GraphSage[36]，基于信息传递的MPNN[37]，以及AGCN[38] MGCN[39]，pinSage[40]，Fast-GCN[41]等方法。同时关于图卷积神经网络优化方式也有很多研究，针对解决高阶图卷积在空间图卷积中性能较差问题，引入稀疏邻域来替代频域图卷积的MixHop[42]。
目前基于门控机制的递归神经网络机制下的图神经网络结构的研究也有不少，例如基于门控循环单元(GRU)的门控图神经网络(GGNN)[43]，通过门控循环单元控制网络传播过程中固定步数T的迭代循环来实现门控图神经网络的结构，通过节点二来建立邻节点之间的聚合信息，然后通过循环门控单元z和r实现递归过程更新每个节点的隐藏状态。
Tai等人[44]提出了基于子节点和的树状长短期记忆网络Tree-LSTM用于处理图神经网络中的语义表示问题。门控图神经网络除了基于门控循环单元和LSTM的基础模型外还有很多变种，You等人[45]利用分层循环递归网络分别生成新的节点和节点对应的边，从而将图递归神经网络应用于图生成的问题；Peng等人[46]提出了利用不同的权重矩阵，来表示不同标签的图长短神经网络结构；Ma等人[47]将时间感知LSTM与图神经网络结合，利用LSTM来更新两个关联节点和对应的邻居节点的表示，提出了动态图神经网络，更好地处理传播效应。
对于图神经网络中的注意力机制，可以简单理解为借助于注意力(attention )模块取代了一般图卷积神经网络中的卷积激活器，在不同的方法中，可以结合门控信息来提升注意力机制感受域的权重参数，达到更好的推理和应用性能。
图卷积神经网络实现了对图结构数据的节点分类，而注意力机制目前在自然语言处理领域有着非常好的效果和表现。对于图注意力机制(Graph Attention Network)而言，邻居节点的特征做累加求和的过程与图卷积神经网络则完全不同，通过全局注意力机制替代了卷积分层传递的固化操作，可以有效地选择在图结构中更为重要的节点或子图、模型、路径分配更大的注意力权重。
图注意力网络中的注意力权重被表示为：
对于第l层网络而言，定义节点为：
是注意力模型中的节点向量
表示为一个可变化的线性变换参数
那么节点间的注意力分数就会根据注意力权重的不同进行迭代。通过和图卷积神经网络的分层传播规则的对比，图注意力网络将原本的常数参数替换为表示邻节点权重的注意力参数。
Zhang等人[49]提出了一种通过卷积子网络来控制分配权重的自我注意力机制，基于循环门控单元用于解决流量速度预测的问题。Lee等人[50]提出了结合LSTM的利用注意力机制进行图节点分类的方法，Abu-El-Haija等人[42]提出了一种注意力游走的方法，将图注意力机制应用到节点嵌入中。
现实中信息在被表示成节点和边构成的拓扑结构时往往是异构的，广义上被定义为异构信息网络(HIN)[51]，而现阶段的图神经网络方法大多是聚焦于同构图的处理分析上，对于在本文1.2节中提到的节点异构和边异构的图结构而言，更大的信息量和更复杂的网络结构带来了更大的挑战和研究价值。Xiao等人[52]提出了一种基于注意机制的异构图注意力网络，将节点和边的异构性表达为不同类型的语义信息，通过节点层的注意力来判断相同属性邻节点的重要性，同时利用语义层的注意力选择有意义的元路径，节点层利用注意力来表示不同节点i，j的重要性。
图注意力网络的研究还集中在图像语义推理、上下文推理等方面。具体的，Yang等人[53]在处理通过自然语言来表示图像中的描述对象的问题时，通过抽取图像中对象之间的语义关系建立关联图结构，借助动态图注意力网络D GA来实现更好的语义推理能力。
自动编码器(autoencoder)是深度神经网络中常用的一种无监督学习方式，对于图结构数据而言，自动编码器可