资讯详情

论文翻译：A Comprehensive Survey on Graph Neural Networks

论文翻译：图神经网络综合研究

arXiv:1901.00596v1

文章目录

近年来，从图像分类、视频处理到语音识别和自然语言理解，深度学习改变了许多机器学习任务。欧几里得空间通常表示这些任务中的数据。然而，越来越多的应用程序从非欧几里德域生成数据，并将其表示为复杂关系和对象之间相互依赖的图形结构。图形数据的复杂性对现有的机器学习算法提出了重大挑战。最近，关于扩展图数据的深度学习方法有很多研究。在这篇综述中，我们提供了数据挖掘和机器学习领域中图神经网络（GNN）综合概述。我们提出了一种新的分类方法，将最新的图神经网络分为不同的类别。关注图卷积网络，回顾了最近开发的新系统结构，包括图注意网络、图自动编码器、图生成网络和图时空网络。我们将进一步讨论图神经网络在各个领域的应用，总结不同学习任务中现有算法的开源代码和基准。最后，我们在这一快速增长领域提出了潜在的研究方向。

深度学习，图神经网络，图卷积网络，图表示学习，图自动编码器，网络嵌入

1 引言

最新的神经网络成功地促进了模型识别和数据挖掘的研究。许多机器学习任务，如目标检测[1]、[2]、机器翻译[3]、[4]和语音识别[5]，曾经高度依赖手工特征项目来提取信息特征集，现在被各种端到端深度学习优秀模型所取代，如卷积神经网络（CNN）[6]，长短期记忆（LSTM）[7]和自动编码器。深度学习在许多领域的成功部分归功于快速发展的计算资源(例如GPU）以及大量可用的训练数据集，部分原因是深度学习可以有效地从欧几里据（如图像、文本和视频）中提取潜在特征。以图像分析为例，图像可以表示为欧几里得空间中的规则网格。卷积神经网络（CNN）因此，可以利用图像数据的平移不变性、局部连通性和图像数据的组合特性[8]，CNN对于各种图像分析任务，可以提取与整个数据集共享的局部有意义特征。

尽管深度学习在欧几里得数据方面取得了巨大的成功，但越来越多的应用程序从非欧洲生成数据， 并且需要分析。例如，在电子商务中，基于图片的学习系统可以利用用户与产品[9]、[10]和[11]之间的互动提出高度准确的建议。将分子建模成图形数据，确定其生物活性，进行药物开发[12]、[13]。在引文网络中，论文需要分为不同的组[14]和[15]。图形数据的复杂性对现有的机器学习算法提出了重大挑战。这是因为图数据不规则。图中可以有任何数量的无序顶点，图中的每个顶点都有不同数量的邻居。因此，一些重要的操作(如卷积)最初很容易用于图像数据，但不适用于图像数据。此外，现有机器学习算法的核心假设是相互独立的例子。然而，图形数据并非如此。每个例子（顶点）通过一些复杂的链接信息与其他例子（邻居）相关联，可以用来捕捉数据之间的相互依赖，包括引用、友谊和交互。

最近，人们越来越关注扩展到图形数据的深度学习方法。在深度学习成功的推动下，研究人员借鉴了积累网络、递归网络和深度自动编码器的理念，设计了图神经网络的系统结构。为了处理图数据的复杂性，在过去的几年里，重要的操作有了新的泛化和定义。例如，图1显示了标准2D卷积如何激发图卷积？本文旨在为想要进入快速发展领域的感兴趣的研究人员和想要比较图神经网络算法的专家提供这些方法的全面概述。 在这里插入图片描述

(a)2D卷积。与图像类似，图像中的每一个像素都被视为顶点，邻居由卷积核的大小决定。D卷积平均加权红色顶点及其相邻像素的像素值。顶点的邻居有序，大小固定。

(b)图形卷积。为了获得红色顶点的隐藏表示，图形卷积运算的简单解决方案取决于红色顶点及其相邻顶点顶点特征的平均值。与图像数据不同，顶点的邻居无序，数量可变。
图1：2D卷积与图卷积

图神经网络的概念首先由[Gori et al., 2005, 提出，然后由[Scarselli et al., 2009, 进一步阐述。这些早期研究通过递归神经结构迭代传播邻居信息，直到达到稳定的固定点，从而学习目标顶点的表达。这个过程在计算上很贵，最近人们为克服这些挑战付出了更多的努力[18]和[19]。在我们的综述中，我们泛化了一个词，代表图数据的所有深度学习方法。

受卷积网络在计算机视觉领域的巨大成功启发，最近出现了许多重新定义这些方法属于图卷积网络（GCN）。[Bruna et al., 2013, 20]了关于GCN基于光谱图理论的第一项重要研究开发了项重要研究。从那时起，基于频谱的图卷积网络[12]、[14]、[21]、[22]和[23]不断改进、扩展和接近。因为频谱方法通常是而且难以并行化或缩放为大图等缺陷，因此基于空间的图卷积网络最近发展迅速[24]、[25]、[26]和[27]。这些方法通过汇总邻居顶点的信息直接在图域中执行卷积。结合采样策略，可以在一批顶点中计算[24]和[27]，而不是整个图形，提高了效率。

除了图卷积网络，过去几年还开发了许多其他图形神经网络。这些方法包括图形注意网络、图形自动编码器、图形生成网络和图形时空网络。这些方法的分类细节在第三节给出。

现有关于图神经网络主题的综述数量有限。[Bronstein et al, 2017, 8]使用概念总结了非欧洲领域的深度学习方法，包括图形和流形。然而，作为图形积累网络的第一篇评论，它并没有提到基于空间的几种重要方法，包括[15]、[19]、[24]、[26]、[27]和[28]，它们已经成为最先进的基准。此外，该评论还没有涵盖许多新开发的模型结构，这些结构与卷积网络图相同重要。本文对这些优秀的深度学习模型进行了全面回顾，包括了图注意力网络、图自动编码器、图生成网络和图时空网络。[Battaglia et al., 29]将作为从关系数据中学习的基础，在统一框架下回顾了部分图神经网络。但是，它们的通用框架是高度抽象的，失去了对原始论文中对每种方法的见识。[Lee et al., 30]对图注意力模型进行了部分总结，然图注意力模型是图神经网络的一种类型。最近，[Zhang et al., 31]发表了关于图的深度学习的最新综述，但缺少关于图生成和时空网络的研究。总而言之，现有的综述都没有提供对图神经网络的全面概述，仅涵盖了一些图卷积神经网络并提到了数量有限的文章，从而错过了其他图神经网络的最新发展，例如图生成网络和时空网络图。

图神经网络的研究与图嵌入或网络嵌入紧密相关，另一个主题引起了数据挖掘和机器学习社区的关注[32]、[33]、[34]、[35]、[36]、[37]。网络嵌入的目的是通过保留网络拓扑结构和顶点内容信息，将网络顶点表示为低维向量空间，以便可以通过使用简单的方法轻松执行任何后续的图形分析任务，例如使用分类、聚类和推荐等现成的学习机算法（例如，用支持向量机做分类）。许多网络嵌入算法通常是无监督的算法，它们可以大致分为三类[32]，即矩阵分解[38]、[39]，随机游走[40]和深度学习方法。同时进行网络嵌入的深度学习方法属于图神经网络，其中包括基于图自动编码器的算法（例如DNGR[41]和SDNE[42]）和无监督训练的图卷积神经网络（例如，GraphSage[24]）。图2描述了网络嵌入和图神经网络之间的区别。

图2.网络嵌入与图神经网络

我们的论文做出了重要贡献，总结如下：

  • 鉴于对图数据的深度学习的研究越来越多，我们提出了一种新的图神经网络（GCN）分类法。根据这种方法，GCN分为五类：图卷积网络，图注意网络，图自动编码器，图生成网络和图时空网络。我们指出了图神经网络和网络嵌入之间的区别，并描述了不同图神经网络体系结构之间的联系。

  • 这篇综述提供了有关图数据的现代深度学习技术的最全面概述。对于每种类型的图神经网络，我们提供了有关代表性算法的详细说明，进行相应的算法的必要的比较和总结。

  • 这篇综述关于图神经网络提供了丰富的资源，其中包括最新的算法、基准数据集、开源代码和实际应用。这篇综述可以用作了解、使用和开发用于各种实际应用的不同深度学习方法的动手指南。

  • 这篇综述还强调了现有算法的当前局限性，并指出了这一快速发展领域中的可能方向。

这篇综述的其余部分组织如下：第2节定义了与图相关的概念；第3部分阐明了图神经网络的分类；第4节和第5节概述了图神经网络模型；第6节介绍了各个领域的应用程序库；第7节讨论了当前的挑战并提出了未来的方向；第8节总结了论文。

2 定义

在本节中，我们提供基本图形概念的定义。为了便于检索，我们总结了表1中的常用符号。

表1：常用符号
符号 说明
∣ ⋅ ∣ \vert \cdot \vert ∣⋅∣ 集合长度
⊙ \odot ⊙ 逐点乘积
A T A^T AT 矩阵或向量 A A A的转置
[ A , B ] [A,B] [A,B] 将 A A A和 B B B拼接
G \mathcal{G} G 图
V V V 图的结点集
v i v_i vi​ 结点 v i ∈ V v_i \in V vi​∈V
N ( v i ) N(v_i) N(vi​) v i v_i vi​的邻居结点集
E E E 图的边集
e i j e_{ij} eij​ 边 e i j ∈ E e_{ij} \in E eij​∈E
X ∈ R N × D X \in \reals^{N \times D} X∈RN×D 图的特征矩阵
x ∈ R N x \in \reals^{N} x∈RN D = 1 D=1 D=1时图的特征向量
X i ∈ R D X_i \in \reals^{D} Xi​∈RD 结点 v i v_i vi​的特征向量
N N N 结点数， N = ∣ V ∣ N = \vert V \vert N=∣V∣
M M M 边数， M = ∣ E ∣ M = \vert E \vert M=∣E∣
D D D 结点的维数
T T T 时间序列中的总时长

图 G = ( V , E , A ) \mathcal{G}=(V,E,A) G=(V,E,A)由结点集 V V V和边集 E E E构成， A A A是邻接矩阵。用 v i ∈ V v_i \in V vi​∈V表示图中的一个结点，而 e i j ∈ E e_{ij} \in E eij​∈E表示图中的一条边。邻接矩阵 A A A是个 N × N N \times N N×N的矩阵，如果存在 e i j ∈ E e_{ij} \in E eij​∈E那么有 A i j = w i j > 0 A_{ij} = w_{ij} > 0 Aij​=wij​>0，反之 e i j ∉ E e_{ij} \notin E eij​∈/​E则 A i j = 0 A_{ij} = 0 Aij​=0。顶点的度数是与其连接的边数，正式定义为 d e g r e e ( v i ) = ∑ A i , : degree(v_i) = \sum A_{i,:} degree(vi​)=∑Ai,:​。

图可以是由含属性 X X X的顶点链接得到，其中 X ∈ R N × D X \in \reals^{N \times D} X∈RN×D是一个特征矩阵，其中 X i ∈ R D X_i \in \reals^{D} Xi​∈RD表示顶点 v i v_i vi​的特征向量。在 D = 1 D = 1 D=1的情况下，我们用 x ∈ R N x \in \reals^N x∈RN代替 X X X来表示图的特征向量。

有向图是所有边都从一个顶点指向另一个顶点的图。对于有向图， A i j ≠ A j i A_{ij} \neq A_{ji} Aij​​=Aji​。无向图是所有边均无方向的图。对于无向图， A i j = A j i A_{ij} = A_{ji} Aij​=Aji​。

时空图是特征图 X X X随时间变化。用 X ∈ R T × N × D X \in \reals^{T \times N \times D} X∈RT×N×D定义图 G = ( V , E , A , X ) \mathcal{G} = (V,E,A,X) G=(V,E,A,X)，其中 T T T是时间步长。

3 分类和框架

在本节中，我们介绍了图神经网络的分类法。我们将考虑神经体系结构中任何微小差异的图神经网络模型。我们将图神经网络分为图卷积网络、图注意力网络、图自动编码器、图生成网络和图时空网络。其中，图卷积网络在获取结构依赖性方面起着核心作用。如图3所示，其他类别下的方法部分利用图卷积网络作为基础块。我们在表2中总结了每个类别中的代表方法，下面简要介绍了每个类别。

图3.图神经网络的分类
表2：图神经网络的代表性论文
分类 论文
GCN 基于谱方法卷积 [12],[14],[20],[21],[22],[23],[43]
GCN 基于空间方法卷积 [13],[17],[18],[19],[24],[25],[26],[27],[44],[45],[46],[47],[48],[49],[50],[51],[52],[53],[54]
GCN 池化方法 [12],[21],[55],[56]
图注意力网络 [15],[28],[57],[58]
图自动编码器 [41],[42],[59],[60],[61],[62],[63]
图生成网络 [64],[65],[66],[67],[68]
图时空网络 [69],[70],[71],[72],[73]

3.1 GNN的分类

泛化了从传统数据（图像或网格）到图数据的卷积操作。GCN关键是要学习一个函数 f f f，通过聚集其自身的特征 X i X_i Xi​

标签： 流量传感器vt系列

锐单商城拥有海量元器件数据手册、 IC替代型号，打造 电子元器件IC百科大全！

锐单商城 - 一站式电子元器件采购平台