近年来，网络嵌入引起了越来越多的关注

学习网络中节点的低维表示，有利于节点分类、链路预测等后续任务

大多数现有的方法学习节点表示只基于拓扑结构

然而，在许多实际应用程序中，节点通常与丰富的属性有关

因此，学习基于拓扑结构和节点属性的节点是非常重要和必要的

本文

• 提出了一种新的深度属性网络嵌入方法既能捕捉高非线性，又能保持拓扑结构和节点属性的各种相邻性
• 提出了确保学习节点表示的新策略一致互补的信息可以从拓扑结构和节点属性中编码

网络在现实世界中无处不在，如社交网络、学术引文网络和交流网络

在各种网络中，属性网络近年来备受关注

不同于普通网络只有拓扑结构，属性网络节点属性信息丰富

这些信息属性有助于网络分析

1. 例如，在学术引文网络中，不同文章之间的引文构成了一个网络，每个节点都是一篇文章 在这个网络中，每个节点都有大量关于文章主题的文本信息。

2. 另一个例子是社交网络，用户联系他人，并将他们的个人信息作为属性

此外，社会科学也表明节点的属性可以反映和影响其社区结构

因此，研究带属性网络是非常必要和重要的。

网络嵌入作为分析网络的基本工具，近年来引起了数据挖掘和机器学习的广泛关注。

学习网络中每个节点的低维表示，同时保持其相邻性。

然后，节点分类、链路预测、网络可视化等下游任务可以受益于学习的低维表示

近年来，提出了各种网络嵌入方法，如DeepWalk

然而，现有的方法大多集中在普通网络上，忽略了节点的有用属性

例如，在Facebook或Twitter在这样的社交网络中，每个用户都与他人连接，形成一个网络。

在学习节点表示时，大多数现有的方法只关注连接。但每个节点的属性也可以提供有用的信息

用户个人资料就是一个很好的例子

年轻用户可能更像另一个年轻人，而不是老用户。

因此，在表达学习节点时，合并节点属性非常重要

此外，网络的拓扑结构和属性是高度非线性的

因此，为了找到底层模式，获得高度非线性的属性是非常重要的。这样，学习到的节点可以更好地保持接近性

然而，大多数现有的方法，如[Huang et al.， 2017a;Yang等人，2015]只采用浅层模型，无法捕捉到高度非线性的特性

另外，由于拓扑结构和属性复杂，很难捕捉到这种高度非线性的特性

因此，对于属性网络嵌入，如何获得高度非线性特性是一个挑战

为了解决上述问题，我们提出了一个问题嵌入基于属性网络的深度属性网络(DANE)方法

详细地：

• 为了捕捉底层拓扑结构和属性的高非线性，提出了一个深度模型。同时，该模型可以强化学习节点，保持原始网络的第一阶和高阶邻近性
• 此外，为了从网络的拓扑结构和属性中学习一致性和互补性，我们提出了将这两种信息结合起来的新策略
• 此外，为了获得鲁棒的节点表示，提出了有效的最负采样策略，使损失函数具有鲁棒性

网络嵌入可以追溯到图形嵌入问题。有代表性的方法

• Laplacian eigenmap
• Locality Preserving Projection (LPP)

这些方法是在学习嵌入数据的同时，保持局部流形结构，广泛应用于传统的机器学习应用。

但是，所有这些方法不适用于大规模网络嵌入，由于它们都涉及耗时的特征分解操作，其时间复杂性为 O ( n 3 ) O(n^3) O(n3)，其中 n n n/span>为节点数

近年来，随着大规模网络的发展，各种各样的网络嵌入方法被提出

例如：

• DeepWalk通过观察随机漫步中的节点分布与自然语言中的单词分布相似，采用随机漫步和Skip-Gram来学习节点表示
• LINE提出在学习节点表示时保持一阶和二阶邻近性
• GraRep被提出以保持更高阶的接近性
• Node2Vec通过在柔性节点的邻域上设计有偏随机游走提出

但是，所有这些方法都只利用了拓扑结构，忽略了有用的节点属性

对于有属性的网络，已经提出了各种各样的模型

例如

G = { E , Z } G = \{E, Z\} G={ E,Z}，一个属性网络，含有 n n n个节点

• E = [ E i j ] ∈ R n × n E = [E_ij] \in R^{n \times n} E=[Ei​j]∈Rn×n，邻接矩阵
• Z = [ Z i j ] ∈ R n × m Z= [Z_{ij}] \in R^{n \times m} Z=[Zij​]∈Rn×m，属性矩阵

Definition 1. (First-Order Proximity)

给定一个网络 G = { E ， Z } G=\{E，Z\} G={ E，Z}

• 两个节点 i i i和 j j j的一阶邻近度由 E i j E_{ij} Eij​确定
• 具体地说，较大的 E i j E_{ij} Eij​表示第 i i i个节点和第 j j j个节点之间的距离越近

一阶邻近度表示如果两个节点之间存在链接，则它们是相似的。除此之外，它们是不同的。因此，它可以被视为局部接近

Definition 2. (High-Order Proximity)

给定一个网络 G = { E ， Z } G=\{E，Z\} G={ E，Z}

• 两个结点 i i i和 j j j的高阶邻近度由 M i ⋅ M_{i·} Mi⋅​和 M j ⋅ M_{j·} Mj⋅​的相似性决定
• 其中 M = E ^ + E ^ 2 + ⋅ ⋅ ⋅ + E ^ t M=\hat E+\hat E^2+···+\hat E^t M=E^+E^2+⋅⋅⋅+E^t是高阶邻接矩阵
• E ^ \hat E E^是邻接矩阵 E E E的逐行归一化得到的一步概率转移矩阵

高阶邻近度实际上表明了邻域的相似性。

具体地说，如果两个节点共享相似的邻居，则它们是相似的。除此之外，它们并不相似。

在这里，高阶接近可以被视为全局接近

Definition 3. (Semantic Proximity)

给定一个网络 G = { E ， Z } G=\{E，Z\} G={ E，Z}

• 两个节点 i i i和 j j j的语义贴近度由 Z i ⋅ Z_{i·} Zi⋅​和 Z j ⋅ Z_{j·} Zj⋅​的相似度决定

语义接近表示如果两个节点具有相似的属性，则它们是相似的。除此之外，它们是不同的

属性网络嵌入是基于邻接矩阵 E E E和属性矩阵 Z Z Z学习每个节点的低维表示，使得学习的表示可以保持存在于拓扑结构和节点属性中的邻近性

形式上，我们的目标是学习一个映射 f ： { E ， Z } → H f：\{E，Z\}→H f：{ E，Z}→H，其中 H ∈ R n × d H\in R^{n×d} H∈Rn×d是节点表示

使得 H H H能够保持一阶邻近、高阶邻近和语义邻近

然后，可以在学习到的 H H H上执行下游任务，例如节点分类、链路预测

从本质上讲，属性网络嵌入面临三大挑战才能获得良好的嵌入效果。它们是：

• 高度非线性结构：拓扑结构和属性的底层结构是高度非线性的，因此很难捕捉到这种非线性
• 邻近度保持：属性网络中的邻近度既取决于网络的拓扑结构，也取决于网络的属性，因此如何发现和保持邻近度是一个棘手的问题。
• 拓扑结构和属性中的一致和互补信息：这两种信息为每个节点提供不同的视图，因此重要的是使学习的节点表示在这两种模式下保持一致和互补的信息。

为了解决这三个问题，我们提出了一种新的深度属性网络嵌入方法(DANE)。该体系结构如图1所示

总体而言，有两个分支：

• 第一个分支由一个多层非线性函数组成，该函数可以捕捉高度非线性的网络结构，将输入 M M M映射到低维空间
• 第二个分支是将输入 Z Z Z映射到低维空间，以捕捉属性中的高度非线性。

Highly Non-linear Structure