英语原文共 20 页
图神经网络综述：模型与应用
周洁，崔甘曲，张正言，程洋，刘知远，孙茂松
摘要：许多学习任务需要处理包含元素间丰富关系信息的图形数据。建模物理系统，学习分子指纹，预测蛋白质界面，分类疾病需要一个模型从图形输入中学习。在文本、图像等非结构化数据的学习、抽取结构的推理、句子依赖树和图像场景图等领域，也是一个需要图形推理模型的重要研究课题。图神经网络(Graph Neural Network，GNN)是一种通过消息传递来捕捉图的依赖关系的连接模型。图的节点之间。与标准神经网络不同的是，图神经网络保留的状态可以表示任意深度的邻域信息。虽然已经发现原始GNN是用来训练不动点的，但是网络体系结构、优化技术和并行计算方面的最新进展使我们能够成功地使用它们进行学习。近年来，基于图卷积网络(GCN)和门控图神经网络(GGNN)的系统在上述许多任务上表现出突破性的性能。本文对现有的图神经网络模型进行了详细的综述，对其应用进行了系统的分类，并提出了四个有待进一步研究的问题。
索引项：深度学习，图神经网络
1 引言
图是一种数据结构，它对一组对象(节点)及其关系(边)进行建模。近年来，机器学习分析图的研究由于其强大的表现力而受到越来越多的关注，即图可以作为社会科学(社会网络)[1]、[2]、纳特-乌拉尔科学(物理系统[3])等多个领域的大量系统的表示。[4]和蛋白质相互作用网络[5]、知识图[6]和许多其他研究领域[7]。图分析作为一种独特的机器学习的非欧式数据结构，主要集中在节点分类、链路预测和聚类等方面.石墨神经网络(GNUN)是一种基于深度学习的图形域操作方法。GNN以其令人信服的性能和较高的解释能力，近年来已成为一种广泛应用的图形分析方法。在下面的段落中，我们将说明图神经网络的基本动机。
GNN的第一个动机源于卷积神经网络（CNN）[8]。CNN具有提取多尺度局部空间特征的能力，并构建它们以构建高度表达的表征，这导致几乎所有机器学习领域的突破并开始了深度学习的新时代[9]。然而，CNN只能在规则的欧几里德数据上运行，如图像（2D网格）和文本（1D序列），而这些数据结构可以视为图形的实例。随着我们更深入地了解CNN和图表，我们找到了CNN的密钥：本地连接，共享权重和多层使用[9]。这些对于解决图域的问题也非常重要，因为1）图是最典型的局部连接结构。2）与传统的谱图理论相比，共享权重降低了计算成本[10]。3）多层结构是处理分层模式的关键，它捕获各种大小的特征。因此，可以直接考虑找到CNN到图的概括。但是，如图1所示，很难定义局部卷积滤波器和汇集运算符。
图1 左：图像（欧几里得空间） 右：图（非欧几里德空间）
另一个动机来自于图形嵌入，它学习用低维向量表示图的节点、边或子图。在图形分析领域，传统的机器学习方法往往依赖于手工设计的特点，由于其不灵活、成本高等特点而受到限制。Deepwalk[12]遵循了表示学习的思想和嵌入单词[11]的成功，作为表示学习的第一种图形嵌入方法，在生成的随机游动上应用了skipgram模型[11]。类似的方法如node2vec[13]、LINE[14]和TADW[15]也取得了突破。然而，这些方法遭受了两个割裂[16]。首先，编码器中的节点之间不共享参数，这导致了计算效率的提高，因为它意味着参数的数量与节点数成线性增长。二是直接方法缺乏泛化能力，不能处理动态图或推广到新图。
基于CNN和图嵌入，提出了图神经网络（GNN）来共同聚合来自图结构的信息。因此，他们可以模拟由元素及其依赖性组成的输入和/或输出。此外，图神经网络可以使用RNN内核同时对图上的扩散过程进行建模。
在下面的部分中，我们解释了图神经网络值得研究的根本原因。首先，像CNN和RNN这样的标准神经网络无法正确处理图形输入，因为它们按特定顺序堆叠节点的特征。但是，图中没有自然的节点顺序。为了完整地呈现图形，我们应该遍历所有可能的顺序作为模型的输入，如CNN和RNN，这在计算时非常冗余。为了解决这个问题，GNN分别在每个节点上传播，忽略了节点的输入顺序。换句话说，GNN的输出对于节点的输入顺序是不变的。其次，图中的边表示两个节点之间的依赖关系的信息。在标准神经网络中，依赖信息仅被视为节点的特征。但是，GNN可以通过图形结构进行传播，而不是将其用作要素的一部分。通常，GNN通过其邻域的状态的加权和来更新节点的隐藏状态。第三，推理是高级人工智能的一个非常重要的研究课题，人脑中的推理过程几乎都是基于从日常经验中提取的图形。标准神经网络已经显示出通过学习数据分布来生成合成图像和文档的能力，同时它们仍然无法从大型实验数据中学习推理图。然而，GNN探索从场景图片和故事文档等非结构性数据生成图形，这可以成为进一步高级AI的强大神经模型[17]。
对图形神经网络的研究有几个方面的综述。[18]给出了早期神经网络方法的形式化定义。[19]证明了图神经网络的逼近性质和计算能力。[20]提出了一个统一框架Monet来将CNN结构推广到非欧几里得域(图和流形)，该框架可以推广图[2]、[21]上的几种谱方法以及流形上的一些模型[22]，[23]，[24]对几何深度学习作了全面的回顾，介绍了它的问题、困难、解决办法、应用和今后的方向。[20]和[24]侧重于将卷积推广到图形或流形，然而在本文中我们只关注图形上定义的问题，我们还研究了图形神经网络中使用的其他机制，如门机制，注意机制和跳过连接。[25]提出了消息传递神经网络（MPNN），它可以推广几种图形神经网络和图形卷积网络方法。它介绍了通过神经网络的消息的定义，并展示了它在量子化学中的应用。[26]提出了非局部神经网络（NLNN），它统一了几种“自我关注”式的方法。但是，该模型未在原始论文的图表中明确定义。关注特定的应用领域，[25]和[26]只给出了如何使用他们的框架推广其他模型的例子，他们没有提供对其他图神经网络模型的评论。[27]提出了图形网络（GN）框架。该框架具有很强的推广其他模型的能力，其关系归纳偏差促进了组合泛化，这被认为是AI的首要任务。但是，[27]是部分立场文件，部分审查和部分统一，它只给出了应用程序的粗略分类。在本文中，我们提供了对不同图神经网络模型的全面回顾以及应用程序的系统分类。
概括地说，本文对图神经网络进行了广泛的研究，有以下几点贡献。
我们对现有的图形神经网络模型进行了详细的评述。本文介绍了原始模型及其变体和几种通用框架，并对这一领域的各种模型进行了研究，给出了统一的表示，给出了在不同模型中的不同传播步骤。通过识别相应的聚合者和更新者，我们可以很容易地使用我们的表示来区分不同的模型。
我们对应用程序进行了系统的分类，并将应用程序划分为结构场景、非结构化场景和其他场景。我们介绍了几种主要的应用程序及其在不同场景中的相应方法。
我们提出了四个有待进一步研究的开放问题：图神经网络存在过度平滑和缩放问题。仍然没有有效的方法来处理动态图以及非结构感官数据的建模。我们对每个问题进行了深入的分析，并提出了今后的研究方向。
本调查的其余部分组织如下。第二节介绍了图神经网络族中的各种模型。我们首先介绍了最初的框架及其局限性。然后我们展示了试图释放限制的变体。最后，介绍了最近提出的几种通用框架。在第3节中，我们将介绍图形神经网络在结构场景、非结构场景和其他场景中的几个主要应用。在第4节我们提出了四个开放的图神经网络问题以及今后的几个研究方向。最后，我们在第5节对调查进行了总结。
2 模型
图神经网络是研究非欧氏结构的有用工具，本文提出了多种方法。试图提高模型的性能。在第2.1节中，我们描述了[18]中提出的原图神经网络.我们还列举了原GNN在表示能力和训练效率方面的局限性。在第2.2节中，我们介绍了几个神经网的变体旨在释放这些限制。这些变体操作于不同类型的图形，UTI-Lize不同的传播函数和先进的训练方法。在第2.3节中，我们提出了三种可以推广和扩展几条工作线的通用框架，其中消息传递神经网络(MPNN)[25]将各种图神经网络和图卷积网络方法结合起来，而非局部神经网络(NLNN)[26]则是统一的。图网络(GN)[27]可以推广本文中提到的几乎全图神经网络变体，在深入讨论不同的部分之前，我们给出了全文将要使用的符号，对这些符号的详细描述可以在表1中找到。
2.1 图神经网络
图神经网络(GNN)的概念最早是在[18]中提出的，它扩展了现有的神经网络，用于处理图域表示的数据。在图中，每个节点自然地由其特征和相关节点定义。GNN的目标是学习一个状态嵌入，它包含每个节点的邻域信息。状态嵌入是节点v的s维向量，可用于产生输出比如节点标签等。设f是一个参数函数，称为局部转移函数，它在所有节点之间共享，并根据输入邻域更新节点状态。设g是描述输出是如何产生的本地输出函数。然后，和被定义为：
（1）
（2）
其中，分别是v的特征，其边的特征，状态，以及v邻域内节点的特征。
设H、O、X和分别是由所有状态、所有输出、所有特征和所有节点特征构成的向量。然后，我们有一个紧凑的形式如下：
(3)
(4)
其中，全局转移函数F和全局输出函数G分别是图中所有节点的f和g的叠加版本。H的值是方程3的不动点和唯一定义，假设F是一个压缩映射。
在Banach不动点定理[28]的建议下，GNN使用下列经典迭代格式来组合状态：
(5)
其中表示H的第t次迭代，动态系统Eq.5对于任何初值H(0)都以指数速度收敛到Eq.3的解。请注意，f和g中描述的计算可以解释为前馈神经网络。
当我们有GNN的框架时，下一个问题是如何学习f和g的参数。使用目标信息(用于特定节点)进行监督，可以如下所示：
（6）
其中p是有监督节点的个数。学习算法基于梯度下降策略。由以下步骤组成。
- 状态由Eq.1迭代更新，直到T.它们逼近方程Eq.3的不动点解：H(T)asymp;H。
- 权重W的梯度是从损失中计算出来的。
- 根据最后一步中计算的梯度更新权重W。
局限性 虽然实验结果表明GNN是一种强大的结构化数据建模体系结构，但它仍然存在着原始GNN的一些局限性。首先，对于不动点，节点的隐藏状态进行迭代更新是效率低下的。如果放松对不动点的假设，可以设计一个多层GNN来获得节点及其邻域的稳定表示。其次，GNN在迭代中使用相同的参数，而大多数常用的神经网络在不同的层中使用不同的参数，这是一种分层特征提取方法。此外，节点隐藏状态的更新是一个连续的过程，可以从GRU和LSTM等RNN内核中受益。第三，知识图中的边缘存在信息丰富的特征，无法在原始GNN中有效地建模。例如，知识图中的边缘具有关系类型，通过不同边缘的信息传播应根据其类型不同而不同。此外，如何学习边的隐态也是一个重要的问题。最后，如果我们只关注节点的表示而不是图，那么就不适合使用不动点，因为在不动点上表示的分布在值上是多平滑的，对于区分每个节点的信息量也较少。
2.2 图神经网络的变体
在这一小节中，我们介绍了图形网络的几种变体。第2.2.1节重点介绍在不同图形类型中操作的变量。这些变体扩展了原始模型的表示能力。第2.2.2节列出了传播步骤上的平均修改（卷积、门机制、注意机制和跳过连接），这些模型可以学习更高质量的表示。第2.2.3节描述了采用先进培训方法的变体，这些方法提高了培训效率。图2显示了图神经网络的不同变体。
2.2.1 图表类型
在原GNN[18]中，输入图由带标签信息的节点和无向边组成，这是最简单的图形格式。然而，世界上有许多图形的方差。在本小节中，我们将介绍一些设计用于对不同类型的图进行建模的方法。
有向图 图形的第一个变种是有向图。无向边缘可以看作是两个方向的边缘，这表明两个节点之间存在着一个关系，但是，有向边缘比无向边缘能带来更多的信息。例如，在边缘从头部实体开始到尾部实体结束的知识图中，头部实体是尾部实体的父类，这意味着我们应该区别对待父类和子类的信息传播过程。ADGPM [29]使用两种权重矩阵和来合并更精确的结构信息。传播规则如下所示：
（7）
其中，,分别是父类和子类的标准化邻接矩阵。
异类图 图的第二个变体是异构图，其中有几种节点。处理异构图形的最简单方法是将每个节点的类型转换为一个单一的特征向量。此外，GraphInception[30]将元路径的概念引入到异构图形的传播中，通过元路径，我们可以根据其节点类型和距离对邻居进行分组。对于每个邻域组，GraphInception将其作为齐次图中的子图来进行推广，并将来自不同同构图的传播结果进行集合表示。
有边信息的图 在图的最后变体中，每条边都有自己的信息，就像度量器的边缘类型一样。处理这类图的方法有两种：首先，我们可以将图转化为非分图，其中原始边也变成节点，并将一条原始边分割成两个新的边，这意味着边节点和开始/结束节点之间有两个新的边。G2S[31]的编码器对邻居使用以下聚合函数：
（8）
其中和是不同类型的边(关系)的传播参数。因此，我们可以适应不同的权矩阵在不同的边上传播。当关系的数目很大时，r-GCN[32]引入两种正则化来减少建立关系数量的参数：基-对角分解和块-对角分解。每一个被定义为：
（9）
即，作为基变换的线性组合，和元素使得只有
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
