基于飞桨PGL的图神经网络模型训练实践

随着深度学习在欧几里得空间大放异彩——CNN、RNN这些经典模型把图像分类、序列预测等等任务的效果推到了一个又一个新高度——图神经网络（GNN）最近几年也开始迎来自己的高光时刻。GNN主要分成谱域和空域两大流派：谱域靠拉普拉斯算子对图做类微分操作，空域则通过信息传递机制更新节点的嵌入表示。不管是节点预测、链接预测，还是不规则图形分类，效果都能得到显著提升。

但问题来了：在大规模图数据上训练GNN，难度非常大。计算代价高、内存消耗大，这些瓶颈一直是制约GNN落地大规模图数据的关键因素。好在近些年，加速图训练、优化内存的技术层出不穷。GraphSage、FastGCN、VR-GCN、GraphSaint、Cluster-GCN、L-GCN、L2-GCN……一系列模型接连被提出，效果也确实亮眼。但美中不足的是，它们还都没能在亿级数据上训练——目前最大的数据集也就是百万节点级别。一旦遇到亿级数据，时间复杂度和空间复杂度会直接让人崩溃。

这时候，SGC（Simplifying Graph Convolutional Network）就成了一个非常合适的替代方案。在大图计算还没有又快又好的模型的时候，在效果上稍微退一步其实是很务实的选择。SGC在训练效果上和原始GCN持平，但速度优势巨大，空间复杂度极低，完全具备在大图上训练的潜力。

本文用飞桨图学习框架PGL来实现SGC，同时调用了多个Paddle API，包括全连接层、数据读入和优化函数。Paddle的优化函数性能出色，训练速度得到了明显提升，最终效果也很不错。值得注意的是，特征预处理是整个复现过程中最容易出问题的环节。如果不做预处理，直接把原始特征扔进模型，效果可能很差——甚至不如多层感知机。但做了一番标准化和归一化之后，精度和速度就能直接对标原论文。

本模型最大的特点就是简单、速度快。精确度上比多层感知机略好，比一些复杂模型稍逊，但放在工业应用场景里，已经非常有价值了。实际实现时，并没有调用PGL里现成的GCN等库函数——因为模型本身就很简单，而且已有模型因为兼容性等问题反而可能拖慢速度。主要用到的Paddle API是nn.fc（全连接层）和decay_adam（带衰减值的Adam优化器），尤其是后者，大幅加速了训练。同时利用PGL的图训练框架进行加速，效果也很好。从实测来看，这三个核心组件加起来，使得PGL+Paddle的组合在训练速度上远快于PyTorch。

论文模型理解

原始GCN需要分多步完成的图卷积操作，SGC一步就搞定了，而且效果一样。这就是它的优势所在。

SGC最大的创新在于去掉了激活函数，这样一来多个参数被合并成一个，时间复杂度和空间复杂度都大大降低了。

论文模型复现过程

首先在AI Studio上安装PGL库和Cython：

!pip install pgl
!pip install cython

对特征矩阵和邻接矩阵都进行预处理：特征按行归一化，邻接矩阵通过度矩阵做规范化。

import scipy.sparse as sp
degree = dataset.graph.indegree()
norm = np.zeros_like(degree, dtype="float32")
norm[degree > 0] = np.power(degree[degree > 0], -1.0)
dataset.graph.node_feat["norm"] = np.expand_dims(norm, -1)

def row_normalize(mx):
    """Row-normalize sparse matrix"""
    rowsum = np.array(mx.sum(1))
    r_inv = np.power(rowsum, -1).flatten()
    r_inv[np.isinf(r_inv)] = 0.
    r_mat_inv = sp.diags(r_inv)
    mx = r_mat_inv.dot(mx)
    return mx

def aug_normalized_adjacency(adj):
    adj = adj + sp.eye(adj.shape[0])
    adj = sp.coo_matrix(adj)
    row_sum = np.array(adj.sum(1))
    d_inv_sqrt = np.power(row_sum, -0.5).flatten()
    d_inv_sqrt[np.isinf(d_inv_sqrt)] = 0.
    d_mat_inv_sqrt = sp.diags(d_inv_sqrt)
    return d_mat_inv_sqrt.dot(adj).dot(d_mat_inv_sqrt).tocoo()

利用之前得到的信息，对特征和邻接矩阵进行归一化处理：

邻接矩阵的归一化方程：

def pre_sgc(dataset, feature, norm=None):
    """
    Implementation of Simplifying graph convolutional networks (SGC)
    This is an implementation of the paper SEMI-SUPERVISED CLASSIFICATION
    WITH Simplifying graph convolutional networks (https://arxiv.org/abs/1902.07153).
    Args:
        gw: Graph wrapper object (`StaticGraphWrapper` or `GraphWrapper`)
        feature: A tensor with shape (num_nodes, feature_size).
        output: The output size for sgc.
        activation: The activation for the output
        name: Gcn layer names.
        norm: If `norm` is not None, then the feature will be normalized. Norm must
            be tensor with shape (num_nodes,) and dtype float32.
    Return:
        A tensor with shape (num_nodes, hidden_size)
    """
    num_nodes = np.shape(feature)[0]
    adj = np.zeros((num_nodes, num_nodes))
    for u in range(len(dataset.graph.edges)):
        adj[dataset.graph.edges[u][0], dataset.graph.edges[u][1]] = 1
        adj[dataset.graph.edges[u][1], dataset.graph.edges[u][0]] = 1
    feature = dataset.graph.node_feat['words']
    feature = row_normalize(feature)
    if norm == True:
        adj = aug_normalized_adjacency(adj)
    for i in range(args.degree):
        feature = adj.dot(feature)
    return feature

得到的预处理图算子：

这里的K（在args中设置）取degree=2。训练并得到结果：红色是训练集，绿色是验证集。

对比一下PyTorch的官方复现——PyTorch需要100~150轮才能达到类似效果，而用PGL和Paddle，50轮甚至30轮就能收敛，速度快得不是一个量级。

回到开头说过的问题：工业场景下的图神经网络应用，时间复杂度和空间复杂度才是真正应该关注的重点。Paddle在速度上的高效毋庸置疑，而且接口简单易懂，这才让论文复现变得既快又简单。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：基于飞桨PGL的图神经网络模型训练实践要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题