基于 DGL 实现 ARMA 卷积图神经网络：从 ARMA 滤波器原理到节点分类实战

人工智能机器学习深度学习图计算【免费下载链接】dglPython package built to ease deep learning on graph, on top of existing DL frameworks.项目地址https://gitcode.com/gh_mirrors/dg/dgl点击查看免费下载本文以 DGLDeep Graph Library官方示例仓库中的 ARMA 模型实现examples/pytorch/arma为核心完整讲解Graph Neural Networks with convolutional ARMA filtersarXiv:1901.01343论文提出的 ARMA 图卷积模型如何在 DGL 中落地包括 ARMA 滤波器的数学动机、ARMAConv与ARMA4NC的源码级实现、三个经典引文网络数据集的训练配置、命令行参数详解以及最终的节点分类精度对照。读完本文你将能够在 DGL 环境下独立复现 ARMA 模型在 Cora、Citeseer、Pubmed 上的训练与评测流程并能理解 K 栈stacks与 T 层layers两个核心超参数对模型表达能力的影响。ARMA 模型简介为什么用 AR 与 MA 逼近图卷积核传统的 GCN 使用固定的多项式/切比雪夫展开来近似图卷积核而 ARMAAuto-Regressive Moving Average自回归滑动平均滤波器通过对滤波器响应进行有理函数rational function近似能够更灵活地拟合图频域上的任意频率响应。ARMA 图卷积网络将每一层图卷积替换为 ARMA 滤波器从而获得更强的表达能力和更好的抗过平滑over-smoothing能力。在本仓库实现中ARMA 滤波器通过两个核心超参数来控制逼近精度num-stacksK并行堆叠的 ARMA 滤波器个数。模型运行 K 个独立的滤波器最后取 K 个输出的均值。num-layersT每个滤波器内部的递归层数即滤波器逼近 ARMA 传递函数的展开深度。这两个参数分别对应 model.py 中ARMAConv类的self.K num_stacks与self.T num_layers。K 个并行分支相互独立、共享同样的输入特征最终通过torch.stack(output).mean(dim0)融合这一设计既保留了 ARMA 滤波器的逼近能力又提升了训练的稳定性。环境依赖与数据准备依赖版本README 给出的依赖组合如下README.mddgl numpy 1.19.5 networkx 2.5 scikit-learn 0.24.1 tqdm 4.56.0 torch 1.7.0代码主体基于 Python 3.6 编写。其中dgl提供图数据结构与消息传递原语torch提供自动求导与优化器tqdm用于训练进度条展示scikit-learn与networkx服务于数据加载与预处理链路。需要说明的是以上版本为示例编写时的锁定环境在实际复现时只要保持 DGL 与 PyTorch 的兼容关系例如更新版本组合命令与代码通常无需修改即可运行。数据集DGL 内置引文网络示例使用 DGL 内置的CoraGraphDataset、CiteseerGraphDataset、PubmedGraphDataset三个数据集它们都定义在 python/dgl/data/citation_graph.py 中继承自统一的CitationGraphDataset基类。三者均为单标签节点分类任务节点代表论文、边代表引用关系节点特征为词袋表示行归一化并内置了 train/val/test 掩码Dataset#Nodes#Edges#Feats#Classes#Train Nodes#Val Nodes#Test NodesCora2,70810,5561,4337(single label)1405001000Citeseer3,3279,2283,7036(single label)1205001000Pubmed19,71788,6515003(single label)605001000从源码看citation_graph.pyCoraGraphDataset在构造时默认reverse_edgeTrue即会将无向引用关系以对称边形式加入图中这正是 ARMA 卷积需要无向图、入度等于出度假设的前提图对象通过dataset[0]取出其节点数据ndata包含feat行归一化后的节点特征矩阵label类别标签train_mask/val_mask/test_mask训练/验证/测试节点掩码。数据集首次使用时由 DGL 自动下载并缓存在本地无需手工准备文件。命令行参数详解README.md 将参数划分为数据集、GPU、模型三组这里结合 citation.py 中的argparse定义给出完整说明数据集选项参数类型说明默认值--datasetstr图数据集名称可选 Cora / Citeseer / PubmedCoracitation.py中对该参数做了白名单校验当取值不属于上述三者时抛出ValueError(Dataset {} is invalid.)。GPU 选项参数类型说明默认值--gpuintGPU 索引-1表示使用 CPU设备选择逻辑位于 citation.py当gpu 0且torch.cuda.is_available()为真时使用cuda:{gpu}否则回退到 CPU。模型选项参数类型说明默认值--epochsint训练轮数2000--early-stoppingint早停轮数验证集精度连续多少轮无提升则停止100--lrfloatAdam 优化器学习率0.01--lambfloatL2 正则化系数weight decay0.0005--hid-dimint隐藏层维度16--num-stacksintARMA 滤波器并行栈数 K2--num-layersint每个滤波器递归层数 T1--dropoutfloat所有层应用的 dropout 比例0.75注意--num-stacks与--num-layers在源码注释中分别写作 Number of K 与 Number of T即上文介绍的滤波器并行数与递归深度。使用方法三个数据集的复现命令README 给出的训练命令非常简洁直接运行即可在测试集上输出精度# Cora: python citation.py --gpu 0 # Citeseer: python citation.py --gpu 0 --dataset Citeseer --num-stacks 3 # Pubmed: python citation.py --gpu 0 --dataset Pubmed --dropout 0.25 --num-stacks 1几点解读Cora 使用全部默认参数仅指定 GPUCiteseer 将 K 从 2 提升到 3更强的滤波器逼近能力Pubmed 将 dropout 从 0.75 降至 0.25 并将 K 降为 1这是针对 Pubmed 数据规模与特征维度500 维、近 2 万节点做出的正则化调整。无 GPU 环境可将--gpu 0替换为--gpu -1或直接省略程序自动落到 CPU 执行。训练脚本的运行流程citation.py 的主流程分为四个阶段完整展示了 DGL 全图监督训练的经典范式数据准备按--dataset加载对应的 DGL 数据集取出唯一的图对象dataset[0]从ndata中弹出label、feat并搬运到设备将三个掩码转成训练/验证/测试索引torch.nonzero(...).squeeze()最后将整图搬运到设备。模型创建以特征维度、隐藏维度、类别数、K、T、ReLU 激活与 dropout 构造ARMA4NC。训练组件损失函数用nn.CrossEntropyLoss()优化器用optim.Adam(model.parameters(), lrargs.lr, weight_decayargs.lamb)L2 正则通过 weight decay 注入。训练循环每轮全图前向logits model(graph, feats)仅用训练节点计算交叉熵损失与精度并反向传播验证阶段关闭梯度用验证节点计算精度当验证精度连续--early-stopping轮无提升时提前终止并打印Early stop.否则保存当前最优模型copy.deepcopy(model)。训练结束后用最优模型在测试集上输出Test Acc {:.4f}。值得一提的是脚本末尾默认将整个训练过程重复100 次并对 100 个测试精度求均值与标准差np.mean/np.std保留 3 位小数这正是 README 性能表中 ± 误差棒的来源也提醒读者单次运行存在随机波动报告精度应基于多次重复实验。源码解析ARMAConv 的 DGL 实现核心实现位于 model.py共两个类ARMAConv单层 ARMA 卷积与ARMA4NC面向节点分类的两层堆叠模型。参数初始化ARMAConv.__init__按 K 个并行栈分别创建三组线性层model.pyw_0每个栈的浅层权重nn.Linear(in_dim, out_dim, biasFalse)用于递归第 0 步w每个栈的深层权重nn.Linear(out_dim, out_dim, biasFalse)用于递归第 1 步及之后v每个栈的残差投影权重nn.Linear(in_dim, out_dim, biasFalse)将原始输入直接投影到输出维度bias形状为(K, T, 1, out_dim)的可学习偏置覆盖每个栈每一层。reset_parameters使用 Glorot 均匀初始化stdv sqrt(6.0 / (fan_in fan_out))填充三组权重并将偏置置零。前向传播对称归一化 消息传递 递归展开ARMAConv.forward的流程model.py是理解 ARMA 滤波器的关键with g.local_scope(): init_feats feats # 假设图为无向图入度等于出度 degs g.in_degrees().float().clamp(min1) norm torch.pow(degs, -0.5).to(feats.device).unsqueeze(1) output [] for k in range(self.K): feats init_feats for t in range(self.T): feats feats * norm g.ndata[h] feats g.update_all(fn.copy_u(h, m), fn.sum(m, h)) feats g.ndata.pop(h) feats feats * norm ... if t 0: feats self.w_0str(k) else: feats self.wstr(k) feats self.dropout(self.vstr(k)) feats self.vstr(k)) if self.bias is not None: feats self.bias[k][t] if self.activation is not None: feats self.activation(feats) output.append(feats) return torch.stack(output).mean(dim0)逐段解读对称归一化先取入度并clamp(min1)防止除零再计算deg^(-0.5)。在乘归一化系数 → 邻居聚合update_all→ 再乘归一化系数的组合下等价于D^{-1/2} A D^{-1/2}的对称归一化邻接矩阵乘法与 GCN 的归一化方式一致。代码注释明确假设图为无向图因此in_degrees与out_degrees相同。消息传递g.update_all(fn.copy_u(h, m), fn.sum(m, h))将每个节点的特征h沿边复制为消息m再对邻居消息求和汇聚回节点。这是 DGL 内置消息函数的高效写法heterograph.py避免将节点特征显式拷贝到边特征g.local_scope()则保证ndata的修改不会泄漏到外部图对象。递归展开T 层第 0 步使用w_0线性变换后续步骤使用w形成 ARMA 滤波器的递归逼近。输入残差self.vstr(k)将原始输入投影到输出维度并加入当前步输出。实现中采用双 dropout技巧——先 dropout 输入再投影、先投影再 dropout 输入各一次并相加这是为了在训练与推理之间保持一致的正则化强度dropout 只作用于训练阶段。偏置与激活逐栈逐层加入可学习偏置bias[k][t]随后施加激活函数本示例为 ReLU。K 栈融合K 个并行滤波器各产生一份输出最终取mean得到该卷积层的输出。ARMA4NC节点分类的两层模型model.py 中的ARMA4NC将两个ARMAConv层堆叠第一层将输入特征映射到hid_dim并接 ReLU中间施加 dropout第二层映射到类别数输出。前向过程为feats F.relu(self.conv1(g, feats)) feats self.dropout(feats) feats self.conv2(g, feats) return feats输出直接作为 logits 交给CrossEntropyLoss使用。性能表现节点分类精度对照README 给出了三类数据集的测试精度对照多次重复实验的均值 ± 标准差DatasetCoraCiteseerPubmedMetrics(Table 1.Node classification accuracy)83.4±0.672.5±0.478.9±0.3Metrics(PyG)82.3±0.570.9±1.178.3±0.8Metrics(DGL)80.9±0.671.6±0.875.0±4.2解读时需注意Table 1 指论文中的官方报告值是复现的目标基准DGL 版本本文示例在 Citeseer 上达到 71.6±0.8高于 PyG 版本的 70.9±1.1与论文值接近在 Cora 与 Pubmed 上亦处于同一量级Pubmed 上 DGL 的方差±4.2较大这与 Pubmed 训练节点极少仅 60 个且模型在低训练样本下对随机初始化敏感有关也解释了为何复现命令对 Pubmed 单独调低了 dropout 与 K。复现要点与扩展建议保证多次重复由于citation.py默认重复训练 100 次并报告均值与标准差单次运行如修改脚本或使用自己的入口得到的精度波动可能较大报告结果时应遵循同样的多次实验约定。理解 K 与 T 的权衡K 越大滤波器逼近能力越强但计算开销线性增加T 越大每个滤波器的递归越深。对较小数据集Citeseer提高 K 有帮助而对数据规模大、特征维度低的 Pubmed 降低 K 与 dropout 更合适。无向图假设实现依赖入度等于出度的对称归一化因此请保持 DGL 数据集默认的reverse_edgeTrue行为或在自定义图上显式添加反向边。扩展方向如需在更大图上应用可将全图训练替换为 DGL 的邻居采样neighbor sampling与dgl.dataloading数据加载器如需引入边特征或异构图可在update_all基础上叠加自定义消息函数与etype参数。完整的可运行代码与模型定义请参阅 examples/pytorch/arma/model.py 与 examples/pytorch/arma/citation.py数据集实现细节见 python/dgl/data/citation_graph.py。赞分享人工智能机器学习深度学习图计算【免费下载链接】dglPython package built to ease deep learning on graph, on top of existing DL frameworks.项目地址https://gitcode.com/gh_mirrors/dg/dgl点击查看免费下载相关推荐使用 DGL 实现 SGC 简化图卷积网络从原理到节点分类实战使用 DGL 实现 SGC 简化图卷积网络从原理到节点分类实战 本篇技术指南以 DGL 仓库中 examples/pytorch/sgc https://li人工智能机器学习深度学习图计算基于 DGL 实现拓扑自适应图卷积网络TAGCN节点分类实战基于 DGL 实现拓扑自适应图卷积网络TAGCN节点分类实战 本文围绕 DGL 官方示例 examples/pytorch/tagcn 展开完整讲解 To人工智能机器学习深度学习图计算基于DGL的图神经网络节点分类实战教程基于DGL的图神经网络节点分类实战教程 概述 本教程将介绍如何使用DGL Deep Graph Library 实现基于GraphSAGE模型的节点分类任务。我人工智能机器学习深度学习图计算创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考