图神经网络的预训练策略

许多机器学习应用需要模型在测试样本上做出准确预测，而这些测试样本的分布与训练样本不同，同时在训练过程中特定任务的标签数据非常稀缺。应对这一挑战的有效方法是在数据丰富的相关任务上预训练模型，然后在感兴趣的下游任务上进行微调。尽管预训练已在许多语言和视觉领域取得了显著效果，但在图数据集上如何有效利用预训练仍然是一个开放问题。本文中，我们开发了一种新的策略和自监督方法来预训练图神经网络（GNNs）。该策略成功的关键在于在单个节点和整个图的层面上预训练一个具有高表达能力的GNN，从而使GNN能够同时学习有用的局部和全局表示。我们系统地研究了多个图分类数据集上的预训练方法。研究发现，仅在单个节点或整个图层面上进行预训练的简单策略只能带来有限的改进，甚至在许多下游任务上导致负迁移。相比之下，我们的策略避免了负迁移，并显著提高了下游任务的泛化性能，在ROC-AUC指标上比未预训练的模型绝对提升了高达9.4%，并在分子性质预测和蛋白质功能预测方面达到了最先进的性能。