グラフニューラルネットワークの事前学習戦略

多くの機械学習の応用は、訓練データとは分布が異なるテスト例に対して正確な予測を行う必要があり、一方で訓練中にタスク固有のラベルが不足している場合があります。この課題への効果的なアプローチは、データが豊富な関連タスクでモデルを事前学習し、その後、興味のある下流タスクで微調整することです。事前学習は多くの言語と視覚領域で効果的でしたが、グラフデータセットでの効果的な事前学習の方法については未解決の問題となっています。本論文では、新しい戦略と自己監督学習手法を開発し、グラフニューラルネットワーク（GNN）の事前学習に適用します。当戦略の成功の鍵は、個々のノードレベルと全体のグラフレベルで表現力豊かなGNNを事前学習させることにより、局所的および全局的な有用な表現を同時に学ばせることです。私たちは複数のグラフ分類データセット上で事前学習を系統的に研究しました。その結果、個々のノードレベルまたは全体のグラフレベルでのみGNNを事前学習させる単純な戦略は限られた改善しかもたらさず、多くの下流タスクにおいて負の転移さえ引き起こす可能性があることがわかりました。対照的に、私たちの戦略は負の転移を回避し、下流タスク間での汎化性能を大幅に向上させます。非事前学習モデルに対するROC-AUC値で最大9.4%の絶対的な改善を達成し、分子特性予測やタンパク質機能予測において最先端の性能を実現しています。