2ヶ月前

ラベル伝播と単純モデルの組み合わせがグラフニューラルネットワークを上回る

Qian Huang; Horace He; Abhay Singh; Ser-Nam Lim; Austin R. Benson
ラベル伝播と単純モデルの組み合わせがグラフニューラルネットワークを上回る
要約

グラフニューラルネットワーク(GNN)は、グラフ上の学習において主流の技術です。しかし、GNNが実際の応用で成功している理由や、高性能を達成するためにGNNが必要かどうかについては、まだ十分な理解が得られていません。本研究では、多くの標準的な伝播型ノード分類ベンチマークにおいて、グラフ構造を無視する浅いモデルと、ラベル構造の相関を利用した2つの単純な後処理ステップを組み合わせることで、最先端のGNNの性能を超えるか同等の性能を達成できることを示します。これらの後処理ステップは(i) 「誤差相関」(error correlation):訓練データにおける残差誤差をテストデータに広げて誤差を訂正し、(ii) 「予測相関」(prediction correlation):テストデータでの予測結果を平滑化するというものです。この全体的な手順を「訂正と平滑化」(Correct and Smooth, C&S)と呼びます。当手法は、従来のグラフベースの半教師あり学習方法から派生した標準的なラベル伝播技術に対する単純な修正によって実装されます。当アプローチは、パラメータ数がごくわずかでありながら、幅広いベンチマークで最先端のGNNと同等またはそれ以上の性能を達成します。例えば、OGB-Productsデータセットでは、137倍少ないパラメータ数と100倍以上の短い学習時間で既知の最高性能を持つGNNを超えることができました。当手法の性能は、ラベル情報を学習アルゴリズムに直接組み込むこと(従来の手法で行われていたように)が容易かつ大幅な性能向上につながることを強調しています。また、当手法は大規模なGNNモデルにも組み込むことができ、さらなる改善をもたらします。OGB結果に関するコードは https://github.com/Chillee/CorrectAndSmooth で公開されています。