
ニューラルネットワークの学習において、そのモデルは利用可能な訓練データに基づいて最適化され、新たな未観測のテストデータに対して良好な汎化性能を発揮することを期待する。損失関数の形状において、絶対値が同じ条件下で、平坦な最小値(flat minimum)は鋭い最小値よりも優れた汎化性能を示すと広く考えられている。これまでの平坦最小値を探索する手法の研究は、主に画像など独立同分布(i.i.d.)のデータに対して行われてきた。一方、グラフデータは頂点同士がエッジで接続されているため、 inherently non-i.i.d. である。本研究では、グラフニューラルネットワーク(GNN)の学習に向けた平坦最小値探索手法およびその組み合わせの有効性を検討する。具体的には、GCNおよびGATに加え、Graph-MLPをより多くの層と大規模なグラフに対応するように拡張した。また、小規模および大規模な引用ネットワーク、共同購入ネットワーク、タンパク質ネットワークデータセットを用い、従来の誘導型(transductive)および誘導型(inductive)の学習プロトコルにおいて、異なる訓練-テスト分割を用いた実験を実施した。その結果、訓練-テスト分割をランダム化した場合、平坦最小値手法を用いることで、GNNモデルの性能が2ポイント以上向上することが示された。Shchurらの指摘に従い、GNNの公正な評価にはランダムな分割が不可欠であり、'Planetoid'など固定された分割はバイアスを含むため、評価に適さない。本研究を通じて、GNNにおける平坦最小値手法の改善および公正な評価に関する重要な知見が得られた。実践者に対しては、特に早期停止(early stopping)を用いる場合、重み平均化技術(weight averaging)を常に使用することを推奨する。重み平均化手法は常に最良の性能を発揮するわけではないが、ハイパーパラメータに対して敏感ではなく、追加の学習を必要とせず、元のモデル構造を変更せずに利用可能であるという利点がある。本研究で使用したすべてのソースコードは、https://github.com/Foisunt/FMMs-in-GNNs にて公開されている。