GraphMAE：自己教師付きマスクグラフオートエンコーダー

近年、自己教師あり学習（Self-supervised Learning, SSL）は広く研究されている。特に、生成型SSLは自然言語処理をはじめとするAI分野で顕著な成果を上げており、BERTやGPTといったモデルの広範な導入がその一例である。しかし、構造的データ拡張や複雑な学習戦略に大きく依存する対比学習（contrastive learning）がグラフSSLの主流を占めてきた一方で、グラフにおける生成型SSL、特にグラフオートエンコーダ（Graph Autoencoders, GAEs）の進展は、他の分野での期待に比べて十分に実現されていない。本研究では、GAEsの発展を阻害する要因として、再構成目的、学習のロバスト性、誤差評価指標の問題を特定し、その原因を検討する。そこで、これらの課題を緩和するため、マスク付きグラフオートエンコーダ「GraphMAE」を提案する。GraphMAEでは、グラフ構造の再構成ではなく、特徴量の再構成に焦点を当て、マスキング戦略とスケーリングされたコサイン誤差を導入することで、より安定した学習を実現する。21の公開データセットを用いた、3種類のグラフ学習タスクにおける広範な実験結果から、注意深く設計された単純なグラフオートエンコーダであるGraphMAEが、対比型および生成型の最先端手法を一貫して上回ることを示した。本研究は、グラフオートエンコーダの理解を深めるとともに、グラフにおける生成型自己教師あり事前学習の可能性を示した。