エキスパートの混合と分離型メッセージ伝播の出会い：一般的で適応的なノード分類に向けて

グラフニューラルネットワーク（GNN）は、グラフレプリゼンテーション学習において優れた性能を発揮しますが、異質なデータや長距離依存関係の処理には苦戦しています。一方、グラフトランスフォーマーは自己注意機構を通じてこれらの問題に対処しますが、大規模なグラフではスケーラビリティとノイズの課題に直面しています。これらの制約を克服するため、我々はノード分類向けの汎用モデルアーキテクチャであるGNNMoEを提案します。このアーキテクチャは、細かいメッセージ伝播操作とエキスパートの混合メカニズムを柔軟に組み合わせることで特徴エンコーディングブロックを構築します。さらに、各ノードに最も適したエキスパートネットワークを割り当てるソフトゲート層とハードゲート層を取り入れることで、モデルの表現力と異なるグラフタイプへの適応性を向上させます。また、GNNMoEには適応的な残差接続と強化されたFFNモジュールを導入し、ノード表現の表現力をさらに高めています。広範な実験結果から、GNNMoEは様々な種類のグラフデータに対して非常に優れた性能を示し、過度な平滑化問題や全体的なノイズを効果的に軽減し、モデルの堅牢性と適応性を向上させつつ、大規模なグラフでの計算効率も確保していることが確認されています。