15日前

シンプルなアーキテクチャ設計によるグラフニューラルネットワークの改善

Sunil Kumar Maurya, Xin Liu, Tsuyoshi Murata
シンプルなアーキテクチャ設計によるグラフニューラルネットワークの改善
要約

グラフニューラルネットワーク(GNN)は、グラフ構造に基づく追加制約を適用することで、データ上での学習に有用なツールとして登場した。これらのグラフは、通常、エンティティ間の内在的な関係を仮定して構築される。近年、アーキテクチャ設計の大幅な進展により、さまざまな予測タスクにおける性能が著しく向上している。一般的に、これらのニューラルアーキテクチャは、層の深さとノード特徴の集約ステップを統合している。このため、異なるホップ(hop)における特徴の重要性や、ニューラルネットワーク層の表現力の分析が困難となる。異なるグラフデータセットでは、特徴やクラスラベル分布における同質性(homophily)や異質性(heterophily)の程度が異なり、事前の情報なしにどの特徴が予測タスクにおいて重要であるかを理解することは極めて重要である。本研究では、GNNのノード特徴集約ステップと層の深さを分離し、GNNの設計に向けた複数の重要な戦略を導入する。具体的には、異なるホップ距離から集約された特徴に対する「ソフト選択(Soft-Selector)」としてソフトマックス関数を正則化項として用いる手法と、GNN層間での「ホップ正規化(Hop-Normalization)」を提案する。これらの技術を統合することで、シンプルかつ浅い構造を持つ特徴選択型グラフニューラルネットワーク(Feature Selection Graph Neural Network, FSGNN)を構築し、実証的に従来の最先端GNNモデルを上回る性能を達成した。特にノード分類タスクにおいて、最大64%の精度向上を実現した。さらに、モデルが学習するソフト選択パラメータの分析により、予測タスクにおける各特徴の重要性を簡便に評価する手法が得られる。最後に、実験を通じて、本モデルが数百万ノード、数十億エッジを有する大規模グラフに対してもスケーラブルであることを示した。

シンプルなアーキテクチャ設計によるグラフニューラルネットワークの改善 | 最新論文 | HyperAI超神経