15日前

FDGATII:初期残差およびアイデンティティマッピングを備えた高速動的グラフアテンション

Gayan K. Kulatilleke, Marius Portmann, Ryan Ko, Shekhar S. Chandra
FDGATII:初期残差およびアイデンティティマッピングを備えた高速動的グラフアテンション
要約

グラフニューラルネットワーク(GNN)は多様な分野において注目を集めているが、グラフ構造の入力は依然として大きな課題を抱えており、具体的には(a)過剰なスムージング、(b)ノイズを含む近傍ノード(異質性:heterophily)、および(c)「停止状態問題(suspended animation problem)」が挙げられる。これらの問題を同時に解決するために、我々は注目機構(attention mechanism)が選択的情報を集中できるという特性を活用し、さらに2つの特徴保持機構を補完的に導入した新しいグラフニューラルネットワーク「FDGATII」を提案する。FDGATIIは、より表現力の高い動的自己注意(dynamic self-attention)と初期残差(Initial Residuals)および恒等写像(Identity Mapping)を統合することで、異質性を持つデータセットにおける近傍ノード由来のノイズを効果的に扱う。また、スパースな動的注意機構を採用しているため、構造的に並列処理が可能であり、計算効率も高いという特徴を持つ。このため、理論的に任意の規模のグラフに容易にスケーラブルである。本手法は7つのデータセットを用いて広範に評価された結果、完全教師ありタスクにおいてGATやGCNを基盤とする従来手法を上回る精度と性能を実現した。特にChameleonおよびCornellデータセットでは、ドメイン特有のグラフ前処理を一切行わずに最先端の結果を達成し、本手法の汎用性と公平性を実証した。

FDGATII:初期残差およびアイデンティティマッピングを備えた高速動的グラフアテンション | 最新論文 | HyperAI超神経