要約
グラフニューラルネットワークにおけるアテンション機構は、重要な隣接ノードに较大的な重みを割り当てることで、より優れた表現を実現することを目的として設計されている。しかし、特にノイズが含まれるグラフにおいて、グラフアテンションが学習する内容については十分に理解されていない。本論文では、ノイズを含むグラフ向けに改善されたアテンションモデルとして、自己教師付きグラフアテンションネットワーク（SuperGAT）を提案する。具体的には、エッジの予測という自己教師付きタスクと整合性を持つ2種類のアテンション形式を活用し、エッジの存在・非存在がノード間の関係性の重要性に関する内在的な情報を含んでいることを利用している。エッジ情報を符号化することで、SuperGATは誤接続された隣接ノードをより明確に区別するための表現力豊かなアテンションを学習する。本研究では、アテンション形式と自己教師付き学習の効果に影響を与える2つのグラフ特性、すなわち「ホモフィリー（同質性）」と「平均次数」を同定した。このため、これらのグラフ特性が既知の場合にどのアテンション設計を採用すべきかについて、実用的な指針を提供できる。17の実世界データセットを用いた実験により、本研究の提案手法がそのうち15のデータセットにおいて一般化性能を示し、提案されたレシピに基づいて設計されたモデルがベースラインモデルを上回る性能を達成したことが確認された。