要約
グラフアテンションネットワーク（GATs）は、最も人気のあるグラフニューラルネットワーク（GNN）のアーキテクチャの一つであり、グラフ上の表現学習において最先端のアーキテクチャとして認識されています。GATでは、各ノードは自身の表現をクエリとして、近傍ノードに注目します。しかし、本論文では、GATが非常に限定的な種類のアテンションしか計算しないことを示しています：アテンションスコアの順位付けは、クエリノードに依存していないのです。私たちはこの制限されたアテンションを静的アテンションと定義し、より表現力豊かな動的アテンションと区別します。GATが静的アテンションメカニズムを使用しているため、単純なグラフ問題でもGATが表現できない場合があります：制御された問題において、静的アテンションがGATに訓練データへの適合さえ妨げていることを示しています。この制限を取り除くために、操作の順序を変更する簡単な修正を導入し、GATv2という動的なグラフアテンション変種を提案します。これは静的アテンションよりも厳密に表現力が豊かです。私たちは広範な評価を行い、11つのOGBベンチマークやその他のベンチマークでGATv2がGATを上回ることを示しました。パラメトリックコストは同等に保っています。私たちのコードは https://github.com/tech-srl/how_attentive_are_gats で公開されています。また、GATv2はPyTorch Geometricライブラリ、Deep Graph LibraryおよびTensorFlow GNNライブラリの一部として利用可能です。