초록
그래프 어텐션 네트워크(GATs)는 가장 인기 있는 그래프 신경망(GNN) 아키텍처 중 하나로, 그래프 표현 학습을 위한 최신 아키텍처로 여겨집니다. GAT에서 각 노드는 자신의 표현을 쿼리로 사용하여 이웃 노드에 주의를 기울입니다. 그러나 본 논문에서는 GAT가 매우 제한적인 종류의 주의를 계산한다는 것을 보여줍니다: 주의 점수의 순위는 쿼리 노드와 무관합니다. 우리는 이러한 제한된 주의를 정적으로 정의하고 이를 동적 주의와 구별합니다. GATs가 정적 주의 메커니즘을 사용하기 때문에, 간단한 그래프 문제조차도 GAT가 표현할 수 없는 경우가 있습니다: 제어된 문제에서 정적 주의가 GAT가 훈련 데이터에 맞추는 것을 방해하는 것을 보여주었습니다. 이 제한을 해소하기 위해, 연산 순서를 수정하여 간단한 해결책을 도입하고, GAT보다 엄격히 더 표현력이 높은 동적 그래프 주의 변형인 GATv2를 제안합니다. 우리는 광범위한 평가를 수행하여 GATv2가 11개 OGB 벤치마크 및 기타 벤치마크에서 GAT를 능가함을 보여주었으며, 파라미터 비용은 동일하게 유지되었습니다. 우리의 코드는 https://github.com/tech-srl/how_attentive_are_gats 에서 확인할 수 있습니다. GATv2는 PyTorch Geometric 라이브러리, Deep Graph Library 및 TensorFlow GNN 라이브러리의 일부로 제공됩니다.