초록
그래프 신경망 (GNNs)은 그래프 구조 데이터의 표현을 학습하는 데 강력한 도구입니다. 대부분의 GNNs는 메시지 전달 방식을 사용하여, 노드의 임베딩이 반복적으로 이웃 노드들의 정보를 집계함으로써 업데이트됩니다. 노드 영향력을 더 잘 표현하기 위해, 집계 과정에서 노드에 훈련 가능한 가중치를 할당하는 주의 메커니즘이 인기를 얻고 있습니다. 주의 기반 GNNs는 다양한 작업에서 뛰어난 결과를 달성했지만, 그들의 차별화 능력에 대한 명확한 이해가 부족합니다. 본 연구에서는 주의 메커니즘을 애그리게이터로 채택한 GNN의 표현 특성을 이론적으로 분석합니다. 우리의 분석은 이러한 주의 기반 GNNs가 특정 구분된 구조를 항상 구별하지 못하는 모든 경우를 결정합니다. 이러한 경우들은 주의 기반 집계에서 카디널리티 정보를 무시함으로써 발생합니다. 주의 기반 GNNs의 성능을 개선하기 위해, 어떠한 종류의 주의 메커니즘에도 적용할 수 있는 카디널리티 보존 주의 (Cardinality Preserved Attention, CPA) 모델을 제안합니다. 노드 및 그래프 분류 실험은 우리의 이론적 분석을 확인하고, 제안된 CPA 모델들의 경쟁력 있는 성능을 보여줍니다.