초록
그래프 신경망에서의 어텐션 메커니즘은 중요한 이웃 노드에 더 큰 가중치를 부여함으로써 더 나은 표현을 가능하게 하도록 설계되어 있다. 그러나 그래프가 노이즈를 포함할 경우, 그래프 어텐션 모델이 실제로 학습하는 내용은 잘 이해되지 않고 있다. 본 논문에서는 노이즈가 포함된 그래프에 적합한 개선된 그래프 어텐션 모델인 자기지도 학습 그래프 어텐션 네트워크(SuperGAT)를 제안한다. 구체적으로, 간선의 존재 여부를 예측하는 자기지도 학습 과제와 호환되는 두 가지 어텐션 형태를 활용하며, 간선의 존재 여부는 노드 간 관계의 중요성에 대한 내재된 정보를 담고 있다. SuperGAT는 간선을 인코딩함으로써 잘못 연결된 이웃 노드를 더 잘 구분할 수 있는 더 표현력 있는 어텐션을 학습한다. 우리는 그래프의 두 가지 특성—동질성(homophily)과 평균 차수(average degree)—가 어텐션 형태와 자기지도 학습의 효과성에 영향을 준다는 것을 발견하였다. 따라서 본 연구의 제안 방법은 이러한 두 그래프 특성이 사전에 알려진 경우 어떤 어텐션 설계를 사용할지에 대한 지침을 제공한다. 17개의 실세계 데이터셋에 대한 실험 결과, 본 연구의 제안 방법은 그중 15개 데이터셋에서 일반화 가능하며, 제안된 레시피에 따라 설계된 모델은 기존 베이스라인 대비 향상된 성능을 보였다.