대규모 이질적 정보 네트워크에서의 비국소적 어텐션 학습

이질적 정보 네트워크(Heterogeneous Information Network, HIN)는 실제 데이터셋 내 풍부한 구조적 정보를 요약하며, 다양한 대규모 데이터 응용 분야에서 중요한 역할을 한다. 최근 그래프 신경망(GNN)은 HIN의 표현 학습으로 확장되어 왔다. 그중 최근의 주목할 만한 발전은 노드 수준과 의미 수준의 주의 메커니즘을 모두 통합한 계층적 주의 메커니즘(hierarchical attention mechanism)이다. 그러나 HIN은 다양한 유형의 엣지로 인해 더 밀집된 연결 구조를 가지기 쉬우므로, 그래프 컨볼루션 층을 반복적으로 적용할 경우 노드 임베딩이 매우 빠르게 구분 불가능해지는 과도한 평활화(oversmoothness) 현상이 발생한다. 과도한 평활화를 방지하기 위해 기존의 HIN을 대상으로 한 그래프 신경망은 일반적으로 얕은 구조를 가지며, 이로 인해 국소적 이웃을 넘어선 정보를 무시하게 된다. 이러한 설계적 결함은 장거리 의존성(long-range dependencies)을 포착하는 데 중점을 두는 비국소 학습(non-local learning)의 개념을 위반한다. 이 한계를 적절히 해결하기 위해 본 연구에서는 이질적 정보 네트워크에서의 비국소 주의 메커니즘(NLAH: Non-local Attention in Heterogeneous Information Networks)을 제안한다. 제안하는 프레임워크는 계층적 주의 메커니즘을 보완하기 위해 비국소 주의 구조를 활용함으로써, 동시에 국소적 정보와 비국소적 정보를 효과적으로 활용할 수 있다. 더불어, 대규모 데이터셋에 대한 계산 비용을 줄이기 위해 가중치 샘플링 전략(weighted sampling schema)을 설계하였다. 세 가지 서로 다른 실제 이질적 정보 네트워크에서 실시한 광범위한 실험 결과, 제안한 프레임워크는 뛰어난 확장성과 함께 최첨단 기준 대비 유의미한 성능 우위를 보였다.