셀 어텐션 네트워크

그래프 주의력 네트워크(Graph Attention Networks)는 도입 이후 그래프 표현 학습 과제에서 뛰어난 성과를 거두어 왔다. 그러나 이러한 네트워크는 노드 간의 쌍별 관계만 고려하기 때문에, 많은 실세계 데이터셋에 존재하는 고차원 상호작용을 충분히 활용하지 못한다. 본 논문에서는, 그래프의 정점 위에 정의된 데이터를 처리하는 신경망 아키텍처인 셀 주의력 네트워크(Cell Attention Networks, CANs)를 제안한다. 이는 고차원 상호작용을 포착하기 위해 도입된 셀 복합체(cell complex)의 1-스켈레톤으로 그래프를 표현한다. 특히, 셀 복합체에 의해 인코딩된 하위 및 상위 이웃(lower and upper neighborhoods)을 활용하여, 두 개의 독립적인 마스크된 자기 주의력(self-attention) 메커니즘을 설계함으로써 기존의 그래프 주의력 전략을 일반화한다. CANs에서 사용된 접근 방식은 계층적인 구조를 가지며, 다음과 같은 단계를 포함한다: i) 노드 특징에서 엣지 특징을 학습하는 리프팅 알고리즘; ii) 하위 및 상위 이웃을 통해 엣지 특징의 최적 조합을 찾는 셀 주의력 메커니즘; iii) 의미 있는 특징의 압축된 집합을 추출하는 계층적 엣지 풀링(edge pooling) 메커니즘. 실험 결과는 CAN이 낮은 복잡도를 가지면서도, 그래프 기반 학습 과제에서 최신 기술과 경쟁 가능한 성능을 보임을 보여준다.