15일 전

그래프 컨볼루션 신경망에서의 전이 엔트로피

Adrian Moldovan, Angel Caţaron, Răzvan Andonie
그래프 컨볼루션 신경망에서의 전이 엔트로피
초록

그래프 컨볼루션 네트워크(GCN)는 그래프 위에서 컨볼루션 연산을 수행하는 그래프 신경망(Graph Neural Networks)이다. 기존의 컨볼루션 신경망(Convolutional Neural Networks)과 달리, GCN은 노드 수가 변할 수 있고 노드들이 순서가 없는 그래프 구조에서 추론을 수행하도록 설계되어 있다. 본 연구에서는 GCN과 관련된 두 가지 중요한 과제를 다룬다: i) 과도한 스무딩(oversmoothing) 문제; ii) 노드 간 관계성 특성(즉, 이질성 heterophily 및 동질성 homophily)의 활용. 과도한 스무딩은 반복적인 정보 집계 과정으로 인해 노드의 구분 능력이 저하되는 현상이다. 이질성은 서로 다른 클래스의 노드들이 연결되는 경향을 의미하고, 동질성은 유사한 노드들이 연결되는 경향을 의미한다. 본 연구에서는 이러한 문제를 해결하기 위해 전이 엔트로피(Transfer Entropy, TE) 기반의 새로운 전략을 제안한다. 전이 엔트로피는 시간에 따라 변화하는 두 노드 간 정보의 방향성 전달 정도를 측정하는 지표이다. 연구 결과, 노드의 이질성과 차수(degree) 정보를 노드 선택 메커니즘으로 활용하고, 특성 기반의 전이 엔트로피 계산을 병행할 경우, 다양한 GCN 모델에서 정확도가 향상됨을 확인하였다. 제안한 모델은 기존 GCN 모델의 분류 정확도를 쉽게 개선할 수 있도록 수정이 가능하다. 다만, 전이 엔트로피를 수많은 그래프 노드에 대해 계산해야 하므로, 성능 향상의 대가로 상당한 계산 부담이 수반된다.