초록
최근 딥러닝의 발전으로 인해 Transformer 아키텍처가 주요 모델링 패러다임으로 자리 잡았다. Transformer의 성공의 핵심은 쿼리 행렬과 키 행렬 간의 유사도를 평가하여 값 행렬을 조절하는 자기주의(self-attention) 메커니즘이다. 이 연산은 이중 그래프(convolution)와 뚜렷한 유사성을 지니고 있으며, 이에 따라 이중 그래프 합성곱이 자기주의의 대안으로 사용될 수 있는지에 대한 탐구가 이루어졌다. 본 연구에서는 이 개념을 체계화하기 위해 이중 그래프 푸리에 변환 기반의 합성 유니타리 이중 그래프 합성곱을 제안한다. 이를 통해 도출된 모델인 Converter는 Transformer를 방향성 그래프 신경망(Directed Graph Neural Network, DGNN) 형태로 효과적으로 변환한다. 우리는 Converter를 Long-Range Arena 벤치마크, 장문 문서 분류, DNA 서열 기반 분류 체계 분류 등에 적용하여 실험을 수행하였다. 실험 결과, Converter는 계산 효율성과 아키텍처의 단순성을 유지하면서도 우수한 성능을 달성함을 입증하였으며, 이는 가볍지만 강력한 Transformer 변종임을 입증한다.