Poly-NL: 다항식을 활용한 선형 복잡도 비국소층

공간적 자기주의(Spatial self-attention) 레이어는 비국소(Non-Local) 블록의 형태로, 모든 가능한 위치 간의 쌍별 유사도를 계산함으로써 컨볼루션 신경망(Convolutional Neural Networks)에 장거리 종속성을 도입한다. 이러한 쌍별 함수는 비국소 레이어의 효과성을 뒷받침하지만, 입력 크기에 따라 공간적·시간적으로 복잡도가 제곱에 비례하여 증가한다는 점에서 한계를 지닌다. 이는 실제로 중간 크기의 입력에 대해서도 비국소 블록의 적용을 심각하게 제약하는 요인이다. 기존 연구들은 기초적인 행렬 연산을 수정함으로써 복잡도를 낮추는 데 초점을 맞추었으나, 본 연구에서는 비국소 레이어의 전면적인 표현력을 유지하면서도 복잡도를 선형으로 유지하는 것을 목표로 한다. 우리는 비국소 블록을 3차 다항 함수의 특수한 경우로 재정의함으로써, 쌍별 유사도의 직접 계산을 원소별 곱셈으로 대체함으로써 복잡도를 제곱에서 선형으로 감소시키는 새로운 빠른 비국소 블록을 제안한다. 이 새로운 방법은 ‘Poly-NL’이라 명명되며, 이미지 인식, 인스턴스 세그멘테이션, 얼굴 탐지 등 다양한 작업에서 최신 기술 수준의 성능을 달성하면서도 상당히 낮은 계산 부담을 갖는다.