자기주의적 어텐션을 넘어서: 시각 작업을 위한 두 개의 선형 계층을 활용한 외부 어텐션

주의 메커니즘, 특히 자기주의(self-attention)는 시각적 작업을 위한 깊은 특징 표현에서 점점 더 중요한 역할을 해왔다. 자기주의는 단일 샘플 내의 장거리 의존성을 포착하기 위해 모든 위치 간의 쌍별 유사도를 활용하여 특징의 가중 평균을 계산함으로써 각 위치의 특징을 갱신한다. 그러나 자기주의는 이차 복잡도를 가지며, 서로 다른 샘플 간의 잠재적 상관관계를 무시한다는 한계가 있다. 본 논문에서는 두 개의 외부적이고 소규모이며 학습 가능한 공유 메모리 기반의 새로운 주의 메커니즘인 '외부주의(external attention)'를 제안한다. 이는 단순히 두 개의 연속된 선형 계층과 두 개의 정규화 계층을 사용함으로써 쉽게 구현 가능하며, 기존의 인기 있는 아키텍처에서 자기주의를 간편하게 대체할 수 있다. 외부주의는 선형 복잡도를 가지며, 모든 데이터 샘플 간의 상관관계를 암묵적으로 고려한다. 또한 외부주의에 다중 헤드(multi-head) 메커니즘을 도입하여, 이미지 분류를 위한 전적으로 MLP 기반의 아키텍처인 외부주의 MLP(EAMLP)를 제안한다. 이미지 분류, 객체 탐지, 세분할, 인스턴스 세분할, 이미지 생성, 포인트 클라우드 분석 등 다양한 작업에 대한 광범위한 실험 결과, 제안하는 방법이 자기주의 및 일부 변형 대비 경쟁력 있거나 더 우수한 성능을 제공함과 동시에 훨씬 낮은 계산 및 메모리 비용을 가지는 것으로 나타났다.