주의 기반 집약을 통한 컨볼루션 네트워크의 강화

모든 합성곱 네트워크에 주의 기반의 전역 맵을 추가하여 비국소적 추론을 가능하게 하는 방법을 제시한다. 최종 평균 풀링을 단일 트랜스포머 블록과 유사한 주의 기반 집계층으로 대체함으로써, 패치들이 분류 결정에 어떻게 기여하는지를 가중치화한다. 이 학습된 집계층은 단순한 패치 기반 합성곱 네트워크와 연결되며, 이 네트워크는 2개의 파라미터(너비와 깊이)로 파라미터화된다. 피라미드 구조와는 달리, 이 아키텍처 계열은 모든 계층에서 입력 패치 해상도를 유지한다. 다양한 컴퓨터 비전 작업(객체 분류, 이미지 세그멘테이션, 탐지)에 대한 실험 결과에 따르면, 정확도와 복잡성 사이의 균형이 놀라울 정도로 경쟁력 있으며, 특히 메모리 소비 측면에서 우수한 성능을 보인다.