분리형 비국소 신경망

비국소 블록은 일반적인 합성곱 신경망의 문맥 모델링 능력을 강화하기 위해 널리 사용되는 모듈이다. 본 논문에서는 비국소 블록을 심층적으로 분석하여, 그 주의(attention) 계산이 두 가지 항으로 분해될 수 있음을 발견하였다. 하나는 두 픽셀 간의 관계를 반영하는 '화이트닝된 쌍항 항'(whitened pairwise term), 다른 하나는 각 픽셀의 선명도(saliency)를 나타내는 '일항 항'(unary term)이다. 또한, 두 항을 별도로 훈련할 경우 서로 다른 시각적 특징을 모델링하는 경향을 관찰하였으며, 예를 들어 화이트닝된 쌍항 항은 영역 내부의 관계를 학습하는 반면, 일항 항은 두드러진 경계를 학습함을 알 수 있었다. 그러나 기존의 비국소 블록에서는 두 항이 밀접하게 결합되어 있어 각 항의 학습을 방해하는 문제가 있었다. 이러한 발견을 바탕으로, 본 논문에서는 두 항을 분리하여 각각의 학습을 보다 효과적으로 유도할 수 있는 '분리형 비국소 블록'(disentangled non-local block)을 제안한다. 제안한 분리 설계가 도시 풍경(Cityscapes), ADE20K, PASCAL Context에서의 의미론적 세분화, COCO에서의 객체 탐지, Kinetics에서의 동작 인식 등 다양한 작업에서 효과적임을 실험을 통해 입증하였다.