공감은 기억과 융합된다: 도시 환경에서의 이상 탐지 세그멘테이션을 위한 간단한 접근법

이상 분할(Anomaly segmentation)은 자율 주행과 같은 안전이 중요한 응용 분야에서 핵심적인 과제이며, 특히 도시 환경에서 훈련 과정에서 미처 접하지 못한 카테고리의 이상(Out-of-Distribution, OOD) 객체를 탐지하는 것을 목표로 한다. 이 과제의 핵심 도전 과제는 어려운 내분포(In-distribution) 샘플과 OOD 샘플을 구분하는 방식에 관한 것으로, 아직 명시적으로 논의된 바가 없다. 본 논문에서는 심리학적 연구 결과인 ‘집단은 개인보다 기억 작업에서 더 우수한 성과를 낸다’는 사실에 착안하여, 새로운 간단한 접근법인 ‘공감(Consensus)과 기억(Consensus Synergizes with Memory, CosMe)’을 제안한다. 주요 아이디어는 1) 사전 훈련된 분할 모델의 여러 층에서 추출한 이미지 프로토타입들로 구성된 메모리 백업을 구축하고, 2) 사전 훈련된 모델의 행동을 모방하는 보조 모델을 훈련한 후, 이들의 중간 레벨 특징 간의 공감도를 측정하여 메모리 백업과 상호보완적으로 작용하는 보조적 증거로 활용하는 것이다. CosMe는 어려운 내분포 예제와 OOD 샘플을 효과적으로 구분하는 데 뛰어난 성능을 발휘한다. 다양한 도시 환경 이상 분할 데이터셋에 대한 실험 결과를 통해, CosMe가 기존 접근법들에 비해 크게 우수한 성능을 보임을 확인하였다.