채널에 담긴 악마: 미세한 이미지 분류를 위한 상호 채널 손실

미세한 이미지 분류(fine-grained image categorization)를 해결하는 핵심은 미묘한 시각적 특징에 대응하는 구분력 있는 국소적 영역을 탐지하는 데 있다. 복잡한 네트워크 구조를 설계하여 부분 수준의 구분 특징 표현을 학습하는 데 있어 큰 진전이 이루어졌다. 본 논문에서는 과도하게 복잡한 네트워크 설계나 학습 메커니즘 없이도 미세한 세부 정보를 효과적으로 학습할 수 있음을 보여준다. 그 핵심은 단 하나의 손실 함수(loss)만으로도 충분하다는 점이다. 주요 전략은 기존의 통합된 특징 맵에서 시작하는 전통적인 접근 방식과는 달리, 초기 단계부터 개별 특징 채널을 깊이 탐색하는 것이다. 제안하는 손실 함수는 상호 채널 손실(Mutual-Channel Loss, MC-Loss)이라 명명되며, 두 가지 채널 기반 구성 요소로 구성된다: 구분성(discriminality) 구성 요소와 다양성(diversity) 구성 요소이다. 구분성 구성 요소는 새로운 채널별 주의 메커니즘(channel-wise attention mechanism)을 통해 동일 클래스에 속하는 모든 특징 채널이 구분 가능하도록 유도한다. 다양성 구성 요소는 추가적으로 채널들이 공간적으로 서로 배타적이도록 제약한다. 그 결과, 각각의 특징 채널은 특정 클래스에 대해 서로 다른 국소적 구분 영역을 반영하는 특징을 갖게 된다. MC-Loss는 경계 상자(bounding-box)나 부분(part) 레이블과 같은 추가적인 애너테이션 없이도 엔드 투 엔드(end-to-end)로 학습이 가능하며, 추론 과정에서 매우 높은 구분력을 갖는 영역을 생성한다. 실험 결과, 일반적인 기반 네트워크 위에 MC-Loss를 적용했을 때, CUB-Birds, FGVC-Aircraft, Flowers-102, Stanford-Cars의 네 가지 미세 분류 데이터셋에서 모두 최상의 성능을 달성하였다. 추가적인 분석 실험을 통해, 두 가지 다른 기반 네트워크에서 최근 제안된 일반적인 시각 분류 손실 함수들과 비교했을 때 MC-Loss의 우수성을 입증하였다. 코드는 https://github.com/dongliangchang/Mutual-Channel-Loss 에서 공개되어 있다.