고차원 상호작용을 통한 약한 감독 하의 미세한 계층 시각 분류

세부 시각 분류(Fine-Grained Visual Categorization, FGVC)는 같은 하위 카테고리 내에서의 변동성이 크고, 서로 다른 하위 카테고리 간의 변동성이 작기 때문에 도전적인 과제로 여겨진다. 최근 연구들은 전문가가 제공한 부위(annotation) 정보를 사용하지 않고, 약한 지도 학습(weakly supervised) 방식으로 이 문제를 해결하고 있다. 이러한 접근 중에서 이중 풀링(bilinear pooling) 기반의 방법들은 깊이 있는 특징 간의 상호작용을 계산하는 데 주로 사용되며, 높은 효과를 보여주고 있다. 그러나 이러한 방법들은 주로 특정 한 층 내의 상관관계에 초점을 맞추고 있으며, 다양한 층 간의 고차 상호작용을 크게 간과하고 있다. 본 연구에서는 다층 특징 간의 고차 상호작용을 고려함으로써 더 구분력 있는 세부 특징을 학습할 수 있음을 주장한다. 이를 위해 우리는 FGVC를 위한 고차 상호작용(High-Order-Interaction, HOI) 방법을 제안한다. 제안한 HOI 방법에서는 세 개의 서로 다른 층 간의 삼차 상호작용을 효율적으로 계산하기 위해 교차층 삼중선형 풀링(cross-layer trilinear pooling)을 도입한다. 이후 다양한 조합의 삼차 상호작용을 융합하여 최종 표현을 구성한다. HOI는 더 구분력 있는 표현을 생성할 수 있으며, 주목력 메커니즘(attention mechanism)과 트리플릿 손실(triplet loss)과 같은 두 가지 대표적인 기법과 쉽게 통합되어 상호보완적인 성능 향상을 얻을 수 있다. 네 가지 FGVC 데이터셋에서 실시한 광범위한 실험 결과, 제안한 방법이 이중 풀링 기반 기법들보다 뛰어난 성능을 보이며, 최신 기술 수준(state-of-the-art)의 성과를 달성함을 입증하였다.