18일 전

세부 분류를 위한 주의 깊은 쌍별 상호작용 학습

Peiqin Zhuang, Yali Wang, Yu Qiao
세부 분류를 위한 주의 깊은 쌍별 상호작용 학습
초록

미세 분류(fine-grained classification)는 유사한 카테고리 간의 미세한 차이로 인해 도전적인 문제이다. 대부분의 기존 접근 방식은 개별 입력 이미지의 구별 가능한 표현(discriminative representation)을 학습함으로써 이 문제를 해결하려 한다. 반면 인간은 이미지 쌍을 비교함으로써 대조적 특징(contrastive clues)을 효과적으로 인식할 수 있다. 이러한 사실에 영감을 받아, 본 논문은 단순하면서도 효과적인 주의 집중형 쌍별 상호작용 네트워크(Attentive Pairwise Interaction Network, API-Net)를 제안한다. API-Net은 이미지 쌍 간의 상호작용을 통해 점진적으로 미세 분류를 수행할 수 있다. 구체적으로 API-Net은 입력 쌍 내의 의미적 차이를 포착하기 위해 상호 특징 벡터(mutual feature vector)를 먼저 학습한다. 이후 이 상호 벡터를 각 개별 이미지의 벡터와 비교하여 각 입력 이미지에 대한 게이트(gate)를 생성한다. 이러한 고유한 게이트 벡터는 의미적 차이에 대한 상호 맥락을 계승하며, API-Net이 두 이미지 간의 쌍별 상호작용을 통해 대조적 특징을 주의 깊게 포착할 수 있도록 한다. 또한, 특징 우선순위(feature priorities)를 고려하여 점수 순위 정규화(score ranking regularization)를 도입해 API-Net을 엔드 투 엔드(end-to-end) 방식으로 학습함으로써 모델의 일반화 능력을 더욱 향상시켰다. 우리는 미세 분류 분야의 다섯 가지 대표적인 벤치마크에서 광범위한 실험을 수행하였으며, API-Net은 최근 최고 성능(SOTA) 기법들을 모두 상회하였다. 실험 결과, CUB-200-2011(90.0%), Aircraft(93.9%), Stanford Cars(95.3%), Stanford Dogs(90.3%), NABirds(88.1%)에서 각각 우수한 성능을 기록하였다.