TransIFC: 효율적인 미세한 새 이미지 분류를 위한 불변 촉매 인식 특징 집중 학습

미세한 종 분류를 위한 새 이미지 분류(Fine-grained bird image classification, FBIC)는 멸종 위기 종의 관찰 및 보호에 있어 의미 있는 임무일 뿐만 아니라, 멀티미디어 처리 및 컴퓨터 비전 분야에서 널리 수행되는 이미지 분류 과제이기도 하다. 그러나 FBIC는 새의 탈모 현상, 복잡한 배경, 그리고 다양한 자세 등 여러 도전 과제에 직면해 있다. 이러한 문제들을 효과적으로 해결하기 위해, 새 이미지 내에서 불변성과 핵심 정보를 학습하는 새로운 불변 특징 인식 기반의 특징 집중 트랜스포머(Transformer)인 TransIFC를 제안한다. 이를 위해 새 이미지의 특성을 최대한 활용하기 위해 두 가지 새로운 모듈, 즉 계층 단계 특징 집약(Hierarchy Stage Feature Aggregation, HSFA) 모듈과 특징 내 특징 추출(Feature in Feature Abstraction, FFA) 모듈을 제안한다. HSFA 모듈은 다층 특징을 연결함으로써 새 이미지의 다스케일 정보를 집약한다. FFA 모듈은 구분력 점수 기반의 특징 선택을 통해 새의 불변 특징을 추출한다. 트랜스포머를 백본으로 사용하여 새 이미지 내 장거리 의존성 있는 의미적 관계를 효과적으로 파악한다. 또한 TransIFC에서 HSFA 및 FFA 모듈의 해석 가능성을 입증하기 위해 풍부한 시각화 결과를 제시한다. 종합적인 실험을 통해 TransIFC는 CUB-200-2011 데이터셋(91.0%)과 NABirds 데이터셋(90.9%)에서 최첨단 성능을 달성함을 확인하였다. 마지막으로, 스탠포드 카스 데이터셋에서 확장 실험을 수행하여 본 방법이 다른 미세한 시각 분류 과제로의 일반화 가능성을 시사한다.