APANet: 적응형 프로토타입 정렬 네트워크를 통한 소수 샘플 세그멘테이션

소수 샘플(semi-semantic) 세그멘테이션은 주어진 쿼리 이미지 내에서 새로운 클래스의 객체를 몇 개의 레이블링된 서포트 이미지만을 이용해 세그멘테이션하는 것을 목표로 한다. 대부분의 최첨단 기법들은 각 쿼리 특징을 학습된 클래스별 프로토타입과 매칭함으로써 세그멘테이션을 수행하는 메트릭 학습 프레임워크를 활용한다. 그러나 이러한 프레임워크는 완전한 특징 비교가 이루어지지 않아 편향된 분류 문제를 겪는다. 본 논문에서는 클래스별 프로토타입과 클래스 무관 프로토타입을 도입함으로써 적응형 프로토타입 표현을 제안하고, 쿼리 특징과의 의미적 정렬을 학습하기 위한 완전한 샘플 쌍을 구성한다. 이에 따라 보완적인 특징 학습 방식은 특징 비교를 풍부하게 하여 소수 샘플 환경에서 편향이 없는 세그멘테이션 모델을 구축하는 데 기여한다. 본 방법은 클래스별 브랜치와 클래스 무관 브랜치로 구성된 두 가지 분기의 엔드투엔드 네트워크로 구현되며, 프로토타입을 생성하고 쿼리 특징과 결합하여 비교를 수행한다. 또한 제안된 클래스 무관 브랜치는 간단하면서도 효과적이다. 실질적인 적용에서는 쿼리 이미지에 대해 적응적으로 다수의 클래스 무관 프로토타입을 생성하고, 자기 대조(self-contrastive) 방식으로 특징 정렬을 학습할 수 있다. PASCAL-5$^i$ 및 COCO-20$^i$ 데이터셋에 대한 광범위한 실험을 통해 제안한 방법의 우수성을 입증하였으며, 추론 효율성을 희생하지 않으면서도 1-샷 및 5-샷 설정에서 모두 최신 기술 수준의 성능을 달성하였다.