
소수 샘플(semantic segmentation)은 지원 이미지(지원 이미지)가 몇 개만 제공된 상황에서 쿼리 이미지 내의 대상 객체를 분할하는 것을 목표로 한다. 기존 대부분의 연구들은 지원 이미지에서 더 효과적인 분류 정보를 추출하여 쿼리 이미지의 해당 객체와 매칭하려는 데 주력해 왔다. 그러나 이러한 접근 방식들은 쿼리 이미지와 지원 이미지 간의 분류 정보 간극을 무시하고 있다. 특히 두 이미지 내 객체 간 내부 클래스 다양성이 클 경우, 지원 이미지의 분류 정보를 강제로 쿼리 이미지로 이전하는 것은 효과적이지 못하다. 본 연구는 이러한 문제를 해결하기 위해, 지원 이미지로부터 결정론적 분류 정보를 추출하고, 쿼리 이미지로부터 적응형 분류 지식을 학습할 수 있는 중간 프로토타입(intermediate prototype)을 도입하는 최초의 연구이다. 구체적으로, 반복적으로 프로토타입을 학습할 수 있도록 설계된 중간 프로토타입 탐색 트랜스포머(Intermediate Prototype Mining Transformer, IPMT)를 제안한다. IPMT의 각 레이어에서는 지원 및 쿼리 특징 내 객체 정보를 프로토타입으로 전파한 후, 이를 활용하여 쿼리 특징맵을 활성화한다. 이러한 과정을 반복적으로 수행함으로써 중간 프로토타입과 쿼리 특징 모두가 점진적으로 개선된다. 최종적으로 최적화된 쿼리 특징을 사용하여 정밀한 분할 예측을 도출한다. PASCAL-5i 및 COCO-20i 데이터셋에서 실시한 광범위한 실험을 통해 IPMT의 효과성이 명확히 입증되었으며, 기존 최고 성능 기법들에 비해 상당한 성능 향상을 보였다. 코드는 다음 주소에서 공개되어 있다: https://github.com/LIUYUANWEI98/IPMT