초록
소수 샘플 세그멘테이션(Few-shot segmentation, FSS)은 단지 몇 개의 레이블링된 샘플만 제공된 상황에서 미지의 클래스를 세그멘테이션하는 것을 목표로 한다. 기존의 방법들은 특징 저하(feature undermining)라는 문제를 겪는데, 이는 학습 단계에서 잠재적인 새로운 클래스가 배경으로 오인되는 현상이다. 본 연구에서는 이러한 문제를 완화하고 잠재적 신규 클래스에 대한 특징 임베딩을 강화하는 것을 목표로 한다. 제안하는 방법은 기존의 지원-쿼리 쌍 기반의 에피소딕 학습 기반에, 전이 가능한 하위 클러스터(transferable sub-clusters)를 활용하여 잠재적 신규 클래스를 탐색하는 추가적인 마이닝 브랜치와, 배경 및 전경 카테고리 모두에 대해 새로운 보정 기법을 도입하여 더 안정적인 프로토타입을 강제하는 새로운 구조를 제안한다. 또한, 제안된 전이 가능한 하위 클러스터는 추가적인 레이블 없는 데이터를 활용하여 특징을 더욱 강화할 수 있는 능력을 지닌다. 두 가지 FSS 벤치마크에서 실시한 광범위한 실험 결과, 제안 방법은 기존 최고 성능 방법보다 PASCAL-5i에서 3.7%의 mIOU 향상, COCO-20i에서는 7.0%의 mIOU 향상을 달성하였으며, 파라미터 수는 74% 감소하고 추론 속도는 2.5배 빨라졌다. 소스 코드는 https://github.com/LiheYoung/MiningFSS 에서 공개되어 있다.