소수 샘플 세그멘테이션을 위한 사전 지도 특징 풍부화 네트워크

최첨단 의미 분할 기법은 우수한 성능을 달성하기 위해 충분한 레이블 데이터를 필요로 하며, 미리 보지 않은 클래스에 대해 미세 조정(fine-tuning) 없이 거의 효과를 발휘하지 못한다. 이러한 문제를 해결하기 위해, 적은 수의 레이블된 지원 샘플(지원 샘플)을 이용해 새로운 클래스에 빠르게 적응할 수 있는 모델을 학습하는 '소수 샘플 분할(few-shot segmentation)' 기법이 제안되었다. 그러나 기존의 이러한 프레임워크는 학습 클래스의 고수준 의미 정보를 부적절하게 활용함으로써 미지 클래스에 대한 일반화 능력이 저하되며, 쿼리 타겟과 지원 타겟 사이의 공간적 일관성 부족 문제도 여전히 존재한다. 이러한 문제를 완화하기 위해, 사전 지식을 활용한 특징 풍부화 네트워크(Prior Guided Feature Enrichment Network, PFENet)를 제안한다. 본 연구는 다음과 같은 새로운 설계 요소를 포함한다: (1) 학습이 필요 없는 사전 마스크 생성 방법으로, 일반화 능력을 유지하면서도 모델 성능을 향상시킨다; (2) 쿼리 특징을 지원 특징과 사전 마스크를 기반으로 적응적으로 풍부화함으로써 공간적 일관성 문제를 해결하는 특징 풍부화 모듈(Feature Enrichment Module, FEM). PASCAL-5$^i$ 및 COCO 데이터셋에서 실시한 광범위한 실험 결과, 제안된 사전 마스크 생성 방법과 FEM이 기준 모델을 크게 개선함을 입증하였다. 또한, 효율성 손실 없이 최첨단 기법들보다 크게 우수한 성능을 달성하였다. 특히 놀랍게도, 본 모델은 레이블이 부여된 지원 샘플이 전혀 없는 경우에도 일반화가 가능함을 확인하였다. 코드는 다음 주소에서 공개되어 있다: https://github.com/Jia-Research-Lab/PFENet/.