일반화된 소수 샷 의미 분할

의미 분할 모델을 훈련시키는 것은 많은 양의 정밀한 주석 데이터를 필요로 하기 때문에, 이러한 조건을 충족하지 않는 새로운 클래스에 빠르게 적응하는 것이 어렵다. 소수 샘플 분할(Few-Shot Segmentation, FS-Seg)은 이 문제를 여러 제약 조건 하에서 해결하려고 한다. 본 논문에서는 새로운 벤치마크인 일반화된 소수 샘플 의미 분할(Generalized Few-Shot Semantic Segmentation, GFS-Seg)을 소개하여, 매우 적은 예제로 새로운 카테고리와 충분한 예제로 기반 카테고리를 동시에 분할하는 일반화 능력을 분석한다. 이는 처음으로 이전 대표적인 최신 FS-Seg 방법들이 GFS-Seg에서 부족함을 보여주며, 성능 차이는 주로 FS-Seg의 제약된 설정에서 비롯된다. GFS-Seg를 실현 가능하게 하기 위해, 원래 모델의 구조적 변경 없이도 꽤 좋은 성능을 달성하는 GFS-Seg 베이스라인을 설정하였다. 이후, 맥락이 의미 분할에 필수적이므로, 1) 지원 샘플로부터 공존 사전 지식을 활용하고, 2) 각 쿼리 이미지의 내용에 따라 동적으로 분류기에 맥락 정보를 풍부하게 하는 문맥 인식 프로토타입 학습(Context-Aware Prototype Learning, CAPL)을 제안하였다. 두 가지 기여 모두 실험적으로 실질적인 장점을 입증하였다. Pascal-VOC와 COCO에서 수행한 광범위한 실험들은 CAPL의 효과성을 나타내며, CAPL은 경쟁력 있는 성능을 통해 FS-Seg에도 잘 일반화됨을 보여준다. 코드는 https://github.com/dvlab-research/GFS-Seg에서 제공된다.