PANet: 프로토타입 정렬을 이용한 소수 샷 이미지 의미 분할

깊은 CNN이 이미지 의미 분할에서 큰 진보를 이루었음에도 불구하고, 일반적으로 많은 수의 밀집 주석화된 이미지가 훈련에 필요하며, 미처 본 적 없는 객체 카테고리로 일반화하는 것이 어렵습니다. 따라서 소수 샘플 분할(few-shot segmentation)은 몇 개의 주석화된 예제만으로도 분할을 수행하도록 학습하는 방법으로 개발되었습니다. 이 논문에서는 메트릭 학습 관점에서 어려운 소수 샘플 분할 문제를 다루고, 지원 세트의 정보를 더 효과적으로 활용하기 위한 새로운 프로토타입 정렬 네트워크인 PANet을 제시합니다.PANet은 임베딩 공간 내에서 몇 개의 지원 이미지로부터 클래스별 프로토타입 표현을 학습하고, 이를 통해 쿼리 이미지의 각 픽셀을 학습된 프로토타입과 매칭하여 분할을 수행합니다. 비파라미터 메트릭 학습을 통해 PANet은 각 의미 클래스를 대표하면서 동시에 다른 클래스 간에 구분력 있는 고품질 프로토타입을 제공합니다. 또한, PANet은 지원 세트와 쿼리 사이의 프로토타입 정렬 규제를 도입합니다. 이를 통해 PANet은 지원 세트에서 지식을 완전히 활용하고, 소수 샘플 분할에서 더 나은 일반화 능력을 제공합니다.특히, 우리의 모델은 PASCAL-5i 데이터셋에서 1-shot 설정에서는 48.1%, 5-shot 설정에서는 55.7%의 mIoU 점수를 달성하여 기존 최신 방법보다 각각 1.8%와 8.6% 높은 성능을 보였습니다.