13일 전
소수 샘플 세그멘테이션을 위한 밀도가 높은 가우시안 프로세스
Joakim Johnander, Johan Edstedt, Michael Felsberg, Fahad Shahbaz Khan, Martin Danelljan

초록
소수 샘플 분할(few-shot segmentation)은 단지 소량의 애노테이션된 지원 집합(support set)만을 제공받은 새로운 쿼리 이미지를 세분화하는 도전적인 밀집 예측 작업이다. 핵심 과제는 지원 집합으로부터 세밀한 정보를 효과적으로 통합하면서도, 외관과 맥락에 큰 변동에 대해 강건한 방법을 설계하는 것이다. 이를 위해 우리는 밀집 가우시안 프로세스(Gaussian process, GP) 회귀 기반의 소수 샘플 분할 방법을 제안한다. 지원 집합을 기반으로, 우리의 밀집 GP는 지역적인 깊은 이미지 특징에서 마스크 값으로의 매핑을 학습하며, 복잡한 외관 분포를 포착할 수 있다. 더불어, 불확실성을 체계적으로 포착할 수 있는 방법을 제공하여, 최종 분할 결과에 강력한 보조 정보를 제공한다. 이는 CNN 디코더를 통해 얻어진다. 일차원 마스크 출력 대신, 본 연구는 제안한 접근법의 엔드 투 엔드 학습 능력을 활용하여 GP의 고차원 출력 공간을 학습한다. 제안한 방법은 PASCAL-5$^i$ 및 COCO-20$^i$ 벤치마크에서 새로운 최고 성능을 달성하였으며, COCO-20$^i$ 5샷 설정에서 절대적인 mIoU 향상($+8.4$)을 기록하였다. 또한, 지원 집합 크기를 증가시킬수록 분할 정확도가 부드럽게 향상되며, 다양한 데이터셋 간 전이 성능도 우수하다. 코드와 학습된 모델은 \url{https://github.com/joakimjohnander/dgpnet}에서 공개되어 있다.