소수 샘플 세그멘테이션을 위한 부분 인지 프로토타입 네트워크

소수 샘플(semantic) 세그멘테이션은 새로운 객체 클래스를 단지 몇 개의 레이블링된 예시만으로 학습하여 세그멘테이션하는 것을 목표로 하며, 현실 세계에서 광범위한 응용 가능성을 지닌다. 기존의 대부분의 방법들은 단방향 소수 샘플 세그멘테이션이라는 제한된 설정에 집중하거나, 객체 영역의 완전한 커버리지가 부족한 문제가 있다. 본 논문에서는 프로토타입 표현 기반의 새로운 소수 샘플 세그멘테이션 프레임워크를 제안한다. 본 연구의 핵심 아이디어는 전체 클래스 표현을 다양한 부분 인지(part-aware) 프로토타입의 집합으로 분해함으로써, 다양한 세부적인 객체 특징을 효과적으로 포착할 수 있도록 하는 것이다. 또한, 레이블이 없는 데이터를 활용하여 부분 인지 프로토타입을 풍부하게 하여, 의미적 객체 내부의 클래스 변이(intra-class variations)를 더 정확하게 모델링할 수 있도록 하였다. 이를 위해 레이블링된 이미지와 레이블이 없는 이미지를 기반으로 제안된 부분 인지 프로토타입을 생성하고 강화하기 위한 새로운 그래프 신경망(GNN) 모델을 개발하였다. 두 가지 벤치마크에서 실시한 광범위한 실험 평가 결과, 제안하는 방법이 기존 기법보다 유의미한 성능 차이로 우수한 성능을 보였다.