12일 전
소수 샘플 세그멘테이션을 위한 계층적 밀도 상관관계 정련
Bohao Peng, Zhuotao Tian, Xiaoyang Wu, Chenyao Wang, Shu Liu, Jingyong Su, Jiaya Jia

초록
소수 샘플 세분화(Few-shot semantic segmentation, FSS)는 단지 몇 개의 애너테이션만을 이용해 미지의 클래스를 세분화할 수 있는 클래스 무차별 모델을 설계하는 것을 목표로 한다. 기존의 방법들은 세분화 특징과 프로토타입 표현에 국한되어 있어 세분화의 해상도가 낮고, 학습 데이터셋에 과적합되는 문제가 있었다. 본 연구에서는 트랜스포머 아키텍처 기반으로 픽셀 수준의 지원 정보 상관관계를 탐색하는 계층적 분리 매칭 네트워크(Hierarchically Decoupled Matching Network, HDMNet)를 제안한다. 자기 주의(self-attention) 모듈을 활용하여 계층적 밀집 특징을 형성함으로써, 쿼리 특징과 지원 특징 간의 계단식 매칭을 달성한다. 또한, 학습 데이터셋에 대한 과적합을 줄이기 위해 새로운 매칭 모듈을 도입하고, 저해상도에서의 의미적 대응 정보를 활용해 상세한 세분화를 향상시키는 상관관계 정련(correlation distillation) 기법을 제안한다. 실험 결과, 본 방법은 우수한 성능을 보였다. \coco~데이터셋에서 일샷 설정에서는 $50.0\%$의 mIoU를 달성하였으며, 오십샷 세분화에서는 $56.0\%$의 성능을 기록하였다.