SSUL: 예시 기반 클래스 증가 학습을 위한 미지 라벨을 포함한 의미 분할

이 논문은 클래스 증가형 의미 분할(CISS) 문제에 대한 고도의 기준선을 제시합니다. 최근 CISS 알고리즘들은 지식 전달(KD) 기술의 변형을 활용하여 이 문제를 해결하려고 시도하였으나, CISS에서 중요한 도전 과제인 재앙적 잊어버림(catastrophic forgetting); 배경 클래스의 의미 편향(semantic drift)과 다중 라벨 예측 문제(multi-label prediction issue)를 완전히 해결하지 못하였습니다. 이러한 도전 과제들을 보다 효과적으로 해결하기 위해, 우리는 의미 분할에 특화된 기술들을 신중하게 결합한 새로운 방법론인 SSUL-M (메모리와 미지 라벨을 활용한 의미 분할, Semantic Segmentation with Unknown Label with Memory)을 제안합니다. 구체적으로, 세 가지 주요 공헌점을 주장합니다. (1) 배경 클래스 내에서 미지 클래스를 정의하여 미래 클래스 학습을 돕는 (플라스틱성/plasticity 향상), (2) 바이너리 크로스 엔트로피 손실(binary cross-entropy loss)과 의사 라벨링(pseudo-labeling)을 통해 백본 네트워크와 과거 분류기를 동결하여 재앙적 잊어버림을 극복하는 (안정성/stability 향상), 그리고 (3) CISS에서 처음으로 소규모 사례 메모리를 활용하여 플라스틱성과 안정성을 모두 개선하는 것입니다. 광범위하게 수행된 실험 결과는 우리의 방법론이 표준 벤치마크 데이터셋에서 최근 최신 기준선보다 현저히 우수한 성능을 달성함을 보여줍니다. 또한, 우리는 철저한 아블레이션 분석(ablation analyses)을 통해 공헌점들을 입증하고, CISS 문제와 전통적인 분류(classification) 대상의 클래스 증가형 학습(class-incremental learning) 간의 다른 특성을 논의합니다. 공식 코드는 https://github.com/clovaai/SSUL 에서 제공됩니다.