CoMFormer: 의미론적 분할 및 팬오라믹 분할에서의 연속 학습

지속 학습(segmentation)은 최근에 점점 더 많은 관심을 받고 있습니다. 그러나 이전의 모든 연구는 좁은 의미의 의미 분할에만 초점을 맞추고 있으며, 실제 세계에 큰 영향을 미치는 중요한 작업인 팬오프틱 분할(panoptic segmentation)을 간과하고 있습니다. 본 논문에서는 의미 분할과 팬오프틱 분할 모두를 처리할 수 있는 첫 번째 지속 학습 모델을 제시합니다. 최근 트랜스포머 접근 방식에서 분할을 마스크 분류 문제로 취급하는 것에 영감을 받아, 우리는 CoMFormer를 설계하였습니다. 우리의 방법은 시간이 지남에 따라 새로운 클래스를 학습하기 위해 트랜스포머 아키텍처의 특성을 신중하게 활용합니다. 특히, 새로운 적응형 디스틸레이션 손실 함수와 마스크 기반 가짜 라벨링 기술을 제안하여 효과적으로 잊어버림(forgetting)을 방지합니다. 우리의 접근 방식을 평가하기 위해, 어려운 ADE20K 데이터셋에서 새로운 지속 팬오프틱 분할 벤치마크를 도입하였습니다. CoMFormer는 기존의 모든 베이스라인보다 과거 클래스를 덜 잊으면서도 새로운 클래스를 더욱 효과적으로 학습하는 것으로 나타났습니다. 또한, 대규모 지속 의미 분할 시나리오에서도 CoMFormer가 최신 방법론(state-of-the-art methods)보다 크게 우수한 성능을 보이는 것을 확인하였습니다.