2D 이미지 및 3D 포인트 클라우드에서 지속적 세분화를 위한 레이블 가이드드 지식 증류

지속적 의미 분할(Continual Semantic Segmentation, CSS)은 기존 모델이 새로운 작업에 대응할 수 있도록 확장하면서도 기존 지식을 유지하는 것을 목표로 한다. 기존 데이터에 대해 기존 모델을 단순히 미세 조정하면 치명적인 망각(catastrophic forgetting)이 발생한다. 일반적인 해결책으로는 지식 증류(Knowledge Distillation, KD)가 있다. 이 방법은 새로운 모델의 출력 분포가 기존 모델의 출력 분포와 유사하도록 정규화하는 방식이다. 그러나 CSS에서는 배경 변화(Background Shift) 문제로 인해 이 접근이 어렵다. 기존의 KD 기반 CSS 방법들은 배경 클래스와 새로운 클래스 사이의 혼동을 해결하지 못해 여전히 문제를 겪는다. 이는 증류 과정에서 신뢰할 수 있는 클래스 대응 관계를 형성하지 못하기 때문이다. 이를 해결하기 위해 우리는 새로운 레이블 유도형 지식 증류(Labeled-Guided Knowledge Distillation, LGKD) 손실 함수를 제안한다. 이 방법은 진실 레이블(ground truth label)을 기반으로 기존 모델의 출력을 확장하고 이식하여, 새로운 모델의 출력과 의미적으로 적절한 클래스 대응 관계를 형성한다. 결과적으로 기존 모델의 유용한 지식이 혼동 없이 효과적으로 새로운 모델에 증류될 수 있다. 우리는 Pascal-VOC와 ADE20K라는 두 가지 주요 CSS 벤치마크에서 광범위한 실험을 수행하였으며, LGKD는 세 가지 경쟁 방법의 성능을 크게 향상시켰고, 특히 새로운 클래스에 대한 mIoU에서 최대 +76%의 성능 향상을 기록하며 새로운 최고 성능(SOTA)을 달성하였다. 마지막으로, 일반화 능력을 추가로 검증하기 위해 ScanNet 기반의 최초의 3D 포인트 클라우드 기반 CSS 벤치마크를 도입하고, 비교를 위한 여러 재구현된 베이스라인을 제시하였다. 실험 결과 LGKD는 2D와 3D 모달리티 모두에서 유연하게 작동함을 보여주었으며, 특수한 설계 없이도 효과적으로 적용 가능하다. 코드는 https://github.com/Ze-Yang/LGKD 에 공개되어 있다.