지속적인 의미 분할에서 재앙적 잊힘과 배경 변화 대처하기

딥 러닝 접근법은 현재 컴퓨터 비전 작업, 예를 들어 의미 분할과 같은 작업을 처리하는 데 널리 사용되고 있으며, 대규모 데이터셋과 상당한 계산 능력을 필요로 합니다. 의미 분할을 위한 연속 학습(CSS)은 기존 모델에 새로운 클래스를 순차적으로 추가하여 업데이트하는 새로운 추세입니다. 그러나 연속 학습 방법은 종종 재앙적 잊어버림(catastrophic forgetting)에 취약합니다. 이 문제는 CSS에서 각 단계마다 이전 반복의 오래된 클래스가 배경으로 축소됨에 따라 더욱 악화됩니다. 본 논문에서는 로컬 POD(Local POD)라는 다중 스케일 풀링 디스틸레이션 방식을 제안합니다. 이 방식은 특징 수준에서 장거리 및 단거리 공간 관계를 보존합니다. 또한, 오래된 모델이 예측한 클래스에 대한 엔트로피 기반 가짜 라벨링(pseudo-labelling)을 설계하여 배경 변화를 처리하고 오래된 클래스의 재앙적 잊어버림을 피하기 위해 제안되었습니다. 마지막으로, 세그멘테이션에 특히 적합한 새로운 리허설(rehearsal) 방법을 소개합니다. 우리의 접근법인 PLOP는 기존 CSS 시나리오뿐만 아니라 새로 제안된 어려운 벤치마크에서도 현행 최고 성능 방법들을 크게 능가합니다.