클래스 증분 학습을 위한 동적 확장 아키텍처에서 작업 혼란 해결하기

동적 확장 아키텍처는 재난적 망각( catastrophic forgetting)을 완화하는 데 있어 유리한 점으로 인해 클래스 증분 학습(class incremental learning) 분야에서 점점 더 인기를 끌고 있다. 그러나 이 아키텍처 내에서 작업 간 혼란(task confusion)은 충분히 평가되지 않고 있다. 예를 들어, 서로 다른 작업의 클래스 간 차이가 제대로 학습되지 않는 경우(즉, 작업 간 혼란, inter-task confusion, ITC)가 있으며, 최신 클래스 배치에 여전히 우선순위가 부여되는 경우(즉, 구-신 혼란, old-new confusion, ONC)도 존재한다. 본 연구에서는 이러한 두 가지 혼란 유형이 초래하는 부작용을 실증적으로 검증한다. 한편, 다양한 작업 간에 분별력 있고 공정한 특징 활용을 촉진하기 위한 새로운 솔루션인 작업 상관 증분 학습(Task Correlated Incremental Learning, TCIL)을 제안한다. TCIL은 과거 작업에서 학습된 지식을 새로운 작업으로 전파하기 위해 다수준 지식 전이(knowledge distillation)를 수행한다. 또한 특징 차원과 로짓(logit) 차원에서 정보 흐름 경로를 구축하여, 새로운 학습 과정이 과거 클래스를 인지할 수 있도록 한다. 더불어 주의 메커니즘(attention mechanism)과 분류기 재평가(classifier re-scoring)를 도입하여 보다 공정한 분류 점수를 생성한다. CIFAR100 및 ImageNet100 데이터셋에서 광범위한 실험을 수행한 결과, TCIL은 일관되게 최신 기술 수준의 정확도를 달성함을 입증하였다. 이는 ITC와 ONC를 동시에 완화할 뿐 아니라, 재연 메모리( rehearsal memory)를 보존하지 않더라도 재난적 망각에 대한 강건성을 유지함으로써 우수한 성능을 보였다.