PODNet: 소규모 작업을 위한 증분 학습을 위한 풀링된 출력 증류

장기적 학습(long-term learning)은 많은 주목을 받고 있으나, 기존 연구들은 지속적인 학습 과정에서의 치명적 망각(catastrophic forgetting)을 극복하고 장기간에 걸쳐 지식을 축적하는 데 여전히 어려움을 겪고 있다. 본 연구에서는 표현 학습(representation learning)에 영감을 받은 PODNet을 제안한다. 기존 클래스를 기억하는 것과 새로운 클래스를 학습하는 것 사이의 균형을 정교하게 조절함으로써, PODNet은 매우 긴 연속적인 소규모 작업 세트에 걸쳐도 치명적 망각을 효과적으로 억제할 수 있다. 이는 현재의 기존 연구들이 다뤄본 바 없는 새로운 설정이다. PODNet은 기존 기술에 혁신을 가져오며, 모델 전반에 걸쳐 효율적인 공간 기반의 정규화 손실(distillation-loss)을 적용하고, 각 클래스에 대해 다수의 대표 벡터(proxy vectors)를 포함하는 표현 구조를 도입한다. 이러한 혁신 요소들을 철저히 검증하기 위해, CIFAR100, ImageNet100, ImageNet1000 세 가지 데이터셋에서 세 가지 최신 기술 모델과의 비교를 수행하였다. 실험 결과, PODNet은 기존 기술 대비 상당한 성능 우위를 보였으며, 각각 12.10, 6.51, 2.85 백분율 포인트의 정확도 향상을 달성하였다. 코드는 https://github.com/arthurdouillard/incremental_learning.pytorch 에서 공개되어 있다.