End-to-End Incremental Learning 엔드투엔드 점진적 학습

최근 몇 년 동안 딥 러닝 접근법은 최신 기술 결과로 인해 두각을 나타냈지만, 새로운 클래스가 점진적으로 추가될 때 전체 성능이 급격히 저하되는 치명적인 잊음(catastrophic forgetting) 문제를 계속해서 겪고 있습니다. 이는 현재의 신경망 아키텍처가 오래된 클래스와 새로운 클래스의 모든 샘플로 구성된 전체 데이터셋을 필요로 하여 모델을 업데이트해야 하는데, 클래스 수가 증가함에 따라 이러한 요구 사항이 쉽게 지속 가능하지 않아서 발생합니다. 우리는 이 문제를 해결하기 위해, 새로운 데이터와 오래된 클래스의 샘플에 해당하는 작은 예시 집합만을 사용하여 딥 신경망을 점진적으로 학습하는 방법을 제안합니다. 이 방법은 오래된 클래스에서 얻은 지식을 유지하기 위한 정제(distillation) 측정치와 새로운 클래스를 학습하기 위한 크로스 엔트로피 손실(cross-entropy loss)으로 구성된 손실 함수(loss function)를 기반으로 합니다. 우리의 점진적 학습 방법은 전체 프레임워크를 엔드투엔드(end-to-end) 방식으로 유지하면서, 즉 데이터 표현과 분류기를 동시에 학습하는 것과 달리 최근의 방법들처럼 이러한 보장이 없는 경우와는 다르게 이루어집니다. 우리는 CIFAR-100 및 ImageNet (ILSVRC 2012) 이미지 분류 데이터셋에서 우리 방법을 광범위하게 평가하였으며, 최신 기술 성능(state-of-the-art performance)을 보였습니다.