초록
현대의 신경망은 지속적으로 변화하는 학습 데이터 스트림으로부터 학습하는 데 한계를 가지고 있다. 새로운 또는 변화하는 작업을 순차적으로 학습할 경우 정확도가 급격히 저하되며, 이는 많은 실용적 응용 분야에 적합하지 않게 만든다. 본 연구에서는 이 잘 알려져 있으나 해결되지 않은 현상—일반적으로 '비극적 망각(catastrophic forgetting)'이라 불리는 현상—이 클래스 증분(class-incremental) 설정에서 발생하는 원인을 밝혀낸다. 우리는 단순한 구성 요소와 작업 내 및 작업 간 학습을 균형 있게 조절하는 손실 함수의 조합만으로도 기존 문헌에서 제안된 더 복잡한 방법들과 동등한 수준의 망각 방지 성능을 달성할 수 있음을 보여준다. 또한, 클래스 증분 학습에서 비극적 망각의 또 다른 원인으로 모델이 학습한 표현의 품질 저하를 지적한다. 우리는 모델이 배운 보조적인 클래스 정보(다크 지식, dark knowledge)와 성능 간의 상관관계를 확인하고, 적절한 정규화 기법을 통해 이를 개선할 수 있음을 입증한다. 이러한 통찰을 바탕으로, CIFAR-100 및 ImageNet에서의 클래스 증분 학습 성능이 기존 최고 수준을 크게 상회하면서도, 접근 방식은 간단한 유지하는 데 성공하였다.