일반 지속 학습을 위한 어두운 경험: 강력하고 간단한 베이스라인

지속적 학습(Continual Learning)은 다양한 접근 방식과 평가 설정을 촉발하였으나, 대부분의 연구는 데이터 스트림이 작업의 시퀀스로 구성되지 않으며 오프라인 학습이 불가능한 실제 시나리오의 특성을 간과하고 있다. 우리는 작업 경계가 모호해지고 도메인 및 클래스 분포가 점진적이거나 급격하게 변화하는 일반 지속적 학습(General Continual Learning, GCL)을 목표로 한다. 이를 위해 재연(rehearsal)과 지식 증류(knowledge distillation), 그리고 정규화(regularization)를 결합하는 방식을 제안한다. 제안하는 간단한 기준 모델인 Dark Experience Replay는 최적화 경로 전반에 걸쳐 샘플링된 네트워크의 로짓(logit)을 일치시킴으로써 과거에 대한 일관성을 촉진한다. 기존 표준 벤치마크와 새로운 GCL 평가 설정(MNIST-360)에서 실시한 광범위한 분석을 통해, 이러한 단순한 기준 모델이 통합된 접근 방식을 능가하며 제한된 자원을 효과적으로 활용함을 보여준다. 또한, 제안된 목적함수의 일반화 능력을 추가로 탐구하여, 성능 향상 외에도 정규화 효과가 유익함을 입증한다.