재균형화를 통한 점진적 통합 분류기 학습

기존에는 심층 신경망이 사전에 준비된 대규모 데이터셋에 의존하여 오프라인으로 학습되는 것이 일반적이었다. 그러나 이러한 접근 방식은 지속적인 데이터 스트림을 포함하는 온라인 서비스와 같은 실제 응용 환경에서는 종종 도전 과제가 된다. 최근 들어 증분 학습(incremental learning)에 대한 관심이 점차 증가하고 있으며, 위와 같은 실용적 문제에 대한 유망한 해결책으로 평가되고 있다. 그러나 증분 학습은 본질적인 어려움에 직면해 있음이 관찰되고 있다. 즉, 모델을 새로운 데이터에 적응시키는 과정에서 기존 작업이나 클래스에 대한 성능이 심각하게 저하되는 '학습 소실(catastrophic forgetting)' 현상이 발생한다는 점이다. 본 연구는 기존 데이터와 새로운 데이터 간의 불균형이 이 문제의 핵심 원인임을 밝혀냈다. 본 연구에서는 기존 클래스와 새로운 클래스를 동등하게 다루는 통합 분류기(unified classifier)를 증분적으로 학습할 수 있는 새로운 프레임워크를 제안한다. 구체적으로 코사인 정규화(cosine normalization), 소실 최소화 제약(less-forget constraint), 클래스 간 분리(inter-class separation)의 세 가지 구성 요소를 통합하여 불균형으로 인한 부정적 영향을 완화한다. 실험 결과, 제안한 방법이 학습 과정의 균형을 효과적으로 회복함으로써 기존 방법들에 비해 우수한 성능을 달성함을 확인하였다. CIFAR-100과 ImageNet에서 각각 10단계의 증분 설정 하에서 분류 오차를 각각 6% 이상, 13% 이상 감소시킬 수 있었다.