D3Former: 증분 학습을 위한 편향 보정 이중 증류 트랜스포머

클래스 증분 학습(Class Incremental Learning, CIL) 환경에서는 각 학습 단계에서 클래스 그룹이 모델에 순차적으로 도입된다. 목표는 지금까지 관측된 모든 클래스에 대해 성능이 우수한 통합된 모델을 학습하는 것이다. 기존 분류 설정에서 비전 트랜스포머(Vision Transformers, ViTs)의 최근 인기와 함께, 이러한 모델의 지속적 학습 능력을 탐구하는 것은 흥미로운 주제가 되었다. 본 연구에서는 CIL을 위한 비편향 이중 정제된 트랜스포머, 즉 $\textrm{D}^3\textrm{Former}$을 제안한다. 제안된 모델은 하이브리드 중첩형 ViT 설계를 활용하여 소규모 및 대규모 데이터셋 모두에 대해 데이터 효율성과 확장성을 보장한다. 최근의 ViT 기반 CIL 접근법과 달리, $\textrm{D}^3\textrm{Former}$은 새로운 작업을 학습할 때 아키텍처를 동적으로 확장하지 않으며, 수많은 증분 작업에 적합한 구조를 유지한다. $\textrm{D}^3\textrm{Former}$의 향상된 CIL 성능은 ViT 설계에 대한 두 가지 근본적인 변화에 기인한다. 첫째, 증분 학습을 장꼬리 분류 문제(long-tail classification problem)로 간주한다. 여기서 새로운 클래스의 대부분의 샘플은 오래된 클래스에 대해 제한된 예시(exemplars)보다 훨씬 많다. 이로 인해 소수의 오래된 클래스에 대한 편향을 방지하기 위해, 오래된 작업과 관련된 표현을 유지하는 데 중점을 둔 동적 로짓 조정 기법을 제안한다. 둘째, 학습이 작업 간에 진행됨에 따라 공간적 어텐션 맵의 구성(configuration)을 유지하도록 제안한다. 이는 모델이 가장 구분력 있는 영역에 대한 어텐션을 유지하도록 제약함으로써 치명적인 잊힘(catastrophic forgetting)을 줄이는 데 기여한다. $\textrm{D}^3\textrm{Former}$은 CIFAR-100, MNIST, SVHN, ImageNet 데이터셋의 증분 버전에서 우수한 성능을 달성하였다. 코드는 https://tinyurl.com/d3former 에서 제공된다.