FOSTER: 클래스 증분 학습을 위한 특징 부스팅 및 압축

지속적으로 새로운 개념을 학습할 수 있는 능력은 변화하는 세상에서 필수적이다. 그러나 깊은 신경망(DNN)은 새로운 카테고리를 학습할 때 치명적인 잊혀짐(catastrophic forgetting) 현상을 겪는다. 이 문제를 완화하기 위해 많은 연구가 제안되었지만, 대부분의 방법들은 안정성과 유연성 사이의 딜레마에 빠지거나 과도한 계산 및 저장 리소스를 요구한다. 우리는 기존 앙상블 모델과 목표 모델 간 잔차를 점진적으로 적합시키는 그래디언트 부스팅 알고리즘의 아이디어에 영감을 받아, 새로운 카테고리를 적응적으로 학습할 수 있도록 하는 새로운 이단계 학습 프레임워크인 FOSTER를 제안한다. 구체적으로, 먼저 기존 모델의 출력과 목표 모델 간 잔차를 적합하기 위해 동적으로 새로운 모듈을 확장한다. 그 후, 효과적인 디스틸레이션 전략을 통해 중복된 파라미터와 특징 차원을 제거하여 단일 백본 모델의 크기를 유지한다. 우리는 CIFAR-100 및 ImageNet-100/1000에서 다양한 설정 하에서 제안한 방법 FOSTER의 성능을 검증하였다. 실험 결과, 본 방법은 최신 기술 수준(SOTA)의 성능을 달성함을 확인하였다. 코드는 다음 주소에서 확인할 수 있다: https://github.com/G-U-N/ECCV22-FOSTER.