항상 꿈꾸기: 데이터 프리 클래스 증분 학습을 위한 새로운 접근법

현대의 컴퓨터 비전 응용 프로그램은 시간이 지남에 따라 새로운 개념을 점진적으로 학습할 때 치명적인 망각(catastrophic forgetting) 문제에 시달린다. 이러한 망각을 완화하기 위한 가장 성공적인 접근 방식은 과거에 접한 데이터를 광범위하게 재생(replay)하는 것이지만, 메모리 제약이나 데이터 법적 문제 등이 존재할 경우 이러한 방식은 문제가 된다. 본 연구에서는 과거 작업의 생성기나 학습 데이터를 저장하지 않고도 시간이 지남에 따라 새로운 개념을 학습해야 하는, 높은 영향력을 가진 '데이터 불필요 점진적 클래스 학습(Data-Free Class-Incremental Learning, DFCIL)' 문제를 고려한다. DFCIL의 한 가지 접근 방식은 학습자의 분류 모델의 고정된 사본을 역으로 전환하여 생성한 합성 이미지를 재생하는 것이다. 그러나 본 연구에서는 표준 디스틸리케이션 전략을 사용할 경우, 일반적인 점진적 클래스 벤치마크에서 이 접근 방식이 실패함을 보여준다. 우리는 이 실패의 원인을 진단하고, DFCIL를 위한 새로운 점진적 디스틸리케이션 전략을 제안한다. 이 전략은 수정된 크로스 엔트로피 학습과 중요도 가중 특징 디스틸리케이션을 포함하며, 제안된 방법이 일반적인 점진적 클래스 벤치마크에서 기존 최고 수준(SOTA)의 DFCIL 방법보다 최종 작업 정확도가 최대 25.1% 높아짐(절대 차이 기준)을 보임을 입증한다. 또한, 일부 이미지 코레셋을 저장하는 전통적인 재생 기반 방법들보다도 본 방법이 성능이 뛰어나다.