증강적 소수 샘플 학습에서 치명적인 잊힘을 극복하기 위한 평탄한 최소값 탐색

이 논문은 단일 예시(또는 소수의 예시)만 제공되는 새로운 카테고리를 지속적으로 인식할 수 있어야 하는 증분적 소수 샘플 학습(incremental few-shot learning)을 고려한다. 본 연구에서는 기존의 방법들이 증분 학습에서 잘 알려진 문제인 치명적인 망각(catastrophic forgetting)에 심각하게 취약함을 밝혀냈다. 이는 소수 샘플 환경에서 데이터의 부족과 불균형으로 인해 더욱 악화된다. 추가 분석을 통해 치명적인 망각을 방지하기 위해서는 후속 소수 샘플 학습 세션에서가 아니라, 기초 클래스(base classes)의 학습 단계에서 조치를 취해야 함을 시사한다. 따라서 본 연구에서는 기초 클래스 학습 목적 함수의 평탄한 국소 최솟값(flat local minima)을 탐색하고, 새로운 작업에 대해 그 평탄한 영역 내에서 모델 파라미터를 미세 조정(fine-tune)하는 방식을 제안한다. 이를 통해 모델은 새로운 클래스를 효율적으로 학습하면서도 기존 클래스의 지식을 잘 보존할 수 있다. 포괄적인 실험 결과는 제안한 방법이 기존 최첨단 기법들을 모두 능가하며, 근사적인 상한선(approximate upper bound)에 매우 근접함을 보여준다. 소스 코드는 다음 주소에서 확인할 수 있다: https://github.com/moukamisama/F2M.