고용량 저장장치를 갖춘 kNN 기반 이미지 분류 시스템의 재검토

기존의 딥 뉴럴 네트워크를 활용한 이미지 분류 시스템에서는 이미지 분류에 필요한 지식이 모델 파라미터 내부에 암묵적으로 저장되어 있다. 사용자가 이러한 지식을 업데이트하고자 할 경우, 모델 파라미터를 미세 조정(fine-tuning)해야 하며, 또한 추론 결과의 타당성 검증이나 특정 지식이 결과에 미치는 기여도를 평가할 수 없다. 본 논문에서는 이미지 특징 맵, 레이블, 원본 이미지와 같은 분류 지식을 모델 파라미터가 아닌 외부 고용량 저장소에 명시적으로 저장하는 시스템을 탐구한다. 본 시스템은 입력 이미지 분류 시 해당 저장소를 데이터베이스처럼 활용한다. 지식을 증강하기 위해 모델 파라미터를 미세 조정하는 대신 데이터베이스를 업데이트함으로써, 증강 학습 환경에서의 치명적인 기억 상실(catastrophic forgetting)을 피할 수 있다. 우리는 k-최근접 이웃(kNN, k-Nearest Neighbor) 분류기를 재검토하여 본 시스템에 도입하였다. kNN 알고리즘이 참조하는 이웃 샘플을 분석함으로써, 과거에 학습된 지식이 어떻게 추론 결과에 활용되는지 해석할 수 있다. 본 시스템은 사전 훈련 후 모델 파라미터의 미세 조정 없이 ImageNet 데이터셋에서 79.8%의 top-1 정확도를 달성하였으며, 태스크 증강 학습 설정에서 Split CIFAR-100 데이터셋에서는 90.8%의 정확도를 기록하였다.