초록
본 논문에서는 단일 딥 뉴럴 네트워크에 여러 작업을 추가하면서 재앙적 잊어버림(catastrophic forgetting)을 피하는 방법을 제시합니다. 네트워크 프루닝 기술에서 영감을 얻어, 큰 딥 네트워크의 중복성을 활용하여 새로운 작업을 학습할 수 있는 매개변수를 확보합니다. 반복적인 프루닝과 네트워크 재학습을 수행함으로써, 성능 저하와 저장 공간 부담이 최소화되도록 여러 작업을 순차적으로 단일 네트워크에 "패킹"할 수 있습니다. 이전 연구가 과거 작업의 정확도를 유지하기 위해 대리 손실(proxy losses)을 사용하는 것과 달리, 우리는 항상 현재 작업을 최적화합니다. 다양한 네트워크 아키텍처와 대규모 데이터셋에 대해 광범위한 실험을 수행하였으며, 이전 연구보다 훨씬 더 우수한 재앙적 잊어버림에 대한 강건성을 관찰하였습니다. 특히, 단일 ImageNet 학습 VGG-16 네트워크에 세 개의 세부 분류 작업(fine-grained classification tasks)을 추가하여 각각 따로 학습된 네트워크와 유사한 정확도를 달성하였습니다. 코드는 https://github.com/arunmallya/packnet에서 제공됩니다.