조건부 채널 게이팅 네트워크를 활용한 작업 인식 지속 학습

합성곱 신경망(Convolutional Neural Networks)은 연속적인 학습 문제의 시퀀스에 대해 최적화될 때 치명적인 잊힘(catastrophic forgetting) 현상을 경험한다. 즉, 현재의 학습 예제에 대한 목적을 달성함에 따라 이전 태스크에 대한 성능이 급격히 저하된다. 본 연구에서는 조건부 계산(conditional computation)을 활용하여 이 문제를 해결하기 위한 새로운 프레임워크를 제안한다. 각 합성곱 층에 태스크별 게이팅 모듈(task-specific gating modules)을 부여하여 주어진 입력에 대해 어떤 필터를 적용할지를 선택한다. 이를 통해 두 가지 매력적인 성질을 달성할 수 있다. 첫째, 게이팅 모듈의 실행 패턴을 통해 중요한 필터를 식별하고 보호함으로써, 이전에 학습한 태스크에 대한 성능 저하를 방지할 수 있다. 둘째, 희소성(sparsity) 목적 함수를 활용함으로써 제한된 수의 커널을 선택하도록 유도할 수 있어, 새로운 태스크를 효과적으로 처리할 수 있는 충분한 모델 용량을 유지할 수 있다. 기존의 해결 방안들은 테스트 시각에서 각 예제가 어떤 태스크에 속하는지에 대한 사전 지식이 필요하다. 그러나 이러한 지식은 많은 실용적 상황에서 확보되지 않을 수 있다. 따라서 태스크 오라클(task oracle)이 제공되지 않는 환경에서도 대응할 수 있도록 각 예제의 태스크 레이블을 예측하는 태스크 분류기(task classifier)를 추가로 도입하였다. 제안된 방법은 네 가지 지속적 학습(continual learning) 데이터셋에서 검증되었으며, 태스크 오라클이 존재하는 경우와 없는 경우 모두에서 기존 방법들을 일관되게 상회하는 성능을 보였다. 특히 Split SVHN 및 ImageNet-50 데이터셋에서 각각 기존 방법 대비 최대 23.98%, 17.42%의 정확도 향상을 달성하였다.