지속적 학습을 위한 랜덤 경로 선택

지속적 생애 학습(incremental life-long learning)은 인공 일반 지능(Artificial General Intelligence)이라는 오랜 목표를 향한 핵심 과제이다. 실세계 환경에서는 학습 과제가 순차적으로 도착하며, 머신러닝 모델은 이미 습득한 지식을 지속적으로 확장해 나가야 한다. 기존의 지속적 학습 접근법은 모든 학습 클래스를 동시에 사용하는 최첨단 누적 모델에 비해 성능이 크게 떨어진다. 본 논문에서는 새로운 과제에 대해 점진적으로 최적의 경로를 선택하면서 파라미터 공유와 재사용을 장려하는 랜덤 경로 선택 알고리즘인 RPS-Net을 제안한다. 제안된 방법은 계산적으로 비용이 큰 진화적 또는 강화학습 기반의 경로 선택 전략이 초래하는 부담을 피하면서도 상당한 성능 향상을 달성한다. 추가적인 혁신으로, 본 모델은 경로 선택 전략과 함께 지식 전이(knowledge distillation) 및 회고적 학습(retrospection)을 통합하여 치명적인 잊힘(catastrophic forgetting)을 극복한다. 기존 지식과 새로 습득한 지식 사이의 균형을 유지하기 위해, 모델의 유연성(plasticity)을 동적으로 조절하는 간단한 컨트롤러를 제안한다. 광범위한 실험을 통해 제안한 방법이 지속적 학습 분야에서 최첨단 성능을 초월함을 입증하였으며, 병렬 계산을 활용함으로써 기존의 심층 합성곱 신경망과 거의 동일한 효율로 일정한 시간 내에 실행 가능함을 보였다.