증분 학습을 위한 적응형 랜덤 경로 선택 방법

전통적인 지도 학습 환경에서는 머신 러닝 모델이 추론 단계에서 인식하고자 하는 모든 객체 클래스의 예제에 접근할 수 있습니다. 이는 새로운 학습 과제에 적응할 유연성을 결여한 고정된 모델을 생성합니다. 실제 환경에서는 학습 과제가 순차적으로 도착하며, 모델은 기존에 획득한 지식을 점진적으로 확장하면서 계속해서 학습해야 합니다. 현재의 증분 학습 접근법들은 모든 훈련 클래스를 한 번에 사용하는 최신 누적 모델들보다 성능이 크게 떨어집니다. 본 논문에서는 새로운 과제에 대해 최적 경로를 점진적으로 선택하면서 과제 간 매개변수 공유를 촉진하는 알고리즘인 Adaptive RPS-Net(적응형 RPS-넷)을 제안합니다. 우리는 이미 사용된 자원이 포화 상태일 때 자동으로 경로를 전환할 수 있도록 하는 새로운 네트워크 용량 측정 방법을 소개합니다. 제안된 경로 재사용 전략이 순방향 지식 전송을 보장하기 때문에, 우리의 접근 방식은 효율적이며 계산 부하가 상당히 적습니다. 추가적인 혁신으로, 제안된 모델은 경로 선택 전략과 함께 치명적인 잊어버림(catastrophic forgetting) 문제를 극복하기 위해 지식 증류(knowledge distillation)와 회고(retrospection)를 통합합니다. 기존 지식과 새로 획득한 지식 사이의 균형을 유지하기 위해, 우리는 모델의 가소성(plasticity)을 동적으로 조절하는 간단한 컨트롤러를 제안합니다. 광범위한 실험을 통해 Adaptive RPS-Net 방법이 증분 학습에서 최신 성능을 초월함을 입증하였으며, 병렬 계산을 활용하면 이 방법은 기존의 딥 컨볼루션 신경망과 거의 같은 효율성을 유지하면서 일정 시간 내에 실행될 수 있음을 보여주었습니다.