
다중 작업 학습(Multitask learning)은 여러 작업에서 학습할 수 있는 모델이 지식 전이를 통해 더 높은 품질과 효율성을 달성할 수 있다는 가정을 바탕으로 한다. 이는 인간 학습의 핵심 특성 중 하나이다. 그러나 최신 머신러닝 모델들은 각 작업에 대해 높은 맞춤화를 요구하며, 작업 수를 늘리는 대신 모델 크기와 데이터 규모의 확장에 의존한다. 또한, 시간적 측면을 추가하는 지속적 학습(continual learning)은 보통 치명적인 망각(catastrophic forgetting)과 같은 일반적인 함정을 연구하는 데 집중되며, 다음 세대 인공지능을 구축하는 핵심 구성 요소로서 대규모로 연구되지 않고 있다.본 연구에서는 새로운 작업의 동적 추가를 지원할 수 있는 대규모 다중 작업 모델을 생성할 수 있는 진화적 방법을 제안한다. 제안한 방법으로 생성된 다중 작업 모델은 희소 활성화(sparse activation)를 채택하며, 작업 기반 라우팅(task-based routing)을 통합하여 모델 확장 시 계산 비용이 제한되며, 작업당 추가되는 파라미터 수가 적은 특징을 갖는다. 또한, 제안된 방법은 지식 분할 기법(knowledge compartmentalization)을 활용하여 치명적인 망각을 포함한 일반적인 문제들인 기울기 간섭(gradient interference)과 부정적 전이(negative transfer)에 대한 면역성을 확보한다.실증적으로 제안한 방법이 69개의 공개 이미지 분류 작업을 동시에 해결하며 경쟁적인 성능을 달성함을 입증하였다. 예를 들어, 공개 데이터로 훈련된 최고 성능 모델 대비 CIFAR-10과 같은 경쟁적 벤치마크에서 상대 오류 감소율 15%를 달성함으로써 기존 최고 수준의 성능을 향상시켰다.