지속적 학습(continual learning)은 딥러닝 분야에서 오랫동안 해결되지 않은 주요 과제로, 기존의 지식을 잊지 않으면서도 지속적으로 도착하는 새로운 작업들을 효과적으로 학습하는 것이 핵심 과제이다. '기억을 잃지 않는 학습(Learning without Forgetting, LwF)'을 계기로, 기존의 많은 연구들은 지식 정교화(knowledge distillation, KD)가 과거 지식을 유지하는 데 효과적임을 보고해 왔다. 따라서 대부분의 기법은 기존 작업에 대해 소프트 레이블(soft label)을 사용하여 지식 정교화 손실(KD 손실)을 도입하고, 새로운 작업에 대해 클래스 레이블을 사용하여 교차 엔트로피(cross entropy, CE) 손실을 적용함으로써 단일 신경망 내에서 복합 손실을 구성한다. 그러나 이 접근법은 단일 네트워크 내에서 CE 손실과 KD 손실이 경쟁하는 상황에서, CE 손실이 KD 손실보다 더 강하게 목적 함수에 영향을 미치는 경향이 있어, 과거 지식을 효과적으로 보존하지 못하는 문제가 발생한다. 이는 특히 클래스 증분(class incremental) 시나리오에서 더욱 심각한 문제로 작용한다. 클래스 증분 환경에서는 통합된 분류기(unified classifier)의 존재로 인해, 작업 간 지식뿐만 아니라 새로운 작업 내부의 지식도 모두 CE 손실을 통해만 획득할 수 있는데, 이로 인해 KD 손실이 과도하게 약화되며 학습 성능이 저하된다.본 논문에서는 이러한 문제를 효과적으로 해결하기 위한 새로운 지속적 학습 방법인 'Split-and-Bridge'를 제안한다. 이 방법은 새로운 작업을 학습할 때 신경망을 부분적으로 두 개의 파티션으로 분리하여 기존 작업과 분리된 상태에서 학습을 수행하고, 작업 간 지식을 학습하기 위해 다시 연결하는 전략을 채택한다. 광범위한 실험 분석을 통해 제안한 Split-and-Bridge 방법이 기존의 지식 정교화 기반 지속적 학습 기법들에 비해 최상의 성능을 보임을 입증하였다.