조건부 컨볼루션 구조의 확장: 다중 작업 지속 학습 성능 향상을 위한 접근

최근 딥러닝 연구에서 조건부 연산은 모델의 예측 정확도 향상을 촉진하기 위해 많은 주목을 받고 있다. 이 분야의 최근 발전 중 하나로, 조건부 파라메트릭 컨볼루션(CondConv)이 제안되었으며, 깊은 모델의 가중치가 제공하는 추가적인 능력을 활용하여 성능을 향상시키되, 계산 복잡도는 거의 증가하지 않는 방식이다. CondConv는 입력에 따라 달라지는 융합 파라메터를 사용하여, 복수의 컨볼루션 커널 컬럼을 적응적으로 결합함으로써 성능을 개선한다. 런타임 시, 커널의 여러 컬럼이 실시간으로 하나의 컬럼으로 융합되므로, 동일한 용량을 갖는 컨볼루션 계층에서 복수의 컬럼을 동시에 사용하는 경우에 비해 시간 복잡도가 크게 감소한다. 비록 CondConv가 딥 모델의 성능 향상에 효과적이지만, 현재까지는 개별 작업에만 적용되어 왔다. 그러나 CondConv는 모델 가중치를 추가하면서도 계산 효율성이 뛰어난 우수한 특성을 지니고 있어, 점진적으로 제시되는 다중 작업에 대한 다중 작업 학습(Multi-task Learning)으로 확장할 수 있다. 본 연구에서는 CondConv 구조를 기반으로 한 순차적 다중 작업(또는 지속적) 학습 방법론을 제안하며, 이를 CondConv-Continual이라 명명한다. 실험 결과, 제안된 방법이 잊히지 않는 지속적 학습(continual learning)에 효과적임을 보였다. 기존의 접근 방식과 비교해 볼 때, CondConv는 신경망을 확장하여 추가적인 능력을 획득하는 데 있어 규칙적이고 구현이 간편한 방식을 제공하며, 다양한 작업 모델 간에 상호 참조 메커니즘을 제공함으로써 비교 가능한 성능을 달성할 수 있다는 장점을 지닌다.