NDDR-CNN: 다중 작업 CNN에서 신경망 차원 축소를 통한 계층별 특성 융합

본 논문에서는 일반적인 다중태스크 학습(Multi-Task Learning, MTL)을 위한 새로운 컨볼루셔널 신경망(Convolutional Neural Network, CNN) 구조를 제안합니다. 이 구조는 다양한 태스크에서 자동으로 특징을 각 층에서 융합할 수 있는 기능을 제공합니다. 이는 대부분의 MTL CNN 구조가 특정 층(예: 마지막 컨볼루션 층을 제외한 모든 특징 공유)에서 경험적 또는 휴리스틱하게 특징을 공유하는 것과 대조됩니다. 제안된 계층별 특징 융합 방식은 기존의 CNN 구성 요소들을 새로운 방식으로 결합하여 수학적으로 명확히 해석할 수 있는 차원 축소(Dimensionality Reduction) 방법론인 신경망 차원 축소(Neural Discriminative Dimensionality Reduction, NDDR)로 표현됩니다.구체적으로, 우리는 먼저 다른 태스크들로부터 같은 공간 해상도를 가진 특징들을 채널 차원에 따라 연결(concatenate)합니다. 그런 다음, 1x1 컨볼루션, 배치 정규화(Batch Normalization), 그리고 가중치 감쇠(Weight Decay)를 하나의 CNN 내에서 사용하여 차별적 차원 축소가 이루어질 수 있음을 보입니다. 기존의 CNN 구성 요소들의 사용은 끝까지 연결(end-to-end) 학습을 보장하며, 제안된 NDDR 계층이 다양한 최신 CNN 아키텍처에 "플러그 앤 플레이" 방식으로 확장될 수 있도록 합니다.세부적인 절삭 분석(ablation analysis) 결과는 제안된 NDDR 계층이 학습하기 쉽고 다양한 하이퍼파라미터에 대해 안정적임을 보여줍니다. 다양한 기본 네트워크 아키텍처와 다른 태스크 세트에 대한 실험들은 우리 방법론의 유망한 성능과 바람직한 일반화 능력을 입증합니다. 본 논문의 코드는 https://github.com/ethanygao/NDDR-CNN 에서 확인할 수 있습니다.