깊은 CNN이 전역 공분산 풀링을 만나다: 더 나은 표현과 일반화

기존의 딥 컨볼루션 신경망(CNN)에서의 글로벌 평균 풀링과 비교하여, 글로벌 공분산 풀링은 더 풍부한 딥 피처의 통계량을 포착할 수 있어, 딥 CNN의 표현력과 일반화 능력을 개선하는 잠재력을 가지고 있습니다. 그러나, 글로벌 공분산 풀링을 딥 CNN에 통합하는 것은 두 가지 도전 과제를 가져옵니다: (1) 고차원적이고 샘플 크기가 작은 딥 피처에 대한 강건한 공분산 추정; (2) 공분산의 기하학적 특성을 적절히 활용하는 방법. 이러한 도전 과제를 해결하기 위해, 우리는 글로벌 행렬 거듭제곱 정규화된 공분산(MPN-COV) 풀링을 제안합니다. 우리의 MPN-COV는 강건한 공분산 추정기에 부합하며, 고차원적이고 샘플 크기가 작은 상황에 매우 적합합니다. 또한, 이는 공분산 간의 거듭제곱-유클리드 거리(Power-Euclidean metric)로도 해석될 수 있어, 그들의 기하학적 특성을 효과적으로 활용할 수 있습니다. 더욱이, 첫 번째 차수 통계량을 MPN-COV에 통합하기 위해 글로벌 가우시안 임베딩 네트워크를 제안합니다. MPN-COV 네트워크의 빠른 학습을 위해, GPU 친화적이지 않은 고유값 분해(eigen-decomposition)를 피하면서 반복적인 행렬 제곱근 정규화(iterative matrix square root normalization)를 구현했습니다. 또한, 공분산 표현을 압축하기 위해 점진적인 1x1 컨볼루션과 그룹 컨볼루션이 도입되었습니다. 제안된 방법들은 높은 모듈성으로 기존의 딥 CNN에 쉽게 적용할 수 있습니다. 대규모 객체 분류, 장면 범주화, 세밀한 시각 인식(fine-grained visual recognition), 질감 분류(texture classification) 등 다양한 실험을 통해 우리의 방법들이 기존 방법들을 능가하고 최신 성능(state-of-the-art performance)을 달성함을 보여주었습니다.