CNN 풀링 아키텍처 학습을 위한 밸런스 잡힌 SuperNet의 혼합

다운샘플링 레이어, 즉 풀링과 스트라이드 컨볼루션은 이미지 특징 분석의 세밀도/스케일과 특정 레이어의 수용 영역(receptive field) 크기를 결정하는 컨볼루셔널 신경망 아키텍처의 핵심 구성 요소이다. 이 문제를 완전히 이해하기 위해, ResNet20 네트워크를 사용하여 CIFAR10 데이터셋에서 각각의 풀링 구성에 대해 독립적으로 학습된 모델의 성능을 분석한 결과, 다운샘플링 레이어의 위치가 네트워크 성능에 큰 영향을 미치며, 사전 정의된 다운샘플링 구성은 최적의 선택이 아님을 확인하였다. 네트워크 아키텍처 탐색(NAS)은 이러한 다운샘플링 구성 설정을 하이퍼파라미터로 최적화하는 데 활용될 수 있다. 그러나 우리는 일반적으로 단일 SuperNet 기반의 one-shot NAS가 이 문제에 적합하지 않음을 발견하였다. 이는 SuperNet이 최적의 풀링 구성 찾기에 사용될 때, 모든 풀링 구성 간에 파라미터를 완전히 공유하기 때문이다. 이로 인해 학습이 어려워지며, 일부 구성에 대한 학습이 다른 구성의 성능을 해칠 수 있다. 따라서 본 연구에서는 서로 다른 가중치 모델에 풀링 구성이 자동으로 연결되도록 균형 잡힌 SuperNet의 혼합 모델을 제안한다. 이 방법은 풀링 구성 간의 가중치 공유와 상호 간 영향을 줄이는 데 기여한다. 제안된 방법은 CIFAR10, CIFAR100, Food101에서 평가되었으며, 모든 경우에서 기존의 접근 방식보다 우수한 성능을 보였으며, 기본 풀링 구성보다도 성능이 향상됨을 입증하였다.