초록
본 논문은 모델의 판별력을 향상시키고 수용 영역 내 정보 추상화 과정을 용이하게 하는 새로운 딥 아키텍처, 즉 Maxout Network In Network (MIN)에 대해 보고합니다. 제안된 네트워크는 최근 개발된 Network In Network 구조를 채택하여, 렐루(ReLU) 유닛을 사용하는 다층 퍼셉트론(MLP)이라는 범용 근사자를 특징 추출에 적용합니다. MLP 대신, 우리는 다양한 조각별 선형 활성화 함수를 학습하고 렐루 유닛을 사용할 때 발생할 수 있는 기울기 소실 문제를 완화하기 위해 maxout MLP를 사용합니다. 또한, 배치 정규화(batch normalization)를 통해 모델을 사전 조건부로 설정하여 maxout 유닛의 포화 상태를 줄이고, 드롭아웃(dropout)을 적용하여 과적합을 방지합니다. 마지막으로, 모든 풀링 계층에서 평균 풀링(average pooling)을 사용하여 수용 영역 내에서 정보 추상화를 용이하게 하면서 객체 위치 변화에 대한 내성을 유지하도록 maxout MLP를 규제합니다. 평균 풀링은 로컬 패치 내의 모든 특징을 보존하므로, 제안된 MIN 모델은 학습 중 관련 없는 정보의 억제를 강제할 수 있습니다. 실험 결과, MIN 모델이 MNIST, CIFAR-10 및 CIFAR-100 데이터셋에 적용되었을 때 최고 수준의 분류 성능을 보였으며, SVHN 데이터셋에서도 유사한 성능을 나타냈습니다.