초록
우리는 수용 영역 내의 로컬 패치에 대한 모델의 판별력을 향상시키기 위해 새로운 딥 네트워크 구조인 '네트워크 인 네트워크' (Network In Network, NIN)를 제안합니다. 기존의 컨볼루션 계층은 입력을 스캔하기 위해 선형 필터와 비선형 활성화 함수를 사용합니다. 반면, 우리는 수용 영역 내의 데이터를 추상화하기 위해 더 복잡한 구조를 가진 마이크로 신경망을 구축하였습니다. 이 마이크로 신경망은 다층 퍼셉트론으로 구현되며, 이는 강력한 함수 근사자입니다. 특징 맵은 CNN과 유사한 방식으로 입력 위에서 마이크로 신경망을 슬라이딩하여 얻어지며, 그 다음 계층으로 전달됩니다. 깊은 NIN은 위에서 설명한 구조를 여러 개 쌓아서 구현할 수 있습니다. 마이크로 신경망을 통해 로컬 모델링이 향상됨에 따라, 분류 계층에서 특징 맵에 대해 글로벌 평균 풀링을 사용할 수 있으며, 이는 전통적인 완전 연결 계층보다 해석이 쉽고 과적합에 덜 취약합니다. 우리는 NIN을 사용하여 CIFAR-10 및 CIFAR-100 데이터셋에서 최신 분류 성능을 보여주었으며, SVHN 및 MNIST 데이터셋에서도 합리적인 성능을 달성하였습니다.