잔차 네트워크의 잔차 네트워크: 다단계 잔차 네트워크

잔차 네트워크(residual networks) 가족이 수백 또는 수천 개의 층으로 주요 이미지 인식 작업을 주도하고 있지만, 단순히 잔차 블록을 쌓아서 네트워크를 구축하는 것은 그 최적화 능력을 제한할 수밖에 없습니다. 본 논문에서는 잔차 네트워크의 최적화 능력을 더욱 발전시키기 위한 새로운 잔차 네트워크 아키텍처, 잔차 네트워크의 잔차 네트워크(Residual Networks of Residual Networks, RoR)를 제안합니다. RoR은 원래의 잔차 매핑(original residual mapping)을 최적화하는 대신, 잔차 매핑의 잔차 매핑(residual mapping of residual mapping)을 최적화합니다. 특히, RoR은 원래의 잔차 네트워크 위에 레벨별 단축 연결(level-wise shortcut connections)을 추가하여 잔차 네트워크의 학습 능력을 향상시킵니다. 더욱 중요한 점은, RoR이 다양한 종류의 잔차 네트워크(ResNets, Pre-ResNets 및 WRN)에 적용될 수 있으며, 성능을 크게 향상시킬 수 있다는 것입니다. 우리의 실험은 RoR의 효과성과 유연성을 입증하며, 모든 잔차 네트워크와 유사한 구조에서 최고의 성능을 달성하였습니다. 우리의 RoR-3-WRN58-4+SD 모델들은 CIFAR-10, CIFAR-100 및 SVHN 데이터셋에서 각각 3.77%, 19.73%, 1.59%의 테스트 오류율로 새로운 최고 기준(state-of-the-art) 결과를 달성하였습니다. 또한 RoR-3 모델들은 ImageNet 데이터셋에서도 ResNets와 비교해 최고 기준 결과를 달성하였습니다.