초록
깊은 잔여 네트워크(Deep Residual Networks)는 매우 깊은 구조로, 뛰어난 정확도와 우수한 수렴 특성을 보이는 모델군으로 부각되었습니다. 본 논문에서는 잔여 빌딩 블록(residual building blocks) 뒤에 있는 전파 공식(propagation formulations)을 분석하였으며, 이는 항등 매핑(identity mappings)을 스킵 연결(skip connections)로 사용하고 추가 후 활성화(addition activation)를 적용할 때, 순방향 및 역방향 신호가 한 블록에서 다른 어떤 블록으로도 직접 전파될 수 있음을 시사합니다. 일련의 절제 실험(ablation experiments)은 이러한 항등 매핑의 중요성을 지지합니다. 이를 바탕으로 우리는 훈련을 용이하게 하고 일반화 성능을 개선하는 새로운 잔여 유닛(residual unit)을 제안합니다. CIFAR-10(4.62% 오류율)과 CIFAR-100, 그리고 ImageNet 데이터셋에서 1001층 ResNet과 200층 ResNet을 사용하여 개선된 결과를 보고합니다. 코드는 다음 주소에서 확인 가능합니다: https://github.com/KaimingHe/resnet-1k-layers