지수형 선형 유닛을 사용한 깊은 잔차 네트워크

깊은 합성곱 신경망(Very deep convolutional neural networks)은 사라지는 기울기 문제(vanishing gradient)와 성능 저하(degradation)와 같은 새로운 문제를 도입하였습니다. 이러한 문제 해결에 최근 성공적으로 기여한 것이 잔차 네트워크(Residual Networks)와 하이웨이 네트워크(Highway Networks)입니다. 이들 네트워크는 스킵 연결(skip connections)을 도입하여 입력 정보나 초기 계층에서 학습된 정보가 더 깊은 계층으로 원활하게 흐르도록 합니다. 이러한 매우 깊은 모델들은 ImageNet과 COCO와 같은 벤치마크에서 테스트 오류가 크게 감소하는 결과를 가져왔습니다. 본 논문에서는 잔차 네트워크에서 ReLU와 배치 정규화(Batch Normalization)의 조합 대신 지수형 선형 유닛(Exponential Linear Unit, ELU)의 사용을 제안합니다. 우리는 이 방법이 잔차 네트워크에서 학습 속도를 높일뿐만 아니라, 깊이가 증가함에 따라 정확도를 개선한다는 것을 보여줍니다. 또한 이 방법은 CIFAR-10과 CIFAR-100 등 거의 모든 데이터 세트에서 테스트 오류를 개선하는 것으로 나타났습니다.