초록
최근 몇 년 동안 더 깊은 합성곱 신경망(CNN)의 학습이 추세가 되고 있습니다. 그러나 많은 경험적 증거들은 단순히 더 많은 층을 쌓음으로써 성능 향상을 얻을 수 없다는 것을 시사하고 있습니다. 본 논문에서는 이 문제를 정보 이론적 관점에서 고려하고, 훈련 단계에서 효과적인 정보의 전파를 촉진하는 새로운 방법인 릴레이 역전파(Relay Backpropagation)를 제안합니다. 이 방법 덕분에 우리는 ILSVRC 2015 장면 분류 도전에서 1위를 차지했습니다. 두 개의 도전적인 대규모 데이터셋에 대한 광범위한 실험을 통해 우리의 방법이 특정 데이터셋이나 네트워크 구조에 국한되지 않고 효과적임을 입증하였습니다. 우리의 모델은 나중에 연구 커뮤니티에 공개될 예정입니다.