초록
신경망의 깊이가 점점 더 깊어지는 추세는 일반적으로 깊이를 늘리면 네트워크의 성능이 향상된다는 관찰에 의해 주도되어 왔습니다. 그러나 최근에는 단순히 깊이를 늘리는 것이 반드시 최선의 방법은 아니라는 증거가 쌓이고 있습니다. 특히 다른 제약 조건을 고려할 때 더욱 그렇습니다. 깊은 잔차 네트워크(Deep Residual Networks)에 대한 연구에서는 이러한 네트워크가 실제로 하나의 깊은 네트워크로 작동하는 것이 아니라 여러 개의 비교적 얕은 네트워크들의 앙상블로 작동할 가능성이 제기되었습니다. 우리는 이러한 문제들을 검토하고, 이를 통해 실험적으로 관찰된 일부 행동을 설명하는 새로운 해석을 도출합니다. 그 결과, ImageNet 분류 데이터셋에서 매우 깊은 모델인 ResNet-200보다 크게 우수한 성능을 보이는 새로운, 더 얕은 잔차 네트워크 구조를 설계할 수 있었습니다. 또한 우리는 이 성능이 다른 문제 영역으로도 이전될 수 있음을 보여주기 위해 PASCAL VOC, PASCAL Context, Cityscapes 등의 데이터셋에서 기존 최고 수준의 성능을 크게 뛰어넘는 의미 분할 접근법을 개발하였습니다. 우리가 제안하는 구조는 매우 깊은 ResNets를 포함한 비교 대상들보다 우수한 성능을 보이며, 메모리 사용 효율성이 높고 때때로 학습 시간도 더 짧습니다. 코드와 모델은 https://github.com/itijyou/ademxapp에서 제공됩니다.