Inception-v4, Inception-ResNet 및 잔차 연결이 학습에 미치는 영향

깊은 합성곱 신경망은 최근 몇 년 동안 이미지 인식 성능에서 가장 큰 발전을 이끌어낸 주요 기술입니다. 이러한 예로, 상대적으로 낮은 계산 비용으로 매우 우수한 성능을 보여준 Inception 아키텍처가 있습니다. 최근에는 전통적인 아키텍처와 함께 잔차 연결(residual connections)이 도입되어 2015년 ILSVRC 챌린지에서 최고 수준의 성능을 달성했습니다. 그 성능은 최신 세대의 Inception-v3 네트워크와 유사했습니다. 이는 Inception 아키텍처와 잔차 연결을 결합하는 데 어떤 이점이 있는지를 제기합니다. 여기서 우리는 잔차 연결을 사용하여 Inception 네트워크를 훈련시키면 훈련 속도가 크게 가속화된다는 명확한 경험적 증거를 제시합니다. 또한, 잔차 연결이 없는 비슷한 계산 비용의 Inception 네트워크보다 잔차 Inception 네트워크가 약간 더 우수한 성능을 보이는 증거도 일부 있습니다. 우리는 또한 잔차와 비잔차 Inception 네트워크 모두에 대한 여러 개의 새로운 개선된 아키텍처를 소개합니다. 이러한 변형들은 ILSVRC 2012 분류 작업에서 단일 프레임 인식 성능을 크게 향상시킵니다. 우리는 또한 적절한 활성화 스케일링이 매우 넓은 잔차 Inception 네트워크의 훈련을 안정화시키는 방법을 시연합니다. 세 개의 잔차 네트워크와 하나의 Inception-v4를 조합하여, ImageNet 분류(CLS) 챌린지의 테스트 세트에서 3.08%의 상위 5개 오류율을 달성했습니다.