Convolutional Network에서 Rectified Activations의 실증적 평가

본 논문에서는 컨볼루션 신경망에서 다양한 유형의 정류 활성화 함수들의 성능을 조사합니다: 표준 정류 선형 유닛(ReLU), 누설 정류 선형 유닛(Leaky ReLU), 매개변수 정류 선형 유닛(PReLU) 및 새로운 랜덤화된 누설 정류 선형 유닛(RReLU). 우리는 이러한 활성화 함수들을 표준 이미지 분류 작업에 적용하여 평가합니다. 실험 결과, 정류 활성화 유닛의 음수 부분에 비제로 기울기를 도입하면 결과를 일관되게 개선할 수 있음을 제안합니다. 따라서 우리의 연구는 희소성이 ReLU에서 좋은 성능의 핵심이라는 일반적인 믿음에 대해 부정적입니다. 또한 소규모 데이터셋에서는 결정론적인 음수 기울기를 사용하거나 이를 학습하는 것이 과적합에 더 취약하며, 랜덤화된 대응항보다 덜 효과적임을 보여줍니다. RReLU를 사용함으로써, 우리는 다중 테스트나 앙상블 없이 CIFAR-100 테스트 세트에서 75.68%의 정확도를 달성했습니다.