초록
딥 신경망은 일반적으로 소비자용 하드웨어 및 저전력 장치에서 실시간으로 실행하기에 계산 비용이 너무 높다. 본 논문에서는 네트워크 프루닝과 양자화를 통해 신경망의 계산 및 메모리 요구량을 줄이는 방법을 탐구한다. 우리는 대규모 네트워크인 AlexNet에 대해 최근에 등장한 컴팩트한 아키텍처인 ShuffleNet과 MobileNet과의 비교를 통해 이러한 기법의 효과성을 검토한다. 실험 결과, 프루닝과 양자화를 적용하면 이러한 네트워크의 크기를 원래 크기의 절반 이하로 압축할 수 있으며, 특히 MobileNet의 경우 7배의 속도 향상을 달성함으로써 효율성이 크게 향상됨을 확인하였다. 또한 프루닝이 네트워크의 파라미터 수를 줄이는 것 외에도 과적합(overfitting)을 완화하는 데에도 도움이 된다는 점을 실험적으로 입증하였다.