EagleEye: 효율적인 신경망 절단을 위한 빠른 서브넷 평가

학습된 딥 신경망(DNN)에서 계산적 중복 부분을 파악하는 것은 프루닝 알고리즘들이 주로 해결하려는 핵심 과제이다. 많은 알고리즘이 다양한 평가 방법을 도입하여 프루닝된 하위 네트워크의 모델 성능을 예측하려 시도하지만, 이러한 방법들은 either 정확도가 낮거나 일반적인 적용에 매우 복잡한 단점이 있다. 본 연구에서는 적응형 배치 정규화(adaptive batch normalization) 기반의 간단하면서도 효율적인 평가 컴포넌트를 도입한 프루닝 방법인 EagleEye를 제안한다. 이 방법은 다양한 프루닝된 DNN 구조와 최종 정착된 정확도 사이에 강한 상관관계가 존재함을 드러내며, 실제로 미세 조정(fine-tuning) 없이도 가장 높은 정확도를 기대할 수 있는 프루닝 후보를 신속히 식별할 수 있게 한다. 또한 이 모듈은 기존의 일부 프루닝 알고리즘에 쉽게 통합되어 성능을 향상시킬 수 있는 일반성도 갖추고 있다. 실험 결과, EagleEye는 비교한 모든 프루닝 알고리즘보다 더 우수한 프루닝 성능을 달성하였다. 구체적으로 MobileNet V1과 ResNet-50을 프루닝할 경우, EagleEye는 모든 비교 방법보다 최대 3.8% 높은 정확도를 기록하였다. 더욱 도전적인 MobileNet V1의 컴팩트 모델 프루닝 실험에서도 EagleEye는 전반적인 연산량(FLOPs)을 50% 감소시키면서도 최고의 정확도 70.9%를 달성하였다. 모든 정확도 결과는 Top-1 ImageNet 분류 정확도를 기준으로 한다. 소스 코드와 모델은 오픈소스 커뮤니티에 공개되어 있으며, 다음 링크에서 접근 가능하다: https://github.com/anonymous47823493/EagleEye.