초록
네트워크 프루닝은 자원이 제한된 시스템에 과도하게 파라미터화된 신경망을 배포하기 위해 계산 비용을 줄이는 효과적인 방법이다. 최근에 제안된 프루닝된 네트워크의 재학습 기법 중에서 가중치 리윈딩(Weight Rewinding)과 학습률 리윈딩(Learning Rate Rewinding)은 전통적인 피니팅 기법보다 손실된 정확도를 더 잘 회복하는 것으로 나타났다(Renda 등, 2020), 그러나 이러한 성능 향상의 원인은 여전히 명확하지 않다. 본 연구에서는 학습률 리윈딩의 놀라운 효과를 검증하고 분석하기 위해 광범위한 실험을 수행한다. 그 결과, 학습률 리윈딩의 성공 원인은 큰 학습률의 사용에 있음을 확인하였다. 이와 유사한 현상은 큰 학습률을 포함하는 다른 학습률 스케줄링 기법, 예를 들어 1사이클 학습률 스케줄링(1-cycle learning rate schedule, Smith 등, 2019)에서도 관찰된다. 재학습 시 적절한 학습률 스케줄링을 활용함으로써, 기존의 체계적인 프루닝 방식으로 재학습한 네트워크보다 무작위로 프루닝된 네트워크가 오히려 더 높은 성능을 달성할 수 있다는 직관에 반하는 현상을 입증한다. 본 연구의 결과는 프루닝된 네트워크의 재학습 과정에서 학습률 스케줄링의 극도로 중요한 역할을 강조하며, 이는 실제 프루닝 구현 시 종종 간과되는 중요한 요소임을 시사한다. 한 문장 요약: 우리는 프루닝을 수행할 때 다양한 재학습 기법의 효과를 연구한다.