Feather: 효과적인 DNN 희소화를 위한 우아한 해결책

신경망 프루닝은 고성능을 유지하면서도 자원이 제한된 환경에서 사용 가능한 컴팩트하고 효율적인 모델을 생성하는 데 점점 더 널리 사용되는 기법이다. 프루닝은 다중 사이클의 훈련 및 미세조정 과정을 통해 수행될 수 있지만, 최근의 추세는 표준 훈련 과정 중에 스파스화(sparsification) 과정을 통합하는 것이다. 이를 위해 우리는 강력한 스트레이트스루 추정기(Straight-Through Estimator)를 핵심으로 하되, 새로운 임계값 설정 연산자(thresholding operator)와 기울기 스케일링 기법을 결합한 효율적인 스파스 훈련 모듈인 Feather를 제안한다. 이는 즉시 사용 가능한 강력한 스파스화 성능을 가능하게 한다. 다양한 아키텍처를 CIFAR 데이터셋에서 평가하여 Feather의 효과성과 적응성을 입증하였으며, ImageNet에서는 ResNet-50 아키텍처를 사용해 기존의 더 복잡하고 계산 비용이 큰 방법들보다 상당한 성능 차이를 보이며 최신 기술 수준의 Top-1 검증 정확도를 달성하였다. 코드는 공개적으로 https://github.com/athglentis/feather 에서 제공된다.