학습 가능한 희소성 위한 소프트 임계값 가중치 재매개변수화

심층 신경망(DNN)에서 희소성(sparsity)은 전체 파라미터 예산 내에서 예측 정확도를 극대화하는 데 초점을 맞추어 광범위하게 연구되고 있다. 기존의 방법들은 균일하거나 휴리스틱한 비균일 희소성 예산을 기반으로 하며, 이는 계층별 파라미터 할당이 최적화되지 않아 a) 낮은 예측 정확도 또는 b) 높은 추론 비용(FLOPs)을 초래한다. 본 연구에서는 DNN 가중치에 소프트 임계값(soft-threshold) 연산자를 새롭게 적용하는 소프트 임계값 재매개변수화(Soft Threshold Reparameterization, STR)를 제안한다. STR은 학습 과정에서 프루닝 임계값을 자동으로 학습하면서 부드럽게 희소성을 유도함으로써 비균일한 희소성 예산을 획득한다. 제안된 방법은 CNN(ResNet50 및 MobileNetV1, ImageNet-1K 기준)에서 비구조적 희소성에 대해 최신 기술 수준의 정확도를 달성하였으며, 추가적으로 경험적으로 FLOPs를 최대 50%까지 감소시키는 비균일 예산을 학습한다. 특히, 극도로 희소한(99%) 환경에서 기존 결과보다 정확도를 최대 10% 향상시키며, RNN에 대해 저랭크(구조적 희소성)를 유도하는 데에도 활용 가능하다. 요약하면, STR은 기존의 대중적인 휴리스틱과 대비되는 효과적인 희소성 예산을 학습하는 간단한 메커니즘이다. 코드, 사전 학습된 모델 및 희소성 예산은 https://github.com/RAIVNLab/STR 에서 확인할 수 있다.