로또 조작하기: 모든 티켓을 당첨자로 만들기

많은 응용 분야에서는 공간 제약이나 추론 시간 제약으로 인해 희소 신경망(sparse neural networks)이 필요하다. 기존의 밀집형 네트워크(dense networks)를 훈련시켜 추론용으로 희소 네트워크를 생성하는 연구가 다수 존재하지만, 이 방법은 훈련 가능한 최대 희소 모델의 크기를 최대 밀집 모델의 크기로 제한한다. 본 논문에서는 훈련 전반에 걸쳐 파라미터 수와 계산 비용이 고정된 상태에서 희소 신경망을 훈련하는 방법을 제안한다. 이 방법은 기존의 밀집형에서 희소형으로 전환하는 훈련 기법과 비교해 정확도를 희생하지 않으면서도 가능하다. 제안하는 방법은 훈련 중에 파라미터의 크기와 드문 드문한 기울기 계산을 활용하여 희소 네트워크의 구조(topology)를 동적으로 업데이트한다. 실험 결과, 기존 기법에 비해 특정 정확도 수준에 도달하기 위해 필요한 부동소수점 연산(FLOPs)이 적음을 입증하였다. 다양한 네트워크 및 데이터셋에서 최신 기술 수준의 희소 훈련 성능을 보였으며, 이는 ResNet-50, ImageNet-2012 기반의 MobileNets, WikiText-103 기반의 RNN을 포함한다. 마지막으로, 최적화 과정에서 네트워크 구조를 동적으로 변경할 수 있게 함으로써 고정된 구조를 유지할 때 겪는 국소 최적값(local minima)을 극복할 수 있는 이유에 대해 몇 가지 통찰을 제시한다. 본 연구에서 사용된 코드는 github.com/google-research/rigl에서 확인할 수 있다.