WSNet: 가중치 샘플링을 통한 컴팩트하고 효율적인 네트워크 학습

우리는 컴팩트하고 효율적인 딥 신경망을 학습하기 위한 새로운 접근법과 새로운 아키텍처인 WSNet을 제안한다. 기존의 방법들은 일반적으로 전체 모델 파라미터를 독립적으로 학습한 후, 모델 프루닝이나 필터 인수분해와 같은 임의의 처리 방식을 통해 압축한다. 반면 WSNet은 학습 가능한 파라미터의 컴팩트한 집합에서 샘플링을 통해 모델 파라미터를 학습하는 방식을 제안하며, 이 과정에서 자연스럽게 {파라미터 공유(parameter sharing)}를 강제한다. 우리는 이러한 새로운 가중치 샘플링 방식(그로 인해 유도된 WSNet)이 가중치와 계산 자원 모두에 대해 공유를 유리하게 촉진함을 입증한다. 이 방법을 활용하면, 동일한 합성곱 필터 수를 가진 기준 모델과 비교하여 훨씬 작지만 경쟁력 있는 성능을 가진 모델을 보다 효율적으로 학습할 수 있다. 구체적으로, 음성 분류를 위한 컴팩트하고 효율적인 1차원 합성곱 신경망 학습을 고려한다. 다양한 음성 분류 데이터셋에서 실시한 광범위한 실험을 통해 WSNet의 효과성을 검증하였다. 가중치 양자화와 결합할 경우, 결과 모델은 잘 알려진 기준 모델보다 최대 180배 작아지고, 이론적으로 최대 16배 빠르며, 성능 저하가 거의 관측되지 않는다.