초록
깊은 신경망은 현재 여러 분야에서 최고 수준의 성능을 보여주고 있습니다. 그러나 이 클래스의 모델들은 계산 자원 측면에서 매우 높은 요구를 합니다. 특히, 일반적으로 사용되는 완전 연결층(fully-connected layers)은 많은 메모리를 필요로 하므로 저사양 장치에서 모델을 사용하는 것이 어려워지고 있으며, 이는 모델 크기의 추가적인 증가를 방해하고 있습니다. 본 논문에서는 완전 연결층의 밀집된 가중치 행렬(dense weight matrices)을 텐서 트레인(Tensor Train) 형식으로 변환하여 매개변수의 수를 크게 줄이면서 동시에 층의 표현력(expressive power)을 유지할 수 있는 방법을 제시합니다. 특히, 매우 깊은 VGG 네트워크에 대해 완전 연결층의 밀집된 가중치 행렬의 압축 비율이 최대 200,000배에 달하며, 전체 네트워크의 압축 비율이 최대 7배에 이르는 결과를 보고합니다.