张量化神经网络

当前，深度神经网络在多个领域展示了最先进的性能。然而，这类模型对计算资源的需求非常高。特别是，常用的全连接层需要大量的内存，这使得在低端设备上使用这些模型变得困难，并且阻碍了模型规模的进一步扩大。本文中，我们将全连接层的密集权重矩阵转换为张量列车（Tensor Train）格式，从而大幅减少了参数数量，同时保留了该层的表达能力。具体而言，对于非常深的VGG网络，我们报告了全连接层密集权重矩阵的最大压缩比达到20万倍，从而使整个网络的压缩比达到了最高7倍。