11 天前

多奖池彩票票据假设:通过剪枝随机权重网络寻找精确的二值神经网络

James Diffenderfer, Bhavya Kailkhura
多奖池彩票票据假设:通过剪枝随机权重网络寻找精确的二值神经网络
摘要

最近,Frankle 与 Carbin(2019)证明,随机初始化的稠密神经网络中包含若干子网络,一旦被发现,仅通过训练即可达到与经过完整训练的稠密网络相当的测试准确率。然而,寻找这些高性能可训练子网络的代价较高,通常需要反复进行训练与剪枝的迭代过程。本文中,我们提出了(并证明了)一个更强版本的“多奖品彩票理论”(Multi-Prize Lottery Ticket Hypothesis):一个充分过参数化的、权重随机初始化的神经网络中,包含多个子网络(即“中奖彩票”),它们具备以下三个特性:(a) 其测试准确率可与经过训练的稠密目标网络相当(奖品1);(b) 无需任何进一步训练即可实现奖品1的准确率(奖品2);(c) 对极端量化形式具有鲁棒性,例如权重和/或激活值被量化为二值(即二进制权重和/或激活)(奖品3)。这一发现为构建紧凑且高精度的二值神经网络提供了一种全新范式:仅通过剪枝与量化随机初始化的全精度神经网络,即可获得高性能模型。我们进一步提出了一种用于发现多奖品彩票(Multi-Prize Tickets, MPTs)的算法,并在CIFAR-10与ImageNet数据集上开展了一系列实验进行验证。实验结果表明,随着模型深度与宽度的增加,多奖品彩票的测试准确率开始与远大于自身的、经过权重训练的全精度模型相当,甚至在某些情况下超越后者。尤为关键的是,在不进行任何权重更新的前提下,我们的MPT-1/32模型在CIFAR-10上取得了94.8%的Top-1准确率,在ImageNet上达到74.03%的Top-1准确率,均创下当前二值权重网络的最新最优(SOTA)纪录。同时,其性能分别优于对应的全精度模型1.78%和0.76%。此外,MPT-1/1在CIFAR-10上实现了91.9%的Top-1准确率,成为当前二值神经网络在该数据集上的SOTA结果。相关代码与预训练模型已开源,地址为:https://github.com/chrundle/biprop。

多奖池彩票票据假设:通过剪枝随机权重网络寻找精确的二值神经网络 | 最新论文 | HyperAI超神经