学习步长量化

在推理阶段使用低精度运算的深度网络相比高精度替代方案具有功耗和空间优势，但需要克服随着精度降低而保持高准确率的挑战。本文提出了一种名为“学习步长量化”（Learned Step Size Quantization）的方法，该方法在使用多种架构的模型时，当权重和激活值被量化为2位、3位或4位精度时，在ImageNet数据集上实现了迄今为止最高的准确率，并且能够训练达到全精度基线准确率的3位模型。我们的方法通过改进量化器自身的配置方式，建立在现有用于学习量化网络中权重的方法之上。具体而言，我们引入了一种新颖的方法来估计并调整每个权重和激活层量化器步长的任务损失梯度，从而使其可以与其他网络参数一同进行学习。该方法可以根据特定系统所需的精度级别灵活工作，并且只需要对现有的训练代码进行简单的修改即可实现。