摘要
对深度神经网络的权重和激活值进行量化，是将其部署于资源受限设备或大规模云服务平台的关键技术。尽管二值化（binarization）可视为量化的一种特殊形式，但这一极端情况常导致诸多训练难题，因而需要专门设计的网络架构与训练方法。因此，近年来的量化方法普遍不包含二值化，从而丧失了最具资源效率的选项，使得量化网络与二值化网络长期成为两个独立的研究方向。本文在统一的量化框架下系统分析了二值化所面临的挑战，发现仅需三个关键要素即可实现有效的二值化训练：对称量化器（symmetric quantizer）、合理的初始化策略以及精细的超参数选择。这些技术不仅显著提升了二值化训练的可行性，同时在多比特量化中也带来了显著的性能提升。我们提出的统一量化框架——UniQ，在ImageNet数据集上针对多种主流网络架构（包括ResNet-18、ResNet-34和MobileNetV2）进行了验证。在多比特量化场景下，UniQ超越现有方法，达到了当前最优的分类准确率；而在二值化场景中，即便不修改原始网络结构，其性能亦可与现有最先进的二值化方法相媲美。