零样本对抗量化

模型量化是一种有前景的方法，用于压缩深度神经网络并加速推理，从而使其能够在移动设备和边缘设备上部署。为了保持全精度模型的高性能，现有的大多数量化方法都集中在假设可以访问训练数据集的情况下对量化模型进行微调。然而，在实际情况中，由于数据隐私和安全问题，这一假设有时无法满足，导致这些量化方法不适用。为了在不访问训练数据的情况下实现零样本模型量化，少数量化方法采用了后训练量化或基于批归一化统计的数据生成来进行微调。然而，这两种方法不可避免地存在性能较低的问题，因为前者过于依赖经验且缺乏对超低精度量化的训练支持，而后者则无法完全恢复原始数据的特性，并且在生成多样化数据时效率低下。为了解决上述问题，我们提出了一种零样本对抗量化（Zero-shot Adversarial Quantization, ZAQ）框架，该框架有助于从全精度模型到其量化模型的有效差异估计和知识迁移。这是通过一种新颖的两级差异建模来实现的，该建模驱动生成器合成具有信息性和多样性的数据样本来以对抗学习的方式优化量化模型。我们在三个基本视觉任务上进行了广泛的实验，证明了ZAQ相比强大的零样本基线方法的优势，并验证了其主要组件的有效性。代码可在https://git.io/Jqc0y获取。