ZeroQ：一种新型的零样本量化框架

量化是一种有前景的方法，可以减少神经网络的推理时间和内存占用。然而，大多数现有的量化方法在量化过程中需要重新访问原始训练数据集进行再训练。对于涉及敏感或专有数据的应用来说，这通常是不可行的，例如由于隐私和安全问题。现有的零样本量化方法使用不同的启发式算法来解决这一问题，但它们在超低精度量化时性能较差。在此，我们提出了一种新的零样本量化框架——ZeroQ，以应对这一挑战。ZeroQ 能够在无需访问训练或验证数据的情况下实现混合精度量化。这是通过优化一个蒸馏数据集（Distilled Dataset）来实现的，该数据集被设计为匹配网络各层批量归一化（Batch Normalization）的统计特性。ZeroQ 支持均匀和混合精度量化。对于后者，我们引入了一种基于帕累托前沿的新方法，自动确定所有层的混合精度位宽设置，无需手动搜索。我们在多个模型上广泛测试了所提出的方法，包括在 ImageNet 数据集上的 ResNet18/50/152、MobileNetV2、ShuffleNet、SqueezeNext 和 InceptionV3 以及在 Microsoft COCO 数据集上的 RetinaNet-ResNet50。特别是，我们展示了 ZeroQ 在 MobileNetV2 上相比最近提出的 DFQ 方法能够提高 1.71% 的准确性。重要的是，ZeroQ 的计算开销非常低，并且可以在不到 30 秒的时间内完成整个量化过程（相当于 ResNet50 在 ImageNet 上一个 epoch 训练时间的 0.5%）。我们已经开源了 ZeroQ 框架\footnote{https://github.com/amirgholami/ZeroQ}。