HPTQ：面向硬件友好的训练后量化

神经网络量化技术使得模型能够在边缘设备上部署成为可能。实现硬件高效性的关键要求在于量化器需具备硬件友好性：即采用均匀分布、对称分布，并具有2的幂次阈值。据我们所知，当前的后训练量化方法尚无法同时满足上述所有约束条件。在本研究中，我们提出了一种硬件友好的后训练量化（Hardware-friendly Post-training Quantization, HPTQ）框架，通过协同结合多种已知的量化方法，有效解决了这一问题。我们在四种典型任务——分类、目标检测、语义分割和姿态估计——上，针对多种网络架构进行了大规模实验研究。大量实验结果表明，在满足硬件友好性约束的前提下，该方法仍能取得具有竞争力的性能表现。