HyperAIHyperAI

Command Palette

Search for a command to run...

HPTQ:面向硬件友好的训练后量化

Hai Victor Habi Reuven Peretz Elad Cohen Lior Dikstein Oranit Dror Idit Diamant Roy H. Jennings Arnon Netzer

摘要

神经网络量化技术使得模型能够在边缘设备上部署成为可能。实现硬件高效性的关键要求在于量化器需具备硬件友好性:即采用均匀分布、对称分布,并具有2的幂次阈值。据我们所知,当前的后训练量化方法尚无法同时满足上述所有约束条件。在本研究中,我们提出了一种硬件友好的后训练量化(Hardware-friendly Post-training Quantization, HPTQ)框架,通过协同结合多种已知的量化方法,有效解决了这一问题。我们在四种典型任务——分类、目标检测、语义分割和姿态估计——上,针对多种网络架构进行了大规模实验研究。大量实验结果表明,在满足硬件友好性约束的前提下,该方法仍能取得具有竞争力的性能表现。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供