HyperAIHyperAI

Command Palette

Search for a command to run...

使用可学习对称量化器训练多比特量化与二值化网络

Phuoc Pham Jacob Abraham Jaeyong Chung

摘要

对深度神经网络的权重和激活值进行量化,是将其部署于资源受限设备或大规模云服务平台的关键技术。尽管二值化(binarization)可视为量化的一种特殊形式,但这一极端情况常导致诸多训练难题,因而需要专门设计的网络架构与训练方法。因此,近年来的量化方法普遍不包含二值化,从而丧失了最具资源效率的选项,使得量化网络与二值化网络长期成为两个独立的研究方向。本文在统一的量化框架下系统分析了二值化所面临的挑战,发现仅需三个关键要素即可实现有效的二值化训练:对称量化器(symmetric quantizer)、合理的初始化策略以及精细的超参数选择。这些技术不仅显著提升了二值化训练的可行性,同时在多比特量化中也带来了显著的性能提升。我们提出的统一量化框架——UniQ,在ImageNet数据集上针对多种主流网络架构(包括ResNet-18、ResNet-34和MobileNetV2)进行了验证。在多比特量化场景下,UniQ超越现有方法,达到了当前最优的分类准确率;而在二值化场景中,即便不修改原始网络结构,其性能亦可与现有最先进的二值化方法相媲美。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供