HyperAIHyperAI

Command Palette

Search for a command to run...

HMQ: CNN向けハードウェアフレンドリーなミックス精度量子化ブロック

Hai Victor Habi Roy H. Jennings Arnon Netzer

概要

近年のネットワーク量子化に関する研究では、混合精度量子化を用いた手法が、最先端の性能を達成している。多くの効率的なエッジデバイス向けハードウェア実装においては、量子化器が均一であり、かつ2の累乗のしきい値を持つことが必須の要件である。本研究では、この要件を満たすため、ハードウェアに優しい混合精度量子化ブロック(Hardware Friendly Mixed Precision Quantization Block:HMQ)を提案する。HMQは、Gumbel-Softmax推定器を、ビット幅としきい値という2つの量子化パラメータの滑らかな推定器として再利用する混合精度量子化ブロックであり、有限の量子化スキームの空間を探索可能にする。実験的に、CIFAR10およびImageNet上で訓練された分類モデルにHMQを適用した。ImageNetに対しては、4種類の異なるアーキテクチャを量子化し、量子化スキームに追加された制約にもかかわらず、競争力のある結果を達成し、一部のケースでは最先端の性能を上回ることを示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています