要約
深層ニューラルネットワークの重みおよび活性化の量子化は、リソース制約のあるデバイスへの展開や、大規模サービス向けクラウドプラットフォームへの導入において不可欠である。バイナリ化は量子化の特殊なケースではあるが、この極端な量子化方法はしばしば訓練の困難を引き起こし、専用のモデル構造および訓練手法を必要とする。その結果、最近の量子化手法はバイナリ化をサポートしておらず、最もリソース効率の高い選択肢を失っている上に、量子化ネットワークとバイナリ化ネットワークは別々の研究分野として扱われてきた。本研究では、量子化フレームワークの観点からバイナリ化の困難点を検討し、バイナリ訓練を可能にするために必要な要素が、対称的な量子化器、適切な初期化、そして慎重なハイパーパラメータの選定であることを明らかにした。これらの技術は、多ビット量子化においても顕著な性能向上をもたらす。我々が提案する統一的な量子化フレームワーク「UniQ」を、ResNet-18、ResNet-34、MobileNetV2など多様なアーキテクチャを用いてImageNetデータセット上で評価した結果、多ビット量子化において既存手法を上回る最先端の精度を達成した。また、バイナリ化においても、元のアーキテクチャを変更することなく、既存の最先端手法と同等の精度を実現した。