HyperAIHyperAI

Command Palette

Search for a command to run...

学習可能な対称量子化器を用いたマルチビット量子化およびバイナリ化ネットワークの訓練

Phuoc Pham Jacob Abraham Jaeyong Chung

概要

深層ニューラルネットワークの重みおよび活性化の量子化は、リソース制約のあるデバイスへの展開や、大規模サービス向けクラウドプラットフォームへの導入において不可欠である。バイナリ化は量子化の特殊なケースではあるが、この極端な量子化方法はしばしば訓練の困難を引き起こし、専用のモデル構造および訓練手法を必要とする。その結果、最近の量子化手法はバイナリ化をサポートしておらず、最もリソース効率の高い選択肢を失っている上に、量子化ネットワークとバイナリ化ネットワークは別々の研究分野として扱われてきた。本研究では、量子化フレームワークの観点からバイナリ化の困難点を検討し、バイナリ訓練を可能にするために必要な要素が、対称的な量子化器、適切な初期化、そして慎重なハイパーパラメータの選定であることを明らかにした。これらの技術は、多ビット量子化においても顕著な性能向上をもたらす。我々が提案する統一的な量子化フレームワーク「UniQ」を、ResNet-18、ResNet-34、MobileNetV2など多様なアーキテクチャを用いてImageNetデータセット上で評価した結果、多ビット量子化において既存手法を上回る最先端の精度を達成した。また、バイナリ化においても、元のアーキテクチャを変更することなく、既存の最先端手法と同等の精度を実現した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
学習可能な対称量子化器を用いたマルチビット量子化およびバイナリ化ネットワークの訓練 | 記事 | HyperAI超神経