学習されたステップサイズ量子化

低精度演算で推論を行う深層ネットワークは、高精度の代替手段に比べて電力と空間の優位性を提供しますが、精度が低下するにつれて高い精度を維持するという課題を克服する必要があります。本稿では、そのようなネットワークの訓練方法である学習ステップサイズ量子化（Learned Step Size Quantization）について紹介します。この方法は、さまざまなアーキテクチャを持つモデルにおいて、重みと活性化関数を2ビット、3ビット、4ビットの精度に量子化した場合でも、ImageNetデータセット上でこれまで最高の精度を達成しています。さらに、3ビットモデルを完全な精度基準まで訓練することも可能となっています。当手法は既存の量子化ネットワークにおける重みの学習方法を基盤としており、量子化器自体の設定方法を改善することで進展しています。具体的には、各重みおよび活性化層の量子化ステップサイズにおけるタスク損失勾配を推定しスケーリングする新しい手法を導入しました。これにより、他のネットワークパラメータとともに学習することが可能となります。このアプローチはシステムごとに必要な異なる精度レベルに対応でき、既存の訓練コードに簡単な修正のみが必要です。