低ビット幅学習のための統計枠組み：深層ニューラルネットワーク向け

完全量子化学習（Fully Quantized Training; FQT）は、ニューラルネットワークモデルの活性化値、重み、勾配を低ビット幅に量子化することで、低ビット幅ハードウェアを活用する手法であり、深層ニューラルネットワークの学習を高速化する有望なアプローチである。FQTの主要な課題の一つは、特に勾配の量子化が収束特性に与える影響についての理論的理解が不足している点である。本論文では、FQTアルゴリズムの分析を可能にする統計的枠組みを提示することで、この問題に取り組む。FQTにおける量子化勾配を、その高精度版に対する確率的推定器と捉え、これを量子化に配慮した学習（Quantization-Aware Training; QAT）と呼ばれる手法として位置づける。本研究では、FQT勾配がQAT勾配に対する不偏推定器であることを示し、勾配量子化が推定の分散に与える影響についても考察する。これらの理論的知見を基に、2つの新たな勾配量子化器を提案し、既存のテンソル単位量子化器（per-tensor quantizer）と比較して、より小さい分散を実現することを示した。ImageNet上でResNet-50を学習する実験において、我々が提案する5ビットブロックハウスホルダー量子化器は、QATと比較して検証精度の低下がわずか0.5%にとどまり、既存のINT8ベースラインと同等の性能を達成した。