Q-BERT：ヘシアンに基づくBERTの超低精度量子化

Transformerベースのアーキテクチャは、自然言語処理（NLP）のさまざまなタスクにおいてデファクトスタンダードとして広く採用されている。特にBERTに基づくモデルは、GLUEタスク、CoNLL-03、SQuADにおいて顕著な精度向上を達成している。しかし、BERTベースのモデルはメモリ使用量が大きく、遅延も高いため、リソース制約環境における展開が困難な課題となっている。本研究では、2次ヘシアン情報（Hessian information）を用いて微調整済みBERTモデルの詳細な分析を行い、その結果をもとに、BERTモデルを極めて低精度に量子化するための新しい手法を提案する。具体的には、新たなグループ別量子化スキームを提案するとともに、ヘシアンに基づく混合精度（mix-precision）手法を用いてモデルのさらに高い圧縮を実現する。本手法は、SST-2、MNLI、CoNLL-03、SQuADといったBERTの下流タスクにおいて広範に検証された結果、ベースラインと同等の性能を達成しつつ、最大で2.3％の性能低下にとどめることができた。さらに、2ビットという極めて低精度の量子化でも、モデルパラメータの最大13倍、埋め込みテーブルおよび活性化値の最大4倍の圧縮が可能である。すべてのタスクにおいて、SQuADで微調整されたBERTモデルで最も大きな性能低下が観測された。ヘシアンに基づく分析および可視化を通じて、これは現在のBERTのトレーニング／微調整戦略がSQuADタスクにおいて収束していないことに起因していることを明らかにした。