Command Palette
Search for a command to run...
ゼロショット対抗量子化
ゼロショット対抗量子化
Yuang Liu Wei Zhang* Jun Wang*
概要
モデルの量子化は、深層ニューラルネットワークを圧縮し、推論を加速する有望な手法であり、モバイルデバイスやエッジデバイスへの展開が可能となります。高精度モデルの高性能を維持するために、既存の多くの量子化手法は訓練データセットにアクセスできるという前提で量子化されたモデルの微調整に焦点を当てています。しかし、実際の状況ではデータプライバシーやセキュリティの問題によりこの前提が満たされないことがあり、それによってこれらの量子化手法が適用できない場合があります。訓練データにアクセスせずにゼロショットでのモデル量子化を達成するために、ごく少数の量子化手法がポストトレーニング量子化またはバッチ正規化統計に基づくデータ生成を使用して微調整を行っています。しかし、これらはいずれも性能低下を避けられません。前者は経験的な面が強く、超低精度量子化に対する訓練支援が不足しているためです。後者は元のデータの特徴を完全に再現できず、多様なデータ生成において効率が低い傾向があります。上記の課題に対処するため、私たちはゼロショット対抗的量子化(Zero-shot Adversarial Quantization: ZAQ)フレームワークを提案します。このフレームワークは、高精度モデルからその量子化モデルへ効果的な差異推定と知識転送を促進します。これは新しい二段階差異モデリングによって達成され、ジェネレータが情報量豊富で多様なデータサンプルを合成し、対抗的学習を通じて量子化モデルを最適化することを可能にします。私たちは3つの基本的なビジョンタスクに対して広範な実験を行い、ZAQが強力なゼロショットベースラインよりも優れていることを示し、その主要コンポーネントの有効性も検証しました。コードはhttps://git.io/Jqc0yで利用可能です。