Qimera: 合成境界サポート付きサンプルを用いたデータフリー量子化

モデルの量子化は、特に軽量のモバイルやエッジデバイスでの推論のために深層ニューラルネットワークを圧縮する有望な手法として知られています。しかし、モデルの量子化では通常、フル精度モデルの精度を維持するために元の訓練データへのアクセスが必要であり、これはセキュリティやプライバシーの問題から現実的な状況ではしばしば不可能です。元のデータにアクセスせずに量子化を行う一般的なアプローチは、バッチ正規化統計や敵対的学習に基づいて合成サンプルを生成することですが、これらのアプローチの欠点は、主にジェネレータへのランダムノイズ入力によって合成サンプルの多様性を得ることに依存していることです。私たちはこれがしばしば元データの分布を捉えるのに十分ではなく、特に決定境界付近において顕著であることを発見しました。この課題に対処するため、私たちはQimeraという手法を提案します。Qimeraは、重ね合わせた潜在埋め込みを使用して合成境界支持サンプルを生成します。重ね合わせた埋め込みが元の分布をより正確に反映するように、さらに解離マッピング層を使用し、フル精度モデルから情報を抽出することも提案しています。実験結果は、Qimeraがデータフリー量子化において様々な設定で最先端の性能を達成することを示しています。コードは以下のURLで入手可能です: https://github.com/iamkanghyunchoi/qimera.