SynthDistill: 合成データからの知識蒸留による顔認識

最先端の顔認識ネットワークはしばしば計算量が多く、モバイルアプリケーションには適していない。軽量な顔認識モデルの訓練にも大規模な識別ラベル付きデータセットが必要である。一方で、大規模な顔認識データセットを収集および使用することにはプライバシーと倫理的な懸念がある。顔認識モデルの訓練用に合成データセットを生成することは代替手段であるが、十分なクラス内変動を持つ合成データを生成することは困難である。さらに、実際のデータと合成データで訓練されたモデルの性能には依然として大きな差がある。本論文では、事前学習済み教師顔認識モデルから知識を抽出して軽量な顔認識モデルを訓練する新しいフレームワーク（SynthDistill）を提案する。事前学習済みの顔ジェネレーターネットワークを使用して合成顔画像を生成し、これらの合成画像を利用して軽量な学生ネットワークを学習させる。合成顔画像には識別ラベルが付いていないため、合成データセットにおけるクラス内変動生成の問題を緩和できる。代わりに、顔ジェネレーターネットワークの中間潜在空間から新たな変動を持つ挑戦的な画像を含めつつ、訓練バッチ内で新しい顔画像を探求するための新しい動的サンプリング戦略を提案する。5つの異なる顔認識データセットでの結果は、当社の軽量モデルが以前の合成データセットで訓練されたモデルよりも優れていることを示しており、LFWデータセットでは軽量ネットワークを使用して99.52%の認証精度を達成している。また、実際のデータと合成データでの訓練間のギャップが大幅に縮小されていることも確認された。実験を再現するために使用したソースコードは公開されている。