非監督学習による3次元形態モデルの回帰

私たちは、ラベルの付いていない写真のみを使用して、画像ピクセルから3次元変形モデル座標への回帰ネットワークを訓練する方法を提案します。訓練損失は、予測された顔を微分可能なレンダラーで描画することで計算される顔認識ネットワークからの特徴量に基づいています。特徴量からの訓練が可能となり、ネットワークを欺く効果を避けるために、以下の3つの目的関数を導入しました：出力分布が変形モデルの分布と一致することを促すバッチ分布損失、ネットワークが自身の出力を正しく再解釈できることを保証するループバック損失、および複数の視点から予測された3D顔と入力写真の特徴量を比較するマルチビュー同一性損失です。これらの目的関数、ラベルの付いていない写真のセット、および変形モデル自体を使用して回帰ネットワークを訓練し、最先端の結果を示しています。