フェイク・イット・ティル・ユー・メイク・イット：合成データのみを用いたワイルド環境下における顔分析

本研究では、実際の自然環境（イン・ザ・ワイルド）における顔関連のコンピュータビジョンタスクを、合成データのみを用いて実現可能であることを示す。長年にわたり、グラフィックスを用いたトレーニングデータの合成は、コミュニティに大きな利点をもたらしてきたが、実際のデータと合成データの間にはドメインギャップが存在し、特に人間の顔に対してはその問題が顕著であった。これまで、データの混合やドメイン適応、ドメイン敵対的学習といったアプローチが試みられてきたが、本研究ではドメインギャップを極めて小さく抑えた合成データの生成が可能であることを示し、そのような合成データで訓練されたモデルが、実際のイン・ザ・ワイルドデータセットにも良好に一般化されることを実証する。さらに、手続き的に生成されるパラメトリック3D顔モデルと、手作業で作成された包括的なアセットライブラリを組み合わせることで、これまでにないほど現実味と多様性を備えたトレーニング画像をレンダリングする方法を提案する。本手法を用いて顔のランドマーク検出や顔のパーツ解析といった顔関連タスクに適した機械学習システムを訓練した結果、合成データが実データと同等の精度を達成するだけでなく、手動ラベル付けが不可能な状況においても新たなアプローチを可能にすることが明らかになった。