FaceController：リアルな状況下における顔の制御可能な属性編集

顔属性編集は、他の詳細情報を維持しつつ、一つまたは複数の所望の顔属性を操作して顔画像を生成することを目的としています。従来のGAN逆写像のような、高コストな逆写像プロセスを必要とする手法とは異なり、本研究では高精細な操作済み顔画像を生成するための単純なフードフォワードネットワークを提案します。既存かつ容易に入手可能な事前情報のみを用いることで、本手法は野外の顔画像に対して多様な属性を制御・転送・編集することが可能になります。このため、顔交換、顔再照明、メイク転送など、さまざまな応用に活用できます。本手法では、3D事前知識を用いてアイデンティティ、表情、ポーズ、照明を分離し、領域ごとのスタイルコードを用いてテクスチャと色を別々に処理しています。これらの情報は、アイデンティティ・スタイル正規化モジュールを介して adversarial 学習に統合されます。各属性からの情報独立抽出を促進するため、分離損失（disentanglement losses）を提案しています。包括的な定量的・定性的評価が実施され、一つのフレームワーク内で、さまざまな顔関連アプリケーションにおいて、最高または競争力のある性能を達成しています。