双エージェントGANを用いた写実的かつアイデンティティを保持するプロファイル顔合成

極端なアングルを持つ顔画像を合成することで、大規模な非制約条件下での顔認識に向けた深層ポーズ不変モデルの効率的な学習が可能となり、手動による詳細なラベル付け作業を回避できる。しかし、合成顔画像から学習を行う場合、合成顔画像と実際の顔画像の分布間に乖離が生じるため、望ましい性能が得られないことがある。このギャップを縮小するために、我々は双層エージェント型生成対抗ネットワーク（DA-GAN）を提案する。このモデルは、ラベルなしの実際の顔画像を用いて、顔シミュレータの出力の現実性を向上させつつ、リアルさの向上過程においても顔の同一性情報を保持することができる。双層エージェントは、リアルか偽物かの区別と、顔の同一性の識別を同時に実行するように設計されている。具体的には、既存の3D顔モデルをシミュレータとして用いて、異なるアングルのプロファイル顔画像を生成する。DA-GANでは、高解像度画像の生成に完全畳み込みネットワークを生成器として採用し、双層エージェントを持つ自動符号化器を識別器として用いる。この新規なアーキテクチャに加え、ポーズとテクスチャの保持、同一性の維持、学習プロセスの安定化を図るために、標準的なGANに対して以下の重要な改良を施した：(i) ポーズ認識損失、(ii) 同一性認識損失、(iii) 境界平衡正則化項を含む対抗損失。実験結果から、DA-GANは人間の視認性において優れた結果を示すとともに、大規模かつ挑戦的なNIST IJB-A非制約顔認識ベンチマークにおいて、既存の最先端手法を顕著に上回ることが確認された。さらに、本研究で提案するDA-GANは、一般的な転移学習問題に対しても、より効果的な解決手法として有望である。