要約
本稿では、人物の姿勢や表情、向きを変化させた新しい画像を、たった数枚の人物画像から生成する新モデルを提案する。従来の手法では、特定人物の大量データセットが必要であったが、本手法は画像が限られた状況、場合によっては一枚の画像からも学習を開始できる。これを実現するために、エンベッダーによって抽出された空間的特徴量を複数のソース画像間で統合する「キャラクター適応型アイデンティティ正規化GAN（CainGAN）」を導入する。アイデンティティ情報は条件付き正規化を用いてネットワーク全体に伝播される。広範な敵対的学習を経た後、CainGANは特定人物の顔画像を入力として受け取り、その人物のアイデンティティを保持しつつ、新たな顔画像を生成する。実験結果から、推論時に使用する入力画像の枚数が増えるほど生成画像の品質が向上することが示された。さらに、定量的な評価においても、訓練データが限られる状況下で、他の手法と比較してCainGANが優れた性能を発揮することが確認された。