半教師あり敵対学習を用いた3D変形モデルからの新しいアイデンティティの写実的な顔画像生成

新しいアイデンティティの表情、姿勢、照明が多様な光リアルな顔画像を生成するために、3D可変モデルによって条件付けられたエンドツーエンドの半教師付き対抗フレームワークを提案します。従来の対抗スタイル転送手法は、大量のペアデータでネットワークを教師付きにするか、または大量の非ペアデータを使用して高次元制約のない双方向生成フレームワークで非教師付き学習を行う傾向にあります。本研究では、少量の実際および合成画像のペアデータと大量の非ペアデータを用いて双方向ドメイン適応を制約するためのペアワイズ対抗教師付き手法を導入します。広範な定性的および定量的実験を通じて、当方針の有効性を検証しました。新規アイデンティティの生成された顔画像には、姿勢、照明、表情の多様性が含まれており、定性的結果は合成入力画像により高度に制約されつつも光リアルさが追加され、アイデンティティ情報を保持していることを示しています。提案手法で生成された顔画像と実際のデータセットを組み合わせて顔認識アルゴリズムを訓練しました。モデルはLFW（Labeled Faces in the Wild）とIJB-A（IARPA Janus Benchmark A）という2つの困難なデータセットで評価されました。当フレームワークから生成された画像は一貫してオックスフォードVGG Faceデータセットで訓練された深層顔認識ネットワークの性能を向上させ、最先端技術と同等の結果を得ています。注：文中的“LFW”和“IJB-A”为专有名词，直接使用其英文缩写形式，以保持专业性和一致性。