対称性の一貫性を持つ深層CNNの学習による顔の補完

深層畳み込みネットワーク（CNNs）は、顔の補完において現実的な顔構造を生成する上で大きな成功を収めています。しかしながら、これらの手法は顔部品間の全体的一貫性の維持や微細な顔詳細の回復において制限があります。一方で、反射対称性は顔画像の特徴的な性質であり、顔認識と一貫性モデリングに寄与しますが、深層顔補完における研究が進んでいません。本研究では、2種類の対称性強制サブネットワークを活用して、効果的な顔補完を行うための対称性の一貫性を持つCNNモデル（SymmFCNet）を開発しました。片側の半分の顔にのみピクセルが欠落している場合、照度再加重ワーピングサブネットを開発し、他の半分の顔のワーピングと照度再加重をガイドします。両方の半分の顔にピクセルが欠落している場合、生成再構築サブネットと知覚対称損失を用いて回復された構造の一貫した対称性を強制します。SymmFCNetは、照度再加重ワーピングサブネット上に生成再構築サブネットを積み重ねることで構築され、非アライメントされた顔画像データセットからエンドツーエンドで学習することができます。実験結果は、SynmmFCNetが合成および実際の遮蔽がある画像に対して高品質な結果を生成できることを示しており、最先端技術と比較しても優れた性能を発揮しています。