リアルな顔の写真-スケッチ合成を実現するための構成支援型GANsの利用

顔の写真-スケッチ合成は、与えられた写真またはスケッチに基づいて顔のスケッチまたは写真を生成することを目指しています。この技術はデジタルエンターテインメントや法執行機関など、幅広い分野で応用されています。しかし、構造的なリアリズムとテクスチャの一貫性の制約により、顔の写真やスケッチを正確に描写することは依然として困難です。既存の方法は魅力的な結果を達成していますが、多くの場合、様々な顔部品においてぼけた効果や大きな変形が生じ、合成画像に不自然な印象を与えてしまいます。本研究では、この課題に対処するために、顔の構成情報を活用して顔のスケッチや写真の合成を支援する手法を提案します。具体的には、新しい構成支援型ジェネレーティブ・アドバーザリアル・ネットワーク（Composition-Aided Generative Adversarial Network: CA-GAN）を提案します。CA-GANでは、顔の写真またはスケッチと対応するピクセル単位での顔ラベルというペア入力を用いて、スケッチまたは写真を生成します。さらに、難易度が高い部品や繊細な顔構造に焦点を当てた訓練を行うために、構成再構築損失（compositional reconstruction loss）を提案します。最後に、スタックされたCA-GANs（Stacked CA-GAN: SCA-GAN）を使用して欠陥をさらに修正し、魅力的な詳細を追加します。実験結果は、本手法が多様な挑戦的なデータに対して視覚的に快適かつ同一性を保った顔スケッチや写真を生成できることを示しています。本手法は最先端の品質を達成しており、最良の以前のフロベニウス・インセプション距離（Fréchet Inception Distance: FID）よりも大幅に改善しています。また、提案手法が相当な汎化能力を持つことを示す実験も行いました。当方はコードと結果を公開しています：https://fei-hdu.github.io/ca-gan/。