進行語義意識的なスタイル変換による盲顔復元

顔画像処理において、顔の修復は重要な役割を果たしており、近年広く研究されてきました。しかし、従来の手法では、実世界の低品質（LQ）顔画像に対して高品質（HQ）で現実的な結果を生成することがしばしば困難でした。本論文では、顔修復のために新しい進行的な意味認識型スタイル変換フレームワークであるPSFR-GANを提案します。具体的には、従来のエンコーダー-デコーダーフレームワークを使用せず、LQ顔画像の修復を意味認識型スタイル変換を通じた多段階進行修復プロセスとして定式化します。LQ顔画像とその対応するパーシングマップが与えられた場合、まず入力の多段階ピラミッドを生成し、次に意味認識型スタイル転送方式により粗い特徴から細かい特徴まで進行的に異なるスケールの特徴を調整します。提案されたPSFR-GANは、従来のネットワークと比較して、入力ペアの異なるスケールからの意味空間情報（パーシングマップ）とピクセル空間情報（LQ画像）を十分に活用しています。さらに、各意味領域ごとに特徴スタイル損失を計算することで顔テクスチャの詳細を改善するための意味認識型スタイル損失を導入しました。最後に、実世界のLQ顔画像から良好なパーシングマップを生成できる顔パーシングネットワークを事前学習しました。実験結果は、合成データで学習した当モデルが合成LQ入力に対してより現実的な高解像度結果を生成できることだけでなく、最先端手法と比較して自然なLQ顔画像にもより優れた汎化性能を持つことを示しています。コードはhttps://github.com/chaofengc/PSFRGAN で公開されています。