GAN Prior Embedded Network による野生環境下の盲目的顔復元

野生環境下から深刻に劣化した顔画像の盲目的復元（BFR）は非常に困難な問題である。この問題の高次元性と複雑な未知の劣化プロセスにより、深層ニューラルネットワーク（DNN）を直接訓練しても通常は満足できる結果を得ることができない。既存の生成対抗ネットワーク（GAN）ベースの手法はより良い結果を産出することができるが、過度に滑らかな復元画像を生成しがちな傾向がある。本研究では、まず高品質な顔画像生成用のGANを学習し、それをU字型DNNに事前デコーダとして埋め込む方法を提案する。その後、合成された低品質な顔画像セットを使用して、GAN事前知識が埋め込まれたDNNを微調整する。GANブロックは、潜在コードとノイズ入力がそれぞれDNNの深層特徴と浅層特徴から生成されるように設計されており、再構築された画像の全体的な顔構造、局所的な顔詳細、および背景を制御する。提案されたGAN事前知識埋め込みネットワーク（GPEN）は実装が容易であり、視覚的に写真のような結果を生成できる。我々の実験では、提案したGPENが定量的および定性的に最先端のBFR手法よりも著しく優れた結果を達成することが示され、特に野生環境下で深刻に劣化した顔画像の復元においてその効果が確認された。ソースコードとモデルはhttps://github.com/yangxy/GPEN で入手可能である。注：「野生環境下」は一般的に自然な状況や非制御条件下での撮影を指す表現です。「高次元性」は原文の「high illness」ですが、「illness」が誤りであれば「高次元性」ではなく「難解さ」などの表現が適切かもしれません。