学習された歪曲ガイダンスを用いた盲目顔復元

本論文では、制約のないぼやけた、ノイジーな、低解像度の、または圧縮された画像（すなわち、劣化した観測画像）からの盲目的顔復元問題を研究しています。より細かい顔の詳細を回復するために、我々は問題設定を変更し、同じ人物の高品質なガイド画像と劣化した観測画像を入力として使用するガイド付き顔復元ネットワーク（GFRNet）を開発しました。しかし、劣化した観測画像とガイド画像は通常、姿勢、照明、表情が異なるため、単純なCNN（例：U-Net）では細かい且つ同一人物に特化した顔の詳細を回復できません。この課題に対処するために、我々のGFRNetモデルにはワーピングサブネットワーク（WarpNet）と再構築サブネットワーク（RecNet）が含まれています。WarpNetは導入され、フローフィールドを予測してガイド画像の姿勢と表情を修正する（すなわち、ワープされたガイダンス）役割を持っています。一方、RecNetは劣化した観測画像とワープされたガイダンスを入力として受け取り、復元結果を生成します。真値のフローフィールドが利用できないため、ランドマーク損失と全変動正則化が組み込まれてWarpNetの学習を誘導します。さらに、盲目的復元に適用できるようにするために、GFRNetはぼかしカーネル、ノイズレベル、ダウンサンプリングスケール係数およびJPEG品質係数など多様な設定を持つ合成データで訓練されます。実験結果から明らかになったのは、GFRNetが最新の画像および顔復元手法に対して優れた性能を示すだけでなく、実際の劣化した顔画像に対して視覚的に写真のようなリアルな結果を生成することです。