深層多尺度成分辞書を用いた盲顔復元

最近の参照ベースの顔復元手法は、実際の低品質画像における高周波詳細の回復能力に優れているため、大きな注目を集めています。しかし、これらの手法の多くは同一人物の高品質な参照画像を必要とするため、適用範囲が限定されています。本論文では、この問題を解決するために、深層顔辞書ネットワーク（Deep Face Dictionary Network, 以下 DFDNet）を提案し、劣化した観測値の復元プロセスをガイドします。まず、K-means を用いて高品質画像から視覚的に重要な顔部品（例えば、左目/右目、鼻、口）の深層辞書を生成します。次に、劣化した入力画像に対して、対応する辞書から最も類似する部品特徴を選択し、提案された辞書特徴転送（Dictionary Feature Transfer, 以下 DFT）ブロックを通じて高品質な詳細を入力に転送します。特に、部品ごとの AdaIN（Adaptive Instance Normalization）が利用され、入力と辞書特徴間のスタイル多様性（例えば、照明条件）を排除します。また、信頼度スコアが提案され、辞書特徴を入力に適応的に融合します。最後に、マルチスケール辞書が段階的に採用され、粗い部分から細かい部分への徐々的な復元を可能にします。実験結果は、提案手法が定量評価および定性評価において妥当な性能を達成できることを示しており、さらに重要な点として、同一人物の参照画像なしで実際の劣化画像に対して現実的かつ有望な結果を生成できることが確認されました。ソースコードおよびモデルは \url{https://github.com/csxmli2016/DFDNet} で公開されています。