要約
深層学習を基盤とする盲顔復元手法は、空前の成功を収めていますが、依然として2つの主要な制約に直面しています。第一に、訓練データ外の複雑な劣化に対して多くの手法が性能を低下させます。第二に、これらの手法は忠実度、知覚的損失、敵対的損失などの複数の制約を必要とし、それらの影響を安定化およびバランスさせるためには煩雑なハイパーパラメータ調整が必要です。本研究では、未見かつ複雑な劣化に対してもより優雅に対処できる新しい手法DifFaceを提案します。この手法では、観測された低品質（LQ）画像からその高品質（HQ）画像への事後分布を確立することが鍵となります。特に、LQ画像から事前に学習した拡散モデルの中間状態への遷移分布を設計し、その後この中間状態からHQ目標へと漸次的に移行するために事前に学習した拡散モデルを再帰的に適用します。遷移分布は$L_2$損失で一部の合成データ上に訓練された復元バックボーンにのみ依存しており、既存の手法における煩わしい訓練プロセスを回避する利点があります。さらに、遷移分布は復元バックボーンの誤差を縮小することができ、未知の劣化に対する当手法の堅牢性を向上させます。包括的な実験結果により、DifFaceが現在の最先端手法よりも優れていることが示されており、特に重度の劣化の場合においてその優位性が際立っています。コードとモデルは https://github.com/zsyOAOA/DifFace で公開されています。