ロバストな盲顔復元を実現するためのコードブックルックアップトランスフォーマーの活用

盲目顔復元は、しばしば補助的なガイダンスを必要とする非常に困難な問題であり、1) 低品質な入力から望ましい出力へのマッピングを改善するか、2) 入力で失われた高品質な詳細を補完することが求められます。本論文では、小さな代理空間における学習済み離散コードブック事前分布が、盲目顔復元をコード予測タスクとして扱うことで、復元マッピングの不確実性と曖昧性を大幅に軽減し、高品質な顔生成に豊富な視覚的要素を提供することを示します。このパラダイムに基づいて、私たちは低品質な顔の全体的な構成とコンテキストをモデル化してコード予測を行うためのトランスフォーマーベースの予測ネットワークであるCodeFormer（コードフォーマー）を提案します。これにより、入力が著しく劣化している場合でも、目標となる顔に近い自然な顔を見つけることが可能になります。異なる劣化に対する適応性を向上させるために、忠実度と品質間で柔軟なトレードオフが可能な制御可能な特徴変換モジュールも提案しています。表現力豊かなコードブック事前分布と全体的なモデリングのおかげで、CodeFormerは品質と忠実度の両面で最先端技術を超える性能を発揮し、劣化に対する優れた堅牢性を示しています。合成データセットおよび実世界データセットでの広範な実験結果により、当社の手法の有効性が確認されています。