2ヶ月前

HiFaceGAN: 協調的な抑制と補完による顔の再構築

Yang, Lingbo ; Liu, Chang ; Wang, Pan ; Wang, Shanshe ; Ren, Peiran ; Ma, Siwei ; Gao, Wen
HiFaceGAN: 協調的な抑制と補完による顔の再構築
要約

既存の顔復元研究は、通常、劣化事前情報(degradation prior)または明示的なガイドラベルのいずれかに依存して訓練を行いますが、これにより実世界の画像における多様な劣化や豊富な背景内容に対する汎化能力が制限されることがよくあります。本論文では、これらの両方の事前情報を必要としないより挑戦的かつ実践的な「双盲」問題を調査し、「Face Renovation」(FR) と呼びます。具体的には、FR を意味論に基づく生成問題として定式化し、協調的な抑制と補完(Collaborative Suppression and Replenishment: CSR)アプローチで取り組みました。これにより、HiFaceGAN という多段階フレームワークが開発されました。このフレームワークは複数のネストされた CSR ユニットを含み、フロントエンドのコンテンツ適応型抑制モジュールから抽出された階層的な意味論的ガイダンスに基づいて顔の詳細を段階的に補完します。合成画像および実際の顔画像を用いた広範な実験により、HiFaceGAN が一連の困難な復元サブタスクにおいて優れた性能を示すことが確認され、その多様性、堅牢性、および実世界の顔処理アプリケーションへの汎化能力が証明されています。

HiFaceGAN: 協調的な抑制と補完による顔の再構築 | 最新論文 | HyperAI超神経