2ヶ月前

深層アイデンティティ認識に基づく顔属性の転送

Mu Li; Wangmeng Zuo; David Zhang
深層アイデンティティ認識に基づく顔属性の転送
要約

本論文では、顔の属性をIdentity-Aware Transfer (DIAT) するための深層畳み込みネットワークモデルを提案します。ソース入力画像と参照属性が与えられた場合、DIATは参照属性を持つとともに、入力画像と同じまたは類似の同一性を保つ顔画像の生成を目指しています。一般的に、当モデルはマスクネットワークと属性変換ネットワークから構成されており、これらが協調して参照属性を持つ写実的な顔画像を生成します。参照属性が画像の特定部分のみに関連している可能性があることを考慮し、マスクネットワークを導入することで、属性に関係ない領域での誤編集を避けることができます。その後、推定されたマスクを使用して、入力画像と変換された画像を組み合わせて転送結果を生成します。変換ネットワークとマスクネットワークの共同学習のために、対抗的属性損失(adversarial attribute loss)、同一性認識適応的知覚損失(identity-aware adaptive perceptual loss)、およびVGG-FACEに基づく同一性損失(VGG-FACE based identity loss)を取り入れています。さらに、転送結果におけるノイズを抑制するために知覚正則化を行うデノイジングネットワークを提示し、属性関連領域のサイズを制約するために属性比率正則化(attribute ratio regularization)も導入しています。提案するDIATは、表情転送、アクセサリー除去、年齢進行、性別転換などの代表的な顔属性転送タスクに対する統一的な解決策を提供できることに加えて、顔補完などの他の顔強化タスクにも拡張可能です。実験結果は提案手法の有効性を証明しており、同一性に関連する属性(例えば性別)であっても、当DIATはその属性を変えつつ大部分の同一性認識特徴量を保持した視覚的に印象的な結果を得ることができます。

深層アイデンティティ認識に基づく顔属性の転送 | 最新論文 | HyperAI超神経