FaceDancer：ポーズおよび隠蔽状態に配慮した高忠実度のフェーススワッピング

本研究では、対象者に依存しない顔交換およびアイデンティティ転送を実現する新たな単段階手法であるFaceDancerを提案する。本研究の主な貢献は2つである：適応的特徴融合注意（Adaptive Feature Fusion Attention, AFFA）と解釈可能な特徴類似度正則化（Interpreted Feature Similarity Regularization, IFSR）。AFFAモジュールはデコーダに組み込まれており、追加の顔セグメンテーション処理を必要とせずに、属性特徴とアイデンティティ情報に条件付けられた特徴を適応的に融合する学習を可能にする。一方、IFSRでは、アイデンティティエンコーダ内の中間特徴を活用し、頭部ポーズ、表情、照明、オクルージョンといった重要な属性をターゲット顔に保持しつつ、ソース顔のアイデンティティを高い忠実度で転送することを実現する。複数のデータセットを用いた広範な定量的・定性的実験の結果、FaceDancerは他の最先端手法と比較してアイデンティティ転送性能において優れており、かつ従来の多くの手法と比べて顔のポーズ保持性能が著しく優れていることが示された。