要約
顔入れ替えは、エンターテインメントや人間-コンピュータ相互作用などの肯定的な応用と、政治や経済などへのディープフェイクの脅威のような否定的な応用の両方を持っています。しかし、高品質な顔入れ替えのための先進的な手法のスキームを理解し、十分で代表的な顔入れ替え画像を生成してディープフェイク検出アルゴリズムを訓練することが必要です。本論文では、初めてのメガピクセルレベルの一発顔入れ替え手法（MegaFS）を提案します。まず、MegaFSは、拡張された潜在空間においてより多くの顔の詳細を維持するため、従来の顔入れ替え手法における圧縮表現ではなく、提案された階層的表現顔エンコーダ（Hierarchical Representation Face Encoder: HieRFE）によって顔表現を階層的に整理します。次に、明示的な特徴分解なしで非線形軌道によりソース画像からターゲット画像へアイデンティティを移転するための慎重に設計された顔転送モジュール（Face Transfer Module: FTM）が提案されます。最後に、StyleGAN2を使用して入れ替えた顔を合成することで、その訓練安定性と強力な生成能力を利用できます。MegaFSの各部分は別々に訓練できるため、メガピクセルレベルの顔入れ替えに必要なGPUメモリ要件を満たすことができます。要約すると、完全な顔表現、安定した訓練、および限られたメモリ使用が当手法成功への3つの新規貢献となります。広範な実験によりMegaFSの優位性が示されており、公開ドメインでのディープフェイク検出や顔画像編集に関する研究のために初めてのメガピクセルレベルの顔入れ替えデータベースが公開されています。データセットは以下のリンクから入手できます。