要約
本研究では、汎用性と高忠実度を兼ね備えた顔交換を実現するための効率的なフレームワーク、Simple Swap（SimSwap）を提案する。従来の手法は、任意の顔に一般化できないか、表情や視線方向といった顔の属性を保持できないという課題を抱えていたが、本フレームワークは任意のソース顔のアイデンティティを任意のターゲット顔に移行しつつ、ターゲット顔の属性を維持することができる。これらの課題を以下の2つのアプローチで克服した。第一に、ソース顔のアイデンティティ情報を特徴レベルでターゲット顔に注入する「IDインジェクションモジュール（IIM）」を提案する。このモジュールを用いることで、特定のアイデンティティに依存する顔交換アルゴリズムのアーキテクチャを、任意の顔交換に適用可能なフレームワークに拡張した。第二に、顔の属性をimplicitに効率的に維持するための「弱い特徴マッチング損失（Weak Feature Matching Loss）」を導入した。野生状態の顔を用いた広範な実験により、SimSwapが従来の最先端手法と比較して、アイデンティティの再現性能において競争力を持ちつつ、顔の属性をより優れた精度で保持できることを示した。コードはすでにGitHubで公開されている：https://github.com/neuralchen/SimSwap。