SimSwap : Un cadre efficace pour le remplacement de visage à haute fidélité

Nous proposons un cadre efficace, appelé Simple Swap (SimSwap), visant à réaliser un échange de visage généralisable et de haute fidélité. Contrairement aux approches précédentes, qui manquent soit de capacité à généraliser à toute identité arbitraire, soit de capacité à préserver des attributs tels que l’expression faciale ou la direction du regard, notre cadre est capable de transférer l’identité d’un visage source arbitraire vers un visage cible arbitraire tout en préservant les attributs du visage cible. Nous surmontons ces limitations de deux manières. Premièrement, nous introduisons le module d’injection d’identité (ID Injection Module, IIM), qui transfère l’information d’identité du visage source vers le visage cible au niveau des caractéristiques. Grâce à ce module, nous étendons l’architecture d’un algorithme spécifique à une identité à un cadre généralisable à tout échange de visage. Deuxièmement, nous proposons une fonction de perte de correspondance de caractéristiques faibles (Weak Feature Matching Loss), qui aide efficacement notre cadre à préserver les attributs faciaux de manière implicite. Des expériences étendues sur des visages réels (wild faces) démontrent que SimSwap atteint des performances identitaires compétitives tout en préservant mieux les attributs que les méthodes de pointe précédentes. Le code est déjà disponible sur GitHub : https://github.com/neuralchen/SimSwap.