AOT : Apparence Optimal Transport pour le Changement d'Identité basé sur la Détection de Falsification

Des études récentes ont montré que la performance des algorithmes de détection de falsifications peut être améliorée grâce à des jeux de données Deepfake diversifiés et exigeants. Toutefois, en raison du manque de jeux de données Deepfake présentant une grande variabilité d’apparence — une caractéristique difficile à reproduire avec les méthodes actuelles d’échange d’identité — les algorithmes de détection peuvent échouer dans de tels scénarios. Dans ce travail, nous proposons un nouvel algorithme d’échange d’identité capable de générer des visages avec des différences d’apparence importantes, spécifiquement destiné à améliorer la détection de falsifications faciales. Ces écarts d’apparence proviennent principalement des grandes disparités d’éclairage et de teint de peau fréquemment observées dans des situations réelles. Toutefois, la modélisation de la correspondance d’apparence complexe reste un défi, car il est difficile de transférer de manière adaptative les détails fins d’apparence tout en préservant les traits identitaires. Dans cette étude, nous formulons le problème de correspondance d’apparence comme un problème de transport optimal, et proposons un modèle appelé Appearance Optimal Transport (AOT), qui le traite à la fois dans l’espace latent et dans l’espace pixel. Plus précisément, nous concevons un générateur de re-éclairage pour simuler le plan optimal de transport. Ce plan est optimisé en minimisant la distance de Wasserstein des caractéristiques apprises dans l’espace latent, permettant ainsi une meilleure performance et une consommation de calcul réduite par rapport aux méthodes d’optimisation classiques. Pour affiner davantage la solution du plan de transport optimal, nous introduisons un jeu de segmentation visant à minimiser la distance de Wasserstein dans l’espace pixel. Un discriminateur est employé pour distinguer les régions falsifiées d’un mélange de patchs réels et falsifiés. Des expériences étendues montrent l’avantage de notre méthode par rapport aux approches de pointe, ainsi que la capacité de nos données générées à améliorer significativement la performance des algorithmes de détection de falsifications faciales.