Détection des deepfakes sans les voir

Les attaques par deepfake, consistant en une manipulation malveillante de médias contenant des personnes, constituent une préoccupation majeure pour la société. Les méthodes classiques de détection des deepfakes s'appuient sur des classificateurs supervisés entraînés pour distinguer les médias réels des deepfakes déjà rencontrés. Ces approches ne peuvent détecter que des deepfakes similaires à ceux observés précédemment, mais pas les attaques de type zero-day (inédites). Étant donné que les techniques actuelles de génération de deepfakes évoluent à un rythme fulgurant, de nouvelles formes d'attaque apparaissent fréquemment, ce qui en fait un enjeu critique. Nos principales observations sont les suivantes : i) dans de nombreuses attaques par deepfake efficaces, les médias falsifiés doivent être accompagnés de faits faux, c’est-à-dire de revendications concernant l’identité, le discours, les mouvements ou l’apparence de la personne. Par exemple, lors d’une imputation d’Obama, l’attaquant affirme explicitement ou implicitement que le média falsifié montre Obama ; ii) les techniques génératives actuelles ne parviennent pas à synthétiser parfaitement les faits faux revendiqués par l’attaquant. Nous introduisons donc le concept de « vérification des faits », adapté du domaine de la détection des fausses nouvelles, afin de détecter les attaques par deepfake de type zero-day. La vérification des faits consiste à vérifier que les faits revendiqués (par exemple, « l’identité est celle d’Obama ») sont cohérents avec les observations effectuées sur le média (par exemple, « le visage est-il vraiment celui d’Obama ? »), permettant ainsi de distinguer les médias réels des médias falsifiés. En conséquence, nous proposons FACTOR, une méthode pratique de vérification des faits pour les deepfakes, et démontrons son efficacité dans des scénarios d’attaque critiques : le remplacement de visages et la synthèse audio-visuelle. Bien que cette approche soit entièrement libre d’entraînement, n’utilise que des caractéristiques disponibles dans le commerce (off-the-shelf), soit très facile à implémenter et n’ait jamais vu de deepfakes auparavant, elle atteint une précision supérieure à celle des méthodes les plus avancées de l’état de l’art.