Détection des deepfakes sans prise en compte de la qualité par apprentissage collaboratif intra-modèle

Le deepfake a récemment suscité un grand nombre de préoccupations sociétales en raison de ses potentiels menaces pour la sécurité et de sa capacité à diffuser de l’information fausse. De nombreuses recherches ont été menées sur la détection des deepfakes. Toutefois, la détection de deepfakes de faible qualité, ainsi que la détection simultanée de différentes qualités de deepfakes, demeure un défi majeur. La plupart des approches les plus avancées (SOTA) sont limitées par l’utilisation d’un seul modèle spécifique pour détecter un type donné de qualité vidéo de deepfake. Lorsqu’on construit plusieurs modèles en s’appuyant sur des informations a priori sur la qualité vidéo, cette stratégie entraîne un coût computationnel important, ainsi qu’une surcharge en termes de modèle et de données d’entraînement. En outre, cette approche n’est ni évolutif ni pratique pour un déploiement dans des environnements réels. Dans ce travail, nous proposons un cadre universel d’apprentissage collaboratif intra-modèle afin de permettre une détection efficace et simultanée de différentes qualités de deepfakes. En d’autres termes, notre méthode constitue une approche de détection de deepfakes indépendante de la qualité, baptisée QAD (Quality-Agnostic Deepfake Detection). Plus précisément, en analysant la borne supérieure de l’espérance d’erreur générale, nous maximisons la dépendance entre les représentations intermédiaires des images issues de niveaux de qualité différents à l’aide du Critère d’Indépendance de Hilbert-Schmidt (HSIC). Par ailleurs, un module de perturbation de poids adversaire est soigneusement conçu pour renforcer la robustesse du modèle face aux dégradations d’image tout en améliorant globalement ses performances. Des expériences étendues sur sept jeux de données populaires de deepfakes démontrent de manière concluante l’avantage de notre modèle QAD par rapport aux meilleures méthodes antérieures.