Méthode De Détection De Falsification Multimodale R-MFDN

R-MFDN signifie Reference-assisted Multimodal Forgery Detection Network, une méthode de détection de falsification multimodale proposée en 2024 par une équipe de l'Université Fudan, de China Electronics Jinxin et du Shanghai Collaborative Innovation Center for Intelligent Visual Computing. Cette approche exploite des informations d’identité riches pour exploiter les incohérences intermodales afin de détecter les falsifications. R-MFDN se compose de trois parties principales : un module d'extraction de caractéristiques multimodales, un module de fusion d'informations sur les caractéristiques et un module d'identification de falsification. Il extrait et fusionne des fonctionnalités en combinant le codage vidéo, le codage audio et un modèle de transformateur temporel pour effectuer une identification de contrefaçon.

L'innovation de cette méthode est qu'elle ne se concentre pas uniquement sur la détection de falsification d'une seule modalité, mais améliore également la sensibilité du modèle au contenu falsifié grâce à une fonction de perte d'apprentissage contrastive intermodale et une fonction de perte d'apprentissage contrastive basée sur l'identité. Cette méthode démontre de fortes capacités d’identification dans les scénarios de deep fake multimodaux, en particulier dans les scénarios de falsification d’identité tels que le changement de visage et la voix off par l’IA.

Articles connexesDétection de falsification multimédia basée sur l'identité via l'assistance de référence« a été acceptée par l'ACM MultiMedia 2024, la plus importante conférence internationale dans le domaine du multimédia, et un rapport oral y a été présenté. L'étude a également permis de créer un ensemble de données de haute qualité, IDForge, sur les changements de visage et de voix par IA, qui peut être utilisé pourAppliquerObtenez les données.