Détection de falsification multimodale utilisant l'apprentissage par ensemble

La révolution récente et rapide des technologies de l’intelligence artificielle (IA) a permis la création de deepfakes hyper-réalistes, rendant la détection des vidéos falsifiées (également appelées vidéos synthétisées par IA) une tâche cruciale. Les systèmes existants ne prennent généralement pas pleinement en compte le traitement unifié des données audio et vidéo, laissant ainsi une marge significative d’amélioration. Dans ce travail, nous nous concentrons sur la tâche de détection de falsifications multimodales et proposons une méthode profonde de détection de falsifications basée sur l’apprentissage par ensemble audiovisuel. La méthode proposée se compose de quatre composants : un réseau vidéo, un réseau audio, un réseau audiovisuel et un module de vote. Étant donné une vidéo, le système multimodal et fondé sur l’apprentissage par ensemble peut identifier si celle-ci est authentique ou falsifiée. Les résultats expérimentaux obtenus sur un jeu de données multimodales récemment publié, le FakeAVCeleb, montrent que la méthode proposée atteint une précision de 89 %, dépassant significativement les modèles existants.