11 天前

基于集成学习的多模态伪造检测

{Hsin-Min Wang, Yu Tsao, Chia Wen Lin, Wasim Ahmad, Sahibzada Adil Shahzad, Ammarah Hashmi}
基于集成学习的多模态伪造检测
摘要

近年来,人工智能(AI)技术的迅猛发展催生了高度逼真的深度伪造视频(又称AI合成视频),使得深度伪造视频的检测成为一项至关重要的任务。现有检测系统普遍未能充分实现音视频数据的统一处理,因而仍有较大的优化空间。本文聚焦于多模态伪造检测任务,提出了一种基于音视频集成学习的深度伪造检测方法。所提方法由四个部分构成:视频网络(Video Network)、音频网络(Audio Network)、音视频融合网络(Audiovisual Network)以及投票模块(Voting Module)。该多模态集成学习系统能够基于输入视频,准确判断其为真实视频或伪造视频。在最新发布的多模态FakeAVCeleb数据集上的实验结果表明,该方法取得了89%的检测准确率,显著优于现有各类模型。

基于集成学习的多模态伪造检测 | 最新论文 | HyperAI超神经