11 天前

探索时序一致性以实现更通用的视频人脸伪造检测

Yinglin Zheng, Jianmin Bao, Dong Chen, Ming Zeng, Fang Wen
探索时序一致性以实现更通用的视频人脸伪造检测
摘要

尽管当前的人脸操纵技术在图像质量与可控性方面取得了令人瞩目的进展,但在生成具有时间一致性的面部视频方面仍面临挑战。本文致力于充分挖掘时间一致性信息,用于视频人脸伪造检测。为此,我们提出了一种新颖的端到端框架,包含两个主要阶段。第一阶段为全时间卷积网络(Fully Temporal Convolutional Network, FTCN),其核心思想是将空间卷积核大小缩减至1,同时保持时间卷积核大小不变。令人意外的是,这种特殊设计不仅有助于模型有效提取时间特征,还能显著提升模型的泛化能力。第二阶段为时间Transformer网络,旨在捕捉长期的时间一致性关系。所提出的框架具有良好的通用性与灵活性,可直接从零开始训练,无需依赖预训练模型或外部数据集。大量实验结果表明,该框架在性能上优于现有方法,并在检测新型人脸伪造视频时仍保持高效与鲁棒性。

探索时序一致性以实现更通用的视频人脸伪造检测 | 最新论文 | HyperAI超神经