基于CNN集成的视频人脸操作检测

近年来，几种用于视频中面部操作的技术已经成功开发并普及给大众（例如，FaceSwap、Deepfake 等）。这些方法使得任何人都可以轻松地在视频序列中编辑面部，达到极其逼真的效果，并且几乎不需要付出太多努力。尽管这些工具在许多领域具有实用性，但如果被恶意使用，则可能对社会产生严重的负面影响（例如，假新闻传播、通过伪造的报复色情进行网络欺凌）。因此，客观检测视频序列中的面部是否被操纵是一项极为重要的任务。本文针对现代面部操作技术，研究了视频序列中面部操纵检测的问题。特别地，我们探讨了不同训练好的卷积神经网络（CNN）模型的集成方法。在所提出的解决方案中，不同的模型是从一个基础网络（即 EfficientNetB4）出发，利用两种不同的概念：(i) 注意力层；(ii) 双胞胎训练。我们展示了结合这些网络在两个公开可用的数据集上对超过 119,000 条视频进行面部操纵检测时取得了令人鼓舞的结果。