비디오 얼굴 조작 탐지를 위한 CNN 앙상블 방법

최근 몇 년 동안, 비디오에서 얼굴을 조작하는 여러 기술들이 성공적으로 개발되어 대중에게 제공되었습니다(예: FaceSwap, 딥페이크 등). 이러한 방법들은 누구나 매우 사실적인 결과와 최소한의 노력으로 비디오 시퀀스에서 얼굴을 쉽게 편집할 수 있게 해줍니다. 이러한 도구들이 많은 분야에서 유용함에도 불구하고, 악의적으로 사용될 경우 사회에 상당히 나쁜 영향을 미칠 수 있습니다(예: 가짜 뉴스 확산, 가짜 복수 포르노를 통한 사이버 괴롭힘). 따라서 비디오 시퀀스에서 얼굴이 조작되었는지를 객관적으로 감지하는 능력은 매우 중요한 과제입니다. 본 논문에서는 현대적인 얼굴 조작 기술을 대상으로 한 비디오 시퀀스에서의 얼굴 조작 감지 문제를 다룹니다. 특히, 다양한 학습된 컨벌루션 신경망(CNN) 모델들의 앙상블(ensemble)을 연구합니다. 제안된 해결책에서는 (i) 어텐션 레이어; (ii) 쌍생 네트워크(Siamese network) 훈련이라는 두 가지 다른 개념을 활용하여 기본 네트워크(EfficientNetB4)에서 출발하여 다양한 모델들을 얻습니다. 우리는 이들 네트워크를 결합하면 두 개의 공개 데이터셋에 포함된 119,000개 이상의 비디오에서 유망한 얼굴 조작 감지 결과를 얻을 수 있음을 보여줍니다.