다중모달 위조 탐지에 대한 앙상블 학습 사용

최근 인공지능(AI) 기술의 급속한 발전으로 인해 초현실적인 딥페이크(Deepfake) 영상이 생성될 수 있게 되었으며, 이에 따라 딥페이크 영상(또는 AI 합성 영상) 탐지가 핵심 과제로 부상하고 있다. 기존의 대부분의 탐지 시스템은 음성과 영상 데이터를 통합적으로 처리하는 데 충분히 주목하지 못하고 있어, 더 나은 개선 여지가 남아 있다. 본 논문에서는 다모달 위조 탐지 문제에 초점을 맞추어, 음성영상 통합 학습 기반의 딥 위조 탐지 방법을 제안한다. 제안된 방법은 영상 네트워크(Video Network), 음성 네트워크(Audio Network), 음성영상 통합 네트워크(Audiovisual Network), 그리고 투표 모듈(Voting Module)의 네 가지 구성 요소로 이루어져 있다. 제안된 다모달 및 앙상블 학습 시스템은 입력된 영상이 위조된 것인지 진짜인지 자동으로 식별할 수 있다. 최근 공개된 다모달 FakeAVCeleb 데이터셋을 대상으로 수행한 실험 결과, 제안된 방법은 89%의 정확도를 달성하여 기존 모델들에 비해 뚜렷한 성능 우위를 보였다.