R-MFDN은 Reference-assisted Multimodal Forgery Detection Network의 약자로, 2024년 푸단대학교, 중국전자진신, 상하이 지능형 시각 컴퓨팅 협력혁신센터의 팀이 제안한 다중 모드 위조 탐지 방법입니다. 이 접근 방식은 풍부한 신원 정보를 활용하여 위조 감지를 위한 교차 모달 불일치를 찾아냅니다. R-MFDN은 세 가지 주요 부분으로 구성됩니다. 다중 모드 기능 추출 모듈, 기능 정보 융합 모듈, 위조 식별 모듈입니다. 비디오 코딩, 오디오 코딩, 시간 변환기 모델을 결합하여 특징을 추출하고 융합하여 위조 식별을 수행합니다.

이 방법의 혁신성은 단일 모달리티의 위조 감지에만 초점을 맞추는 것이 아니라 교차 모달 대조 학습 손실 함수와 신원 기반 대조 학습 손실 함수를 통해 위조된 콘텐츠에 대한 모델의 민감도를 향상시킨다는 점입니다. 이 방법은 다중 모드 딥페이크 시나리오, 특히 AI 얼굴 변조 및 음성 해설과 같은 신원 위조 시나리오에서 강력한 식별 역량을 보여줍니다.

관련 논문참조 지원을 통한 신원 기반 멀티미디어 위조 감지"이 멀티미디어 분야 최고 국제 학술대회인 ACM MultiMedia 2024에 게재되었으며, 해당 학술대회에서 구두 발표가 진행되었습니다. 또한, 본 연구는 고품질 AI 얼굴 및 음성 변환 데이터셋인 IDForge를 구축하여적용하다데이터를 얻으세요.