11일 전

보이지 않는 것을 보지 않고 딥페이크를 탐지하기

Tal Reiss, Bar Cavia, Yedid Hoshen
보이지 않는 것을 보지 않고 딥페이크를 탐지하기
초록

딥페이크 공격, 즉 사람을 포함한 미디어를 악의적으로 조작하는 행위는 사회에 심각한 문제로 대두되고 있다. 기존의 딥페이크 탐지 기법은 과거에 이미 확인된 딥페이크와 실제 미디어를 구분할 수 있도록 감독 학습 기반 분류기를 훈련한다. 그러나 이러한 기법은 기존에 관측된 딥페이크 유형과 유사한 공격만 탐지할 수 있으며, 처음 등장하는(기존에 본 적 없는) 제로데이 공격 유형은 탐지할 수 없다. 현재 딥페이크 생성 기술이 놀라운 속도로 진화하고 있으며, 새로운 공격 유형이 자주 제안되고 있음에 따라 이는 중대한 문제로 남아 있다. 본 연구의 주요 관찰 결과는 다음과 같다. i) 많은 효과적인 딥페이크 공격에서는 위조된 미디어가 반드시 거짓 사실(factual claims)과 함께 제공되어야 한다. 즉, 인물의 정체성, 발화 내용, 움직임 또는 외모에 관한 거짓 주장이 포함되어야 한다. 예를 들어, 오바마를 위조할 경우 공격자는 명시적 또는 암시적으로 해당 위조 미디어가 오바마를 보여주고 있다고 주장한다. ii) 현재의 생성 기법은 공격자가 주장하는 거짓 사실을 완벽하게 합성할 수 없다. 이러한 관찰을 바탕으로, 가짜 뉴스 탐지에서 유래한 '사실 확인(fact checking)' 개념을 도입하여 제로데이 딥페이크 공격을 탐지하는 새로운 접근법을 제안한다. 사실 확인은 주장된 사실(예: 해당 인물은 오바마이다)이 관측된 미디어(예: 얼굴이 정말 오바마의 얼굴인가?)와 일치하는지 검증함으로써 실제 미디어와 위조 미디어를 구분할 수 있다. 이를 통해 우리는 FACTOR라는 실용적인 딥페이크 사실 확인 기법을 제안하며, 얼굴 교체(face swapping) 및 오디오-비주얼 합성(audio-visual synthesis)과 같은 중요한 공격 환경에서 그 강력한 성능을 입증한다. 이 방법은 훈련이 필요 없으며, 사전에 구현된 기능(feature)만을 활용하고, 구현이 매우 간단하며, 어떤 딥페이크도 접하지 않아도 된다. 그럼에도 불구하고, 기존 최고 수준의 정확도를 초월하는 성능을 달성하였다.

보이지 않는 것을 보지 않고 딥페이크를 탐지하기 | 최신 연구 논문 | HyperAI초신경