11일 전

품질 무관형 딥페이크 탐지: 내모델 협동 학습을 통한 접근

Binh M. Le, Simon S. Woo
품질 무관형 딥페이크 탐지: 내모델 협동 학습을 통한 접근
초록

최근 딥페이크(Deepfake)는 가짜 정보의 확산 및 보안 위협과 관련하여 다양한 사회적 우려를 불러일으키고 있다. 이에 따라 딥페이크 탐지에 관한 연구가 활발히 진행되어 왔으나, 저품질 딥페이크뿐만 아니라 다양한 품질 수준의 딥페이크를 동시에 효과적으로 탐지하는 것은 여전히 큰 도전 과제로 남아 있다. 기존의 최신 기술(SOTA) 접근 방식은 특정한 딥페이크 영상 품질 유형에 대해 단일 모델을 사용하는 데 한계가 있다. 영상 품질에 대한 사전 정보를 바탕으로 다수의 모델을 구성하는 전략은 계산 비용이 크게 증가할 뿐만 아니라 모델 및 학습 데이터의 부담도 증가하며, 실세계 환경에서의 확장성과 실용성도 확보하기 어렵다. 본 연구에서는 다양한 품질 수준의 딥페이크를 효과적이고 동시에 탐지할 수 있도록 하는 보편적인 내부 모델 협동 학습 프레임워크를 제안한다. 즉, 본 연구의 접근법은 품질에 관계없이 적용 가능한 딥페이크 탐지 기법으로, QAD(Quality-Agnostic Deepfake Detection)라고 명명한다. 특히, 일반화 오차 기대값의 상한을 관찰한 결과, 힐베르트-슈미트 독립성 기준(Hilbert-Schmidt Independence Criterion, HSIC)을 활용하여 서로 다른 품질 수준의 이미지에 대한 중간 표현 간의 종속성을 극대화한다. 더불어, 모델이 이미지 손상에 더 강건해지면서 전체 성능을 향상시킬 수 있도록 적절히 설계된 적대적 가중치 편차(Adversarial Weight Perturbation) 모듈을 도입하였다. 일곱 개의 대표적인 딥페이크 데이터셋을 대상으로 수행한 광범위한 실험을 통해 QAD 모델이 기존의 최신 기준(SOTA)보다 우수한 성능을 보임을 입증하였다.

품질 무관형 딥페이크 탐지: 내모델 협동 학습을 통한 접근 | 최신 연구 논문 | HyperAI초신경