FaceForensics++: 조작된 얼굴 이미지 검출을 위한 학습

합성 이미지 생성 및 조작 기술의 급속한 발전은 이제 사회적 영향에 대한 중대한 우려를 제기하는 단계에 이르렀습니다. 최선의 경우, 이는 디지털 콘텐츠에 대한 신뢰도 하락을 초래하지만, 잘못된 정보나 가짜 뉴스의 확산으로 인해 더 큰 피해를 줄 가능성도 있습니다. 본 논문에서는 최신 이미지 조작 기술의 실제성과 이를 자동 또는 인간이 감지하기 얼마나 어려운지를 검토합니다. 감지 방법 평가를 표준화하기 위해, 우리는 얼굴 조작 감지를 위한 자동 벤치마크를 제안합니다. 특히, 이 벤치마크는 DeepFakes, Face2Face, FaceSwap 및 NeuralTextures와 같은 주요 얼굴 조작 기법들을 다양한 압축 수준과 크기에 적용하여 구성되었습니다. 이 벤치마크는 공개되어 있으며, 숨겨진 테스트 세트와 180만 개 이상의 조작된 이미지 데이터베이스를 포함하고 있습니다. 이 데이터셋은 유사한 공개 변조 데이터셋보다 10배 이상 크습니다.본 연구에서는 이러한 데이터를 바탕으로 데이터 주도형 변조 감지기의 철저한 분석을 수행했습니다. 우리는 도메인 특화 지식의 활용이 강력한 압축 환경에서도 변조 감지를 전례 없는 정확도로 향상시키며, 인간 관찰자보다 명확히 우수한 성능을 보임을 입증하였습니다.