MMFusion: 이미지 포렌식 필터 결합을 통한 시각적 조작 검출 및 위치 결정

최근의 이미지 조작 위치 추정 및 탐지 기술은 일반적으로 노이즈에 민감한 필터(SRM 또는 Bayar 컨볼루션 등)가 생성하는 증거물과 흔적을 활용합니다. 본 논문에서는 이러한 접근 방식에서 자주 사용되는 다양한 필터들이 서로 다른 유형의 조작을 밝혀내는 데 우수하며, 보완적인 증거 흔적을 제공한다는 점을 보여드립니다. 따라서, 생성된 흔적의 보완성을 활용하여 이러한 필터들의 출력을 결합하는 방법들을 탐구합니다. 두 가지 다른 결합 방법을 평가하는데, 하나는 각 증거 필터에서 독립적인 특징을 생성한 후 이를 융합하는 방법(이는 후기 융합이라고 합니다)이고, 다른 하나는 다양한 모달 출력을 초기에 혼합하여 결합된 특징을 생성하는 방법(이는 초기 융합이라고 합니다). 우리는 후자의 방법을 특징 인코딩 메커니즘으로 사용하며, 새로운 디코딩 메커니즘인 특징 재가중치 부여를 포함하여 제안된 MMFusion 아키텍처를 구성합니다. MMFusion이 여러 이미지 및 비디오 데이터셋에서 이미지 조작 위치 추정 및 탐지 모두에서 경쟁력 있는 성능을 달성하며, 최신 모델들을 능가함을 입증하였습니다. 또한, 최근의 AI 설명성 측정 지표를 바탕으로 MMFusion 내에서 각 증거 필터가 서로 다른 유형의 조작에 대한 기여도를 더 깊게 연구하였습니다.