TruFor: 신뢰할 수 있는 이미지 조작 탐지 및 위치 파악을 위한 전방위 단서 활용

본 논문에서는 다양한 이미지 조작 방법, 클래식 채프페이크(cheapfakes)부터 최근의 딥러닝 기반 조작까지 적용할 수 있는 TruFor라는 법과학적 프레임워크를 제시합니다. 우리는 트랜스포머 기반 융합 아키텍처를 통해 고수준 및 저수준 추적 정보를 추출하며, 이 아키텍처는 RGB 이미지와 학습된 노이즈 감응 지문을 결합합니다. 후자는 카메라 내부 및 외부 처리와 관련된 아티팩트를 임베딩하기 위해 실제 데이터만을 사용하여 자기 지도 방식으로 훈련됩니다. 위조품은 각 원본 이미지를 특징짓는 예상되는 정규 패턴에서의 편차로 검출됩니다. 이상 징후를 찾아내는 접근 방식은 다양한 지역 조작을 강건하게 검출할 수 있으며, 일반화를 보장합니다. 픽셀 단위 위치 맵과 전체 이미지 무결성 점수뿐만 아니라, 위치 예측이 오류가 될 가능성이 높은 영역을 강조하는 신뢰성 맵을 출력하는 것이 우리 접근 방식의 특징입니다. 이는 법과학 응용 분야에서 거짓 경보를 줄이고 대규모 분석을 가능하게 하는 데 특히 중요합니다. 여러 데이터셋에 대한 광범위한 실험 결과, 우리의 방법론은 최신 연구보다 우수한 성능으로 채프페이크와 딥페이크 조작을 신뢰성 있게 검출하고 위치 파악할 수 있음을 보여줍니다. 코드는 https://grip-unina.github.io/TruFor/ 에서 공개적으로 이용 가능합니다.