제약된 R-CNN: 일반적인 이미지 조작 검출 모델

최근, 딥 러닝 기반 모델들은 이미지 조작 검출에서 뛰어난 성능을 보여주었습니다. 그러나 대부분의 모델은 수작업으로 생성하거나 사전에 결정된 특징들의 저조한 일반화 능력으로 인해 어려움을 겪고 있으며, 조작 위치 결정에만 집중하여 조작 분류를 간과하고 있습니다. 이러한 문제들을 해결하기 위해, 우리는 완전하고 정확한 이미지 포렌식을 위한 'Coarse-to-Fine' 구조인 제약 R-CNN(Constrained R-CNN)을 제안합니다. 첫째, 학습 가능한 조작 특징 추출기는 데이터로부터 직접 통합된 특징 표현을 학습합니다. 둘째, 주의 영역 제안 네트워크는 다음 단계의 조작 분류와 대략적인 위치 결정을 위해 조작된 영역을 효과적으로 구분합니다. 셋째, 스킵 구조는 저수준 및 고수준 정보를 융합하여 전역 조작 특징을 개선합니다. 마지막으로, 대략적인 위치 정보는 모델이 더욱 세부적인 지역 특징을 학습하고 변조된 영역을 분할하도록 안내합니다. 실험 결과, 우리의 모델은 최신 기술 수준의 성능을 달성하였습니다. 특히, NIST16, COVERAGE, 그리고 Columbia 데이터셋에서 F1 점수가 각각 28.4%, 73.2%, 13.3% 향상되었습니다.