Constrained R-CNN : Un modèle général de détection de manipulation d'images

Récemment, les modèles basés sur l'apprentissage profond ont montré des performances remarquables pour la détection de manipulation d'images. Cependant, la plupart souffrent d'une faible universalité des caractéristiques conçues manuellement ou prédéterminées. Par ailleurs, ils se concentrent uniquement sur la localisation de la manipulation et négligent sa classification. Pour remédier à ces problèmes, nous proposons une architecture allant du grossier au fin, nommée Constrained R-CNN, pour une analyse forensique complète et précise des images. Tout d'abord, l'extraction de caractéristiques de manipulation apprenable apprend une représentation unifiée des caractéristiques directement à partir des données. Ensuite, le réseau de proposition de régions avec attention discrimine efficacement les régions manipulées pour la classification suivante et la localisation grossière. Ensuite, la structure de saut fusionne les informations de bas niveau et de haut niveau afin d'affiner les caractéristiques globales de manipulation. Enfin, les informations de localisation grossière guident le modèle à approfondir l'apprentissage des caractéristiques locales plus fines et à segmenter la région altérée. Les résultats expérimentaux montrent que notre modèle atteint des performances de pointe. En particulier, le score F1 est amélioré de 28,4 %, 73,2 % et 13,3 % sur les ensembles de données NIST16, COVERAGE et Columbia.