TruFor : Exploiter des indices complets pour une détection et une localisation fiables de la falsification d'images

Dans cet article, nous présentons TruFor, un cadre forensique qui peut être appliqué à une grande variété de méthodes de manipulation d'images, allant des faux bon marché classiques (cheapfakes) aux manipulations plus récentes basées sur l'apprentissage profond. Nous nous appuyons sur l'extraction de traces à la fois de haut niveau et de bas niveau grâce à une architecture de fusion basée sur les transformateurs, combinant l'image RGB et une empreinte sensible au bruit apprise. Cette dernière apprend à intégrer les artefacts liés au traitement interne et externe de l'appareil photo en ne s'entraînant que sur des données réelles de manière auto-supervisée. Les fausses images sont détectées comme des écarts par rapport au motif régulier attendu qui caractérise chaque image originale. La recherche d'anomalies rend cette approche capable de détecter robustement une variété de manipulations locales, assurant ainsi sa généralisation. En plus d'une carte de localisation au niveau des pixels et d'un score d'intégrité pour l'ensemble de l'image, notre méthode génère une carte de fiabilité qui met en évidence les zones où les prédictions de localisation peuvent être sujettes à erreurs. Cela est particulièrement important dans les applications forensiques afin de réduire les fausses alertes et permettre une analyse à grande échelle. Des expériences étendues sur plusieurs jeux de données montrent que notre méthode est capable de détecter et localiser fiablement tant les manipulations par faux bon marché (cheapfakes) que celles par deepfakes, surpassant ainsi les travaux d'avant-garde actuels. Le code source est disponible publiquement à l'adresse suivante : https://grip-unina.github.io/TruFor/