Une méthode d’augmentation de données pour la ré-identification de personnes avec un effet de défense contre les attaques adverses

La sécurité du modèle de réidentification de personnes (ReID) joue un rôle déterminant dans son application. Toutefois, les réseaux de neurones profonds ont été montrés vulnérables : l’ajout de perturbations adverses indétectables à des images propres peut tromper ces réseaux, même lorsqu’ils excellent sur des images non altérées. Nous proposons une méthode de renforcement des données multi-modales pour ReID offrant une résilience contre les attaques adverses : 1) Remplacement par patch en niveaux de gris, comprenant le Remplacement Local de Patch en Niveaux de Gris (LGPR) et le Remplacement Global de Patch en Niveaux de Gris (GGPR). Cette méthode améliore non seulement la précision du modèle, mais renforce également sa capacité à résister aux exemples adverses ; 2) Défense multi-modale, qui intègre trois images homogènes de modalités visibles, niveaux de gris et croquis, renforçant ainsi davantage la robustesse du modèle. Ces approches combinent différentes modalités d’images homogènes afin de diversifier les échantillons d’entrée. Cette diversité réduit le surajustement du modèle aux variations de couleur et rend plus difficile l’alignement de l’espace adversarial exploitable par les méthodes d’attaque, ce qui améliore significativement la précision du modèle tout en atténuant fortement l’effet des attaques. Plus le nombre d’images homogènes fusionnées est élevé, plus la capacité de défense du modèle est renforcée. La méthode proposée se distingue par de bons résultats sur plusieurs jeux de données, parvenant à contrer efficacement l’attaque MS-SSIM présentée à CVPR 2020 contre ReID [10], tout en augmentant la précision de 467 fois (passant de 0,2 % à 93,3 %). Le code source est disponible à l’adresse suivante : https://github.com/finger-monkey/ReID_Adversarial_Defense.