Apparence et structure sensibles à l'appariement visuel graphique profond robuste : attaque, défense et au-delà

Malgré les récents progrès récents des modèles de correspondance de graphes profonds (GM) à haute précision appliqués aux images visuelles, la robustesse des modèles de GM profonds reste peu étudiée, bien qu’elle se révèle être un enjeu crucial dans les réseaux neuronaux profonds modernes, allant de la reconnaissance d’images aux tâches d’apprentissage de graphes. Nous montrons tout d’abord que des attaques adverses portant sur les localisations des points clés et les graphes cachés peuvent entraîner une chute significative de précision dans les modèles de GM profonds. À cet effet, nous proposons une stratégie de défense, nommée Apparence et Structure Aware Robust Graph Matching (ASAR-GM). Plus précisément, au lieu de s’appuyer sur l’entraînement adversaire (AT) couramment utilisé, nous introduisons un régularisateur appelé Appearance Aware Regularizer (AAR), conçu pour les points clés similaires en apparence entre graphes, susceptibles de provoquer de la confusion. Les résultats expérimentaux démontrent que notre approche ASAR-GM offre une meilleure robustesse que l’AT classique. En outre, notre attaque portant sur la localité peut être utilisée comme technique d’augmentation de données, améliorant même les modèles de GM les plus avancés sur des jeux de test purs. Le code source est disponible à l’adresse suivante : https://github.com/Thinklab-SJTU/RobustMatch.