Apprentissage de l'attention contre-factuelle pour la catégorisation visuelle fine et la ré-identification

Le mécanisme d'attention a démontré un grand potentiel dans les tâches de reconnaissance visuelle à grain fin. Dans cet article, nous présentons une méthode d'apprentissage d'attention contre-factuelle pour apprendre une attention plus efficace basée sur l'inférence causale. Contrairement aux méthodes existantes qui apprennent l'attention visuelle en se basant sur la vraisemblance conventionnelle, nous proposons d'apprendre l'attention avec la causalité contre-factuelle, ce qui fournit un outil pour mesurer la qualité de l'attention et un signal de supervision puissant pour guider le processus d'apprentissage. Plus précisément, nous analysons l'effet de l'attention visuelle apprise sur la prédiction du réseau par intervention contre-factuelle et maximisons cet effet pour encourager le réseau à apprendre une attention plus utile pour la reconnaissance d'images à grain fin. Expérimentalement, nous évaluons notre méthode sur une large gamme de tâches de reconnaissance à grain fin où l'attention joue un rôle crucial, y compris la catégorisation d'images à grain fin, la ré-identification des personnes et la ré-identification des véhicules. L'amélioration constante sur tous les bancs d'essai démontre l'efficacité de notre méthode. Le code est disponible à l'adresse suivante : https://github.com/raoyongming/CAL