Réseau de comparaison de régions pour une classification d’images à faibles exemplaires interprétable

Bien que l’apprentissage profond ait été efficacement appliqué à de nombreuses tâches de vision par ordinateur du monde réel, l’entraînement de classifieurs robustes nécessite généralement une grande quantité de données correctement étiquetées. Or, l’étiquetage est souvent coûteux et chronophage. La classification d’images en peu d’exemples a donc été proposée afin d’utiliser efficacement un nombre limité d’exemples étiquetés pour entraîner des modèles sur de nouvelles classes. Les travaux récents fondés sur des méthodes d’apprentissage de métriques transférables ont obtenu des performances prometteuses en classification en apprenant la similarité entre les caractéristiques des échantillons provenant des ensembles de requête et de support. Toutefois, très peu d’entre eux prennent explicitement en compte l’interprétabilité du modèle, qui pourrait en réalité être révélée durant la phase d’entraînement.À cet effet, dans ce travail, nous proposons une méthode basée sur l’apprentissage de métriques nommée Region Comparison Network (RCN), capable de révéler comment fonctionne l’apprentissage en peu d’exemples au sein d’un réseau neuronal, tout en identifiant des régions spécifiques des images provenant des ensembles de requête et de support qui sont corrélées entre elles. Par ailleurs, nous introduisons également une stratégie de visualisation nommée Region Activation Mapping (RAM), permettant d’expliquer intuitivement ce que notre méthode a appris en visualisant les variables intermédiaires de notre réseau. Nous proposons également une nouvelle approche pour généraliser l’interprétabilité du niveau des tâches au niveau des catégories, qui peut également être vue comme une méthode pour identifier les parties prototypiques soutenant la décision finale de notre RCN. Des expériences étendues sur quatre jeux de données de référence démontrent clairement l’efficacité de notre méthode par rapport aux approches existantes.