Match Them Up : Classification d’images à faible exemple explicable visuellement

Les approches d'apprentissage à peu de exemples (Few-shot learning, FSL) reposent généralement sur l'hypothèse selon laquelle les connaissances pré-entraînées peuvent être extraites à partir de catégories de base (observées) et transférées efficacement vers des catégories nouvelles (non vues). Toutefois, cette hypothèse n'est pas toujours garantie, notamment en ce qui concerne le transfert vers les catégories inédites. Ce problème entraîne une nature intrinsèquement imprévisible du processus d'inférence dans la plupart des méthodes FSL, ce qui limite leur application dans des domaines sensibles au risque. Dans cet article, nous proposons une nouvelle approche pour réaliser le FSL en classification d'images, en combinant des représentations visuelles issues du modèle principal (backbone) et des poids générés par un classificateur récemment émergent, explicite. Les représentations pondérées ne conservent qu’un nombre minimal de caractéristiques discriminantes, tandis que les poids visualisés offrent une indication informative sur le processus FSL. Enfin, un discriminateur compare les représentations de chaque paire d’images entre l’ensemble de support et l’ensemble de requête ; les paires obtiennent les scores les plus élevés déterminent ainsi les résultats de classification. Les résultats expérimentaux démontrent que la méthode proposée atteint à la fois une bonne précision et une explicabilité satisfaisante sur trois jeux de données courants.