Décompte d'objets à faible exemple avec amélioration des caractéristiques sensible à la similarité

Ce travail étudie le problème du comptage d'objets en peu d'exemples (few-shot object counting), qui consiste à dénombrer le nombre d'objets exemplaires (c’est-à-dire décrits par une ou plusieurs images de support) présents dans une image de requête. Le défi majeur réside dans le fait que les objets cibles peuvent être fortement densément empilés dans l'image de requête, rendant difficile la reconnaissance de chacun d’entre eux. Pour surmonter cette difficulté, nous proposons un nouveau bloc d’apprentissage, doté d’un module de comparaison de similarité et d’un module d’amélioration des caractéristiques. Plus précisément, étant donné une image de support et une image de requête, nous calculons d’abord une carte de scores en comparant leurs caractéristiques projetées à chaque position spatiale. Les cartes de scores relatives à toutes les images de support sont regroupées et normalisées à la fois selon la dimension exemplaire et les dimensions spatiales, produisant ainsi une carte de similarité fiable. Nous améliorons ensuite les caractéristiques de la requête en utilisant les caractéristiques de support, en prenant les similarités ponctuelles développées comme coefficients de pondération. Ce design incite le modèle à analyser l’image de requête en se concentrant davantage sur les régions similaires aux images de support, conduisant à des frontières bien plus nettes entre les différents objets. Des expériences étendues sur diverses bases de données et configurations d’entraînement montrent que notre méthode dépasse largement les approches les plus avancées. Par exemple, sur une base de données récente à grande échelle, FSC-147, nous améliorons l’erreur absolue moyenne de 22,08 à 14,32 (amélioration de 35 %). Le code source est disponible à l’adresse suivante : https://github.com/zhiyuanyou/SAFECount.