Apprentissage de la distribution de similarité spatiale pour le comptage d'objets en few-shot

Le comptage d'objets à partir de quelques exemples vise à dénombrer le nombre d'objets dans une image de requête qui appartiennent à la même classe que les images-exemples fournies. Les méthodes existantes calculent la similarité entre l'image de requête et les exemples dans le domaine spatial 2D et effectuent une régression pour obtenir le nombre de comptage. Cependant, ces méthodes négligent les informations riches sur la distribution spatiale de la similarité des images-exemples, ce qui a un impact significatif sur la précision du couplage. Pour remédier à ce problème, nous proposons un réseau d'apprentissage de la Distribution Spatiale de Similarité (DSS) pour le comptage d'objets à partir de quelques exemples, qui préserve la structure spatiale des caractéristiques des exemples et calcule une pyramide de similarité 4D point par point entre les caractéristiques de requête et celles des exemples, capturant ainsi l'information complète sur la distribution pour chaque point dans l'espace de similarité 4D. Nous proposons également un module d'Apprentissage de Similarité (MAS) qui applique des convolutions 4D efficaces centrées sur la pyramide de similarité pour mapper différentes distributions de similarité à des valeurs de densité prédites distinctes, permettant ainsi d'obtenir un décompte précis. De plus, nous introduisons un module d'Amélioration Croisée des Caractéristiques (ACC) qui renforce mutuellement les caractéristiques de requête et d'exemple afin d'améliorer la précision du couplage des caractéristiques. Notre approche surpasses les méthodes les plus avancées actuellement disponibles sur plusieurs jeux de données, notamment FSC-147 et CARPK. Le code est disponible à l'adresse suivante : https://github.com/CBalance/SSD.