Comptage et détection d'objets en few-shot

Nous abordons une nouvelle tâche de dénombrement et de détection d'objets en quelques exemples. Étant donné quelques boîtes englobantes exemplaires d'une classe d'objets cible, nous cherchons à compter et détecter tous les objets de cette classe. Cette tâche partage la même supervision que le dénombrement d'objets en quelques exemples, mais produit également les boîtes englobantes des objets ainsi que le nombre total d'objets. Pour relever ce défi, nous introduisons une nouvelle stratégie d'entraînement en deux étapes et un nouveau détecteur d'objets en quelques exemples prenant en compte l'incertitude : Counting-DETR. La première étape vise à générer des boîtes englobantes pseudo-vérité-terrain pour entraîner la seconde étape. La seconde étape utilise la pseudo-vérité-terrain fournie par la première étape, tout en prenant les mesures nécessaires pour tenir compte des imperfections de cette pseudo-vérité-terrain. Pour valider les performances de notre méthode sur cette nouvelle tâche, nous présentons deux nouveaux jeux de données nommés FSCD-147 et FSCD-LVIS. Ces jeux de données contiennent des images avec des scènes complexes, plusieurs classes d'objets par image et une grande variabilité dans les formes, tailles et apparences des objets. Notre approche proposée surpasse largement des baselines très performantes adaptées du dénombrement et de la détection d'objets en quelques exemples, tant dans les métriques de dénombrement que dans celles de détection. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/VinAIResearch/Counting-DETR.