CounTR : Comptage visuel généralisé basé sur le Transformer

Dans cet article, nous abordons le problème du comptage généralisé d'objets visuels, avec pour objectif de développer un modèle computationnel capable de compter le nombre d'objets appartenant à des catégories sémantiques quelconques, en utilisant un nombre arbitraire d'"exemples" (exemplars), c'est-à-dire dans un contexte de comptage sans exemple préalable (zero-shot) ou avec peu d'exemples (few-shot). À cette fin, nous apportons les quatre contributions suivantes :Nous introduisons une nouvelle architecture basée sur les transformers pour le comptage généralisé d'objets visuels, dénommée Counting Transformer (CounTR), qui capture explicitement la similarité entre les patches d'image ou avec les "exemples" donnés grâce au mécanisme d'attention.Nous adoptons un régime d'entraînement en deux étapes : une première phase de pré-entraînement par apprentissage auto-supervisé, suivie d'une phase de réglage supervisé.Nous proposons un pipeline simple et évolutif pour synthétiser des images d'entraînement contenant un grand nombre d'instances ou provenant de différentes catégories sémantiques, forçant explicitement le modèle à utiliser les "exemples" fournis.Nous menons des études approfondies par élimination (ablation studies) sur des benchmarks de grande échelle pour le comptage, tels que FSC-147, et démontrons des performances de pointe dans les configurations sans exemple préalable (zero-shot) et avec peu d'exemples (few-shot).