HyperAIHyperAI

Command Palette

Search for a command to run...

CounTR : Comptage visuel généralisé basé sur le Transformer

Liu Chang ; Zhong Yujie ; Zisserman Andrew ; Xie Weidi

Résumé

Dans cet article, nous abordons le problème du comptage généralisé d'objets visuels, avec pour objectif de développer un modèle computationnel capable de compter le nombre d'objets appartenant à des catégories sémantiques quelconques, en utilisant un nombre arbitraire d'"exemples" (exemplars), c'est-à-dire dans un contexte de comptage sans exemple préalable (zero-shot) ou avec peu d'exemples (few-shot). À cette fin, nous apportons les quatre contributions suivantes :Nous introduisons une nouvelle architecture basée sur les transformers pour le comptage généralisé d'objets visuels, dénommée Counting Transformer (CounTR), qui capture explicitement la similarité entre les patches d'image ou avec les "exemples" donnés grâce au mécanisme d'attention.Nous adoptons un régime d'entraînement en deux étapes : une première phase de pré-entraînement par apprentissage auto-supervisé, suivie d'une phase de réglage supervisé.Nous proposons un pipeline simple et évolutif pour synthétiser des images d'entraînement contenant un grand nombre d'instances ou provenant de différentes catégories sémantiques, forçant explicitement le modèle à utiliser les "exemples" fournis.Nous menons des études approfondies par élimination (ablation studies) sur des benchmarks de grande échelle pour le comptage, tels que FSC-147, et démontrons des performances de pointe dans les configurations sans exemple préalable (zero-shot) et avec peu d'exemples (few-shot).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
CounTR : Comptage visuel généralisé basé sur le Transformer | Articles | HyperAI