HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

SAVE : Attention self-sur les embeddings visuels pour le comptage d'objets génériques zéro-shot

{Nizar Bouguila Wassim Bouachir Ahmed Zgaren}

Résumé

Le comptage zéro-exemple est une sous-catégorie du comptage d'objets visuels génériques, dont l'objectif est de compter des objets appartenant à une classe arbitraire dans une image donnée. Alors que le comptage peu-exemple repose sur la fourniture d'exemplaires au modèle afin de compter des objets similaires, le comptage zéro-exemple automatisé permet d'accélérer le traitement. Cette étude propose une méthode entièrement automatisée pour le comptage zéro-exemple, surpassant à la fois les approches zéro-exemple et peu-exemple. En exploitant les cartes de caractéristiques issues d’un modèle pré-entraîné basé sur la détection, nous introduisons un nouveau module d’embedding visuel conçu pour générer des embeddings sémantiques à partir du contexte des objets. Ces embeddings sont ensuite alimentés dans un module d’appariement à attention auto-référentielle afin de produire une représentation encodée destinée au compteur de tête. La méthode proposée a surpassé les approches récentes de comptage zéro-exemple, obtenant les meilleurs résultats en erreur absolue moyenne (MAE) et erreur quadratique moyenne (RMSE) de respectivement 8,89 et 35,83 sur le jeu de données FSC147. En outre, notre méthode affiche une performance compétitive par rapport aux méthodes peu-exemple, renforçant ainsi les capacités du comptage d'objets visuels dans diverses applications industrielles telles que le dénombrement d’arbres ou celui des animaux sauvages.

Benchmarks

BenchmarkMéthodologieMétriques
exemplar-free-counting-on-fsc147SAVE
MAE(test): 8.92
MAE(val): 8.89
RMSE(test): 80.39
RMSE(val): 35.83
few-shot-object-counting-and-detection-on-1SAVE
MAE(test): 8.92

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SAVE : Attention self-sur les embeddings visuels pour le comptage d'objets génériques zéro-shot | Articles de recherche | HyperAI