OmniCount : Comptage d'objets multi-étiquettes avec des a priori sémantico-géométriques

Le décompte d'objets est essentiel pour comprendre la composition des scènes. Jusqu'à présent, cette tâche était dominée par des méthodes spécifiques à chaque classe, qui ont progressivement évolué vers des stratégies plus adaptables et agnostiques en termes de classe. Cependant, ces stratégies présentent leurs propres limites, notamment le besoin d'une entrée manuelle d'exemples et de plusieurs passages pour plusieurs catégories, entraînant des inefficacités significatives. Cet article introduit une approche plus pratique permettant un décompte simultané de plusieurs catégories d'objets à l'aide d'un cadre à vocabulaire ouvert. Notre solution, OmniCount, se distingue par l'utilisation d'indices sémantiques et géométriques (priors) issus de modèles pré-entraînés pour compter plusieurs catégories d'objets spécifiées par les utilisateurs, sans nécessiter un apprentissage supplémentaire. OmniCount se démarque également par la génération de masques d'objets précis et l'utilisation de diverses invitations interactives via le modèle Segment Anything pour un décompte efficace. Pour évaluer OmniCount, nous avons créé le benchmark OmniCount-191, un jeu de données unique en son genre comportant des décomptes multi-étiquettes d'objets, y compris des points, des boîtes englobantes et des annotations VQA. Notre évaluation exhaustive dans OmniCount-191, ainsi que sur d'autres benchmarks de pointe, montre les performances exceptionnelles d'OmniCount, qui dépasse considérablement les solutions existantes. La page web du projet est disponible à l'adresse https://mondalanindya.github.io/OmniCount.