Point, Segment et Count : Un Cadre Généralisé pour le Comptage d'Objets

Le comptage d'objets sans tenir compte de la classe vise à compter tous les objets présents dans une image en se basant sur des boîtes d'exemple ou des noms de classes, également appelé comptage à faible exemple (few-shot) ou comptage à zéro exemple (zero-shot). Dans cet article, nous proposons un cadre généralisé pour le comptage d'objets à faible et à zéro exemple, fondé sur la détection. Notre cadre combine les avantages supérieurs de deux modèles fondamentaux sans compromettre leur capacité en situation zero-shot : (i) SAM, utilisé pour segmenter tous les objets potentiels sous forme de propositions de masques, et (ii) CLIP, utilisé pour classer ces propositions afin d'obtenir des comptages précis. Toutefois, cette stratégie se heurte à deux obstacles majeurs : un surcroît de coût computationnel et la difficulté à localiser et distinguer les petits objets en situation de forte densité. Pour surmonter ces défis, notre cadre, nommé PseCo, suit trois étapes : point, segmentation et comptage. Plus précisément, nous proposons une localisation d'objets sans tenir compte de la classe, qui fournit des points prompts précis mais réduits à leur minimum pour SAM. Cette approche permet non seulement de réduire les coûts computationnels, mais aussi d'éviter la perte de petits objets. Par ailleurs, nous introduisons une classification d'objets généralisée, qui exploite les embeddings image/texte de CLIP comme classificateur, en s'appuyant sur une distillation de connaissances hiérarchique afin d'obtenir des classifications discriminantes parmi les propositions de masques hiérarchiques. Les résultats expérimentaux étendus sur les jeux de données FSC-147, COCO et LVIS démontrent que PseCo atteint des performances de pointe dans le comptage et la détection d'objets à faible et à zéro exemple.