DAVE -- Un paradigme de détection et de vérification pour le comptage à faible nombre de shots

Les compteurs à faible nombre d'exemples estiment le nombre d'objets correspondant à une catégorie sélectionnée, en se basant sur très peu ou aucun exemple annoté dans l'image. L'état de l'art actuel estime les comptes totaux comme la somme sur la carte de densité des emplacements d'objets, mais ne fournit pas les emplacements et les tailles individuelles des objets, qui sont essentiels pour de nombreuses applications. Cette lacune est comblée par les compteurs basés sur la détection, qui cependant sont moins performants en termes de précision du compte total. De plus, les deux approches ont tendance à surestimer les comptes en présence d'autres classes d'objets en raison de nombreux faux positifs.Nous proposons DAVE (Detect And Verify Estimator), un compteur à faible nombre d'exemples basé sur un paradigme de détection et vérification, qui évite les problèmes mentionnés précédemment en générant d'abord un ensemble de détections avec un taux de rappel élevé, puis en vérifiant ces détections pour identifier et éliminer les valeurs aberrantes. Cela augmente simultanément le rappel et la précision, conduisant ainsi à des estimations précises du nombre d'objets. DAVE surpassent les meilleurs compteurs basés sur la densité de près de 20 % en termes d'erreur absolue moyenne (MAE) du compte total, il surpasse également le plus récent compteur basé sur la détection de près de 20 % en termes de qualité de détection et établit un nouveau standard dans le domaine du comptage zéro-shot ainsi que celui basé sur des invites textuelles.