Perte de composition pour le comptage, l'estimation de la carte de densité et la localisation dans les foules denses

Avec de multiples rassemblements de foules comptant des millions de personnes chaque année, allant des pèlerinages aux manifestations, en passant par les concerts, les marathons et les festivals jusqu'aux funérailles, l'analyse visuelle des foules émerge comme une nouvelle frontière dans la vision par ordinateur. En particulier, le décompte dans des foules très denses est un problème ardu avec une applicabilité étendue en matière de sécurité et de gestion des foules, ainsi que pour évaluer l'importance politique des manifestations et des démonstrations. Dans cet article, nous proposons une nouvelle approche qui résout simultanément les problèmes de décompte, d'estimation de la carte de densité et de localisation des personnes dans une image de foule dense donnée. Notre formulation repose sur une observation importante selon laquelle ces trois problèmes sont intrinsèquement liés, rendant la fonction de perte pour l'optimisation d'un réseau neuronal convolutif profond (CNN) décomposable. Comme la localisation nécessite des images et des annotations de haute qualité, nous introduisons le jeu de données UCF-QNRF qui surmonte les lacunes des jeux de données précédents et contient 1,25 million d'individus manuellement annotés par des points. Enfin, nous présentons des mesures d'évaluation et une comparaison avec les réseaux CNN profonds récents, y compris ceux développés spécifiquement pour le décompte des foules. Notre approche dépasse significativement l'état de l'art sur ce nouveau jeu de données, qui est le plus difficile avec le plus grand nombre d'annotations de foule dans un ensemble scénique le plus diversifié.