Génération de Cartes de Densité de Foule de Haute Qualité à l'Aide de CNNs Pyramidaux Contextuels

Nous présentons une nouvelle méthode appelée Contextual Pyramid CNN (CP-CNN) pour générer des estimations de haute qualité de la densité et du nombre de personnes dans des images de foule en intégrant explicitement les informations contextuelles globales et locales. Le CP-CNN proposé se compose de quatre modules : l'Estimateur de Contexte Global (GCE), l'Estimateur de Contexte Local (LCE), l'Estimateur de Carte de Densité (DME) et un Fusion-CNN (F-CNN). Le GCE est un CNN basé sur VGG-16 qui encode le contexte global et est formé pour classer les images d'entrée en différentes classes de densité, tandis que le LCE est un autre CNN qui encode les informations contextuelles locales et est formé pour effectuer une classification par patch des images d'entrée en différentes classes de densité. Le DME est un CNN basé sur une architecture multicolumnes visant à générer des cartes de caractéristiques à haute dimension à partir de l'image d'entrée, qui sont ensuite fusionnées avec les informations contextuelles estimées par le GCE et le LCE à l'aide du F-CNN. Pour générer des cartes de densité à haute résolution et haute qualité, le F-CNN utilise un ensemble de couches convolutionnelles et fractionnellement échelonnées, et il est formé conjointement avec le DME selon une approche bout-à-bout en utilisant une combinaison de perte adversaire et de perte euclidienne au niveau pixel. Des expériences approfondies sur des jeux de données très complexes montrent que la méthode proposée réalise des améliorations significatives par rapport aux méthodes actuelles les plus avancées.