Estimation de la densité de foule par poursuite de cohérence cross-échelle adversaire

Le comptage de foule ou l’estimation de densité constitue une tâche difficile en vision par ordinateur en raison de grandes variations d’échelle, de distorsions perspectives et d’occlusions sévères, entre autres facteurs. Les méthodes existantes souffrent généralement de deux problèmes principaux : 1) les effets de moyennisation du modèle dans les réseaux de neurones convolutifs multi-échelles (CNN) induits par la perte de régression L2 largement adoptée ; et 2) une estimation incohérente entre différentes entrées à différentes échelles. Pour traiter explicitement ces défis, nous proposons un nouveau cadre de comptage de foule (estimation de densité), nommé Adversarial Cross-Scale Consistency Pursuit (ACSCP). D’un côté, un réseau structuré selon l’architecture U-Net est conçu pour générer une carte de densité à partir d’un patch d’entrée, tandis qu’une perte adversaire est employée afin de réduire l’espace des solutions vers un sous-espace réaliste, atténuant ainsi les effets flous caractéristiques de l’estimation de densité. De l’autre côté, nous introduisons un nouveau régulariseur de cohérence d’échelle, qui impose que la somme des estimations de nombre de personnes issues de petits patches locaux (échelle fine) soit cohérente avec le comptage global de leur union régionale (échelle globale). Ces deux pertes sont intégrées via un schéma d’apprentissage conjoint, permettant ainsi d’améliorer les performances d’estimation de densité en exploitant davantage la synergie entre ces deux objectifs. Des expérimentations étendues sur quatre benchmarks ont clairement démontré l’efficacité des innovations proposées, ainsi que les performances supérieures par rapport aux méthodes antérieures.