Identification de personne à faible coût en paramètres dans l'espace 3D

Les êtres humains vivent dans un monde tridimensionnel. Pourtant, les travaux existants sur la réidentification de personnes (re-id) se concentrent principalement sur l’apprentissage des représentations sémantiques dans un espace bidimensionnel, ce qui limite intrinsèquement la compréhension des individus. Dans ce travail, nous surmontons cette limitation en exploitant les connaissances a priori sur la structure corporelle 3D. Plus précisément, nous projetons des images 2D dans un espace 3D et introduisons un nouveau réseau graphique omni-échelle efficace en paramètres, appelé OG-Net, pour apprendre directement les représentations des piétons à partir de nuages de points 3D. L’OG-Net exploite efficacement les informations locales fournies par les points 3D épars et combine de manière cohérente les informations structurelles et d’apparence. Grâce à l’information géométrique 3D, nous pouvons apprendre un nouveau type de caractéristique profonde pour la réidentification, libre des variations bruitées telles que l’échelle et le point de vue. À notre connaissance, nous sommes parmi les premiers à explorer la réidentification de personnes dans l’espace 3D. À travers des expériences étendues, nous démontrons que la méthode proposée : (1) réduit la difficulté du matching dans l’espace 2D traditionnel, (2) exploite les informations complémentaires entre l’apparence 2D et la structure 3D, (3) atteint des résultats compétitifs avec un nombre limité de paramètres sur quatre grands jeux de données de réidentification de personnes, et (4) présente une bonne capacité d’extension aux jeux de données inconnus. Notre code, nos modèles et les données humaines 3D générées sont disponibles publiquement à l’adresse suivante : https://github.com/layumi/person-reid-3d.