Réseaux Neuronaux Fractals Profonds Guidés par les Connaissances pour l'Estimation de la Posture Humaine

L'estimation de la posture humaine à l'aide de réseaux neuronaux profonds vise à cartographier des images d'entrée présentant de grandes variations en plusieurs points clés du corps qui doivent satisfaire un ensemble de contraintes géométriques et d'interdépendance imposées par le modèle de corps humain. Il s'agit d'un processus très complexe d'apprentissage de variétés non linéaires dans un espace de caractéristiques à très haute dimension. Nous pensons que le réseau neuronal profond, qui est intrinsèquement un système de calcul algébrique, n'est pas la méthode la plus efficace pour capturer des connaissances humaines hautement sophistiquées, telles que les caractéristiques géométriques fortement couplées et l'interdépendance entre les points clés dans les postures humaines. Dans ce travail, nous proposons d'explorer comment une connaissance externe peut être représentée et intégrée efficacement dans les réseaux neuronaux profonds pour guider leur processus d'apprentissage en utilisant des projections apprises qui imposent une priorité appropriée. Plus précisément, nous utilisons une architecture en empilement d'heures de verre (stacked hourglass) et un module Inception-ResNet pour construire un réseau fractal permettant de régresser des images de posture humaine vers des cartes thermiques sans modélisation graphique explicite. Nous codifions la connaissance externe avec des caractéristiques visuelles capables de décrire les contraintes des modèles de corps humain et d'évaluer l'adéquation des sorties intermédiaires du réseau. Nous injectons ensuite ces caractéristiques externes dans le réseau neuronal en utilisant une matrice de projection apprise à partir d'une fonction coût auxiliaire. L'efficacité du module Inception-ResNet proposé et les avantages du processus d'apprentissage guidé par la projection de connaissances sont évalués sur deux benchmarks largement utilisés. Notre approche atteint des performances au niveau de l'état de l'art sur les deux jeux de données.