DECA : Estimation profonde de la posture humaine invariante aux points de vue à l'aide d'autoencodeurs capsulaires

L'estimation de la posture humaine (HPE) vise à retrouver la position 3D des articulations humaines à partir d'images ou de vidéos. Nous montrons que les méthodes actuelles d'HPE en 3D souffrent d'un manque d'équivariance par rapport au point de vue, c'est-à-dire qu'elles ont tendance à échouer ou à performer mal lorsqu'elles sont confrontées à des points de vue non vus pendant l'entraînement. Les méthodes d'apprentissage profond s'appuient souvent sur des opérations invariantes à l'échelle, invariantes à la translation ou invariantes à la rotation, telles que le max-pooling. Cependant, l'adoption de telles procédures ne garantit pas nécessairement une meilleure généralisation du point de vue, conduisant plutôt à des méthodes plus dépendantes des données. Pour résoudre ce problème, nous proposons un nouveau réseau autoencodeur capsulaire avec un routage capsulaire bayésien variationnel rapide, nommé DECA. En modélisant chaque articulation comme une entité capsulaire, associée à l'algorithme de routage, notre approche peut préserver la structure hiérarchique et géométrique des articulations dans l'espace des caractéristiques, indépendamment du point de vue. En atteignant l'équivariance par rapport au point de vue, nous réduisons considérablement la dépendance aux données du réseau pendant l'entraînement, ce qui améliore sa capacité à généraliser pour des points de vue non vus. Dans la validation expérimentale, nous surpassons les autres méthodes sur les images de profondeur provenant tant de points de vue connus que nouveaux, y compris ceux en vue supérieure et en vue frontale. Dans le domaine RGB, le même réseau donne des résultats de pointe sur la tâche difficile de transfert du point de vue, établissant également un nouveau cadre pour l'HPE en vue supérieure. Le code est disponible sur https://github.com/mmlab-cv/DECA.