Triangulation Apprenable de la Posture Humaine

Nous présentons deux nouvelles solutions pour l'estimation de la posture humaine 3D multi-vue basées sur de nouvelles méthodes de triangulation apprenables qui combinent les informations 3D provenant de multiples vues 2D. La première solution (de référence) est une triangulation algébrique différentiable de base avec l'ajout de poids de confiance estimés à partir des images d'entrée. La deuxième solution repose sur une nouvelle méthode d'agrégation volumique à partir des cartes de caractéristiques intermédiaires 2D du modèle principal. Le volume agrégé est ensuite affiné par le biais de convolutions 3D qui produisent les cartes thermiques finales des articulations 3D et permettent la modélisation d'un a priori sur la posture humaine. De manière cruciale, les deux approches sont entièrement différentiables, ce qui nous permet d'optimiser directement la métrique cible. Nous démontrons la transférabilité des solutions entre différents ensembles de données et améliorons considérablement l'état de l'art multi-vue sur le jeu de données Human3.6M. Une démonstration vidéo, des annotations et des matériaux supplémentaires seront publiés sur notre page du projet (https://saic-violet.github.io/learnable-triangulation).