Meilleures pratiques pour la prédiction de la pose à deux corps

La tâche de prédiction collaborative de la posture humaine consiste à prévoir les postures futures de plusieurs personnes en interaction, à partir de leurs postures dans les images précédentes. Prédire deux personnes en interaction, plutôt que chacune séparément, promet une meilleure performance grâce aux corrélations de mouvement entre leurs corps. Cependant, cette tâche est restée largement inexplorée jusqu'à présent.Dans cet article, nous passons en revue les progrès réalisés dans la prédiction de la posture humaine et évaluons en profondeur les pratiques individuelles qui se révèlent les plus efficaces pour la prédiction collaborative du mouvement à deux corps. Notre étude confirme l'impact positif des représentations d'entrée fréquentielles, des adjacences d'interaction spatio-temporelles séparables et entièrement apprises pour le GCN (Graph Convolutional Network) d'encodage et le décodage FC (Fully Connected). D'autres pratiques individuelles ne se transposent pas au cas à deux corps, si bien que les meilleures pratiques proposées n'incluent ni la modélisation hiérarchique du corps ni l'encodage d'interaction basé sur l'attention.Nous contribuons également à un nouveau procédé d'initialisation des paramètres spatiaux d'interaction à deux corps de l'encodeur, ce qui améliore les performances et la stabilité. Dans leur ensemble, nos meilleures pratiques proposées pour la prédiction de la posture à deux corps offrent une amélioration des performances de 21,9 % par rapport à l'état de l'art sur le jeu de données ExPI le plus récent, dont 3,5 % sont attribuables à l'initialisation novatrice. Voir notre page de projet à https://www.pinlab.org/bestpractices2body