Prévision de la posture humaine indépendante de l'action

La prédiction et le pronostic des dynamiques humaines constituent une tâche très intéressante mais complexe, avec de nombreuses applications potentielles dans les domaines de la robotique, des soins de santé, etc. Récemment, plusieurs méthodes ont été développées pour la prévision de la posture humaine ; cependant, elles introduisent souvent un certain nombre de limitations dans leurs configurations. Par exemple, les travaux précédents se concentraient soit sur des prédictions à court terme, soit sur des prédictions à long terme, en sacrifiant l'un ou l'autre. De plus, ils incluaient les étiquettes d'activités comme partie du processus d'entraînement et les nécessitaient lors des tests. Ces limitations restreignent l'utilisation des modèles de prévision de posture pour des applications réelles, car il n'y a souvent pas d'annotations liées aux activités pour les scénarios de test. Dans cet article, nous proposons une nouvelle méthode agnostique aux actions pour la prévision de la posture humaine à court et long terme. À cette fin, nous présentons un nouveau réseau neuronal récurrent pour modéliser les caractéristiques hiérarchiques et multi-échelles des dynamiques humaines, noté réseau neuronal récurrent en prisme triangulaire (TP-RNN). Notre modèle capture la structure hiérarchique latente présente dans les séquences temporelles de postures humaines en codant les dépendances temporelles avec différentes échelles de temps. Pour l'évaluation, nous avons mené une série exhaustive d'expériences sur les jeux de données Human 3.6M et Penn Action et montré que notre méthode surpassait quantitativement et qualitativement les méthodes baselines et celles d'avant-garde. Les codes sont disponibles à l'adresse suivante : https://github.com/eddyhkchiu/pose_forecast_wacv/