Estimation de la posture humaine 3D dans les vidéos avec des convolutions temporelles et un entraînement semi-supervisé

Dans cette étude, nous démontrons que les poses 3D dans les vidéos peuvent être estimées de manière efficace à l'aide d'un modèle entièrement convolutif basé sur des convolutions temporelles dilatées sur des points clés 2D. Nous introduisons également la rétroprojection, une méthode d'entraînement semi-supervisée simple et efficace qui exploite les données vidéo non étiquetées. Nous commençons par des points clés 2D prédits pour les vidéos non étiquetées, puis nous estimons les poses 3D et enfin nous rétroprojectons vers les points clés 2D d'entrée. Dans le cadre supervisé, notre modèle entièrement convolutif surpasse le meilleur résultat précédent de la littérature avec une erreur moyenne de position par joint de 6 mm sur Human3.6M, ce qui correspond à une réduction de l'erreur de 11 %, et le modèle montre également des améliorations significatives sur HumanEva-I. De plus, les expériences menées avec la rétroprojection montrent qu'elle dépasse largement les résultats précédents de l'état de l'art dans des configurations semi-supervisées où les données étiquetées sont rares. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/facebookresearch/VideoPose3D