Nous proposons une approche efficace pour exploiter les informations de mouvement issues de trames consécutives d'une séquence vidéo afin de reconstruire la posture 3D des individus. Contrairement à la plupart des méthodes qui calculent d'abord des poses candidates dans des trames individuelles, puis les associent, nous effectuons une régression directe à partir d'un bloc spatio-temporel de trames vers une posture 3D située au centre de ce bloc. Nous montrerons que cette approche permet de surmonter efficacement les ambigüités et d'améliorer l'état de l'art sur des séquences particulièrement difficiles.