Le mouvement constitue une information cruciale pour la prédiction vidéo et est généralement exploité en séparant le contenu vidéo en composantes statiques et dynamiques. La plupart des travaux antérieurs exploitant le mouvement sont déterministes, bien que des méthodes stochastiques existent pour modéliser l'incertitude inhérente à l'avenir. Les modèles stochastiques existants raisonnent soit implicitement sur le mouvement, soit font des hypothèses restrictives concernant la partie statique. Dans cet article, nous abordons de manière stochastique à la fois l'apparence et le mouvement vidéo en effectuant la prédiction future à partir de l'historique du mouvement. Un raisonnement explicite sur le mouvement, même sans historique, atteint déjà les performances des modèles stochastiques actuels. L'ajout de l'historique du mouvement améliore davantage les résultats en permettant de prédire des dynamiques cohérentes plusieurs cadres en avance. Notre modèle atteint des performances comparables à celles des modèles de pointe sur des jeux de données génériques de prédiction vidéo, tout en s’imposant nettement sur deux jeux de données réels complexes issus de conduite autonome, caractérisés par des mouvements complexes et des arrière-plans dynamiques.