La cohérence temporelle est une source précieuse d'information dans le contexte de l'estimation du flot optique. Cependant, trouver un modèle de mouvement approprié pour exploiter cette information constitue une tâche non triviale. Dans cet article, nous proposons une approche d'apprentissage en ligne non supervisée basée sur un réseau neuronal convolutif (CNN) qui estime un tel modèle de mouvement individuellement pour chaque image. En reliant les mouvements avant et arrière, ces modèles appris permettent non seulement d'inférer des informations de mouvement précieuses à partir du flot arrière, mais ils aident également à améliorer les performances en cas d'occlusions, où une prédiction fiable est particulièrement utile. De plus, nos modèles appris sont spatialement variants et permettent donc, par construction, d'estimer le mouvement non rigide. Ceci permet à son tour de surmonter la principale limitation des approches récentes basées sur la rigidité qui cherchent à améliorer l'estimation en intégrant des contraintes stéréoscopiques ou Structure-from-Motion (SfM). Les expériences démontrent l'utilité de notre nouvelle approche. Elles montrent non seulement une amélioration constante allant jusqu'à 27 % pour tous les principaux benchmarks (KITTI 2012, KITTI 2015, MPI Sintel) par rapport à une base sans prédiction, mais elles affichent également des résultats excellents pour le benchmark MPI Sintel -- celui des trois benchmarks qui contient la plus grande quantité de mouvement non rigide.