Nous présentons un modèle simple et efficace de réseau de neurones convolutif profond (CNN) pour le déflouage vidéo. L'algorithme proposé repose principalement sur deux étapes : l'estimation du flux optique à partir de trames latentes intermédiaires, suivie de la restauration de ces trames latentes. Il commence par développer un modèle CNN profond pour estimer le flux optique à partir des trames latentes intermédiaires, puis restaure ces trames en s'appuyant sur le flux optique estimé. Pour mieux exploiter les informations temporelles présentes dans les vidéos, nous introduisons un prior de netteté temporelle afin de contraindre le modèle CNN profond et ainsi améliorer la restauration des trames latentes. Nous proposons également une approche d'entraînement en cascade efficace, permettant d'entraîner le modèle CNN proposé de manière end-to-end. Nous démontrons que l'exploitation des connaissances spécifiques au domaine du déflouage vidéo permet de rendre le modèle CNN profond plus compact et plus efficace. Des résultats expérimentaux étendus montrent que l'algorithme proposé se distingue favorablement des méthodes de pointe sur des jeux de données standard ainsi que sur des vidéos du monde réel.