Nous présentons le modèle Ordinary Differential Equation Variational Auto-Encoder (ODE$^2$2VAE), un modèle d'EDO latente du second ordre pour des données séquentielles de grande dimension. En exploitant les progrès réalisés dans les modèles génératifs profonds, l'ODE$^2$2VAE peut simultanément apprendre l'embedding de trajectoires de grande dimension et inférer des dynamiques latentes en temps continu arbitrairement complexes. Notre modèle décompose explicitement l'espace latent en composantes de vitesse et de position, et résout un système d'EDO du second ordre, ce qui contraste avec les modèles de séries temporelles basés sur les réseaux neuronaux récurrents (RNN) et les techniques d'EDO black-box récemment proposées. Pour prendre en compte l'incertitude, nous proposons des dynamiques latentes probabilistes paramétrées par des réseaux neuronaux bayésiens profonds. Nous illustrons notre approche sur des jeux de données de captation de mouvement, de rotation d'image et de balles rebondissantes. Nous obtenons des performances à la pointe de l'état de l'art dans les tâches de prédiction à long terme et d'imputation.