我々は高次元時系列データ向けの潜在的な二階常微分方程式モデルであるOrdinary Differential Equation Variational Auto-Encoder (ODE$^2$2VAE)を提案します。深層生成モデルの進歩を活用することで、ODE$^2$2VAEは高次元軌道の埋め込みと任意に複雑な連続時間潜在動態の推論を同時に学習することができます。本モデルは、潜在空間を明示的に運動量成分と位置成分に分解し、二階常微分方程式系を解くことで動作します。これは、再帰型ニューラルネットワーク（RNN）ベースの時系列モデルや最近提案されたブラックボックス常微分方程式技術とは対照的です。不確実性を考慮するために、我々は深層ベイジアンニューラルネットワークによってパラメータ化された確率的な潜在常微分方程式動態を提案します。我々の手法は、モーションキャプチャ、画像回転、跳ね返るボールのデータセットで検証され、長期的な運動予測および補完タスクにおいて最先端の性能を達成しています。