增强型神经微分方程中的二阶行为

神经微分方程（Neural Ordinary Differential Equations, NODEs）是一类新型模型，通过无限深度的连续架构实现数据的持续变换。由于其连续特性，NODEs在学习复杂物理系统动态行为方面表现出显著优势。尽管以往研究主要集中在一阶常微分方程（ODEs）上，但许多系统（尤其是在经典物理学中）的动力学规律实际上由二阶方程 governing。本文提出二阶神经微分方程（Second Order Neural ODEs, SONODEs）。我们展示了如何将伴随敏感性方法（adjoint sensitivity method）扩展至SONODEs，并证明将原问题转化为一阶耦合ODE系统的优化过程在数学上等价且计算效率更高。此外，我们进一步深化了对更广泛类别增强型神经微分方程（Augmented NODEs, ANODEs）的理论理解，表明ANODEs仅需极少的增强维度即可学习高阶动力学行为，但会以牺牲模型可解释性为代价。这一发现表明，ANODEs的优势并不仅仅源于增强维度所提供的额外状态空间，如最初所认为的那样。最后，我们在合成数据和真实动力系统上对SONODEs与ANODEs进行了对比实验，结果表明，SONODEs所具有的归纳偏置（inductive biases）通常能带来更快的训练速度和更优的性能表现。