如何训练你的神经ODE：雅可比矩阵与动能正则化的世界

在大规模数据集上训练神经微分方程（neural ODEs）长期以来面临挑战，其主要原因在于需要让自适应数值微分方程求解器将步长细化至极小值，这在实际中导致系统动态等效于数百甚至数千层的深度结构。本文通过提出一种具有理论依据的组合正则化方法，有效克服了这一难题：该方法结合了最优传输（optimal transport）与稳定性正则化，促使神经ODE在能够良好求解问题的所有动态中，优先选择更为简单的动态形式。更简单的动态不仅加速了收敛过程，还显著减少了求解器的离散化次数，从而大幅降低实际运行时间，同时不损失模型性能。我们的方法使基于神经ODE的生成模型能够达到与未加正则化动态相当的性能水平，且训练时间显著缩短。这一进展使神经ODE在大规模实际应用中的可行性得到了实质性提升。