用于长时间序列的神经粗糙微分方程

神经控制微分方程（Neural Controlled Differential Equations, CDEs）是循环神经网络（Recurrent Neural Networks）的连续时间类比，正如神经微分方程（Neural ODEs）之于残差网络（Residual Networks）的关系。CDEs 提供了一种高效利用内存的连续时间方法，用于建模潜在不规则时间序列的函数。现有计算神经 CDE 前向传播的方法通常涉及将输入时间序列嵌入路径空间（path space），常通过插值实现，并利用该路径的取值来驱动隐藏状态的演化。本文基于粗糙路径理论（rough path theory）对这一框架进行了扩展。不同于直接将信号嵌入路径空间，我们改而通过其对数签名（log-signature）来表征输入信号在短时间区间内的特性——对数签名是一组统计量，用于描述信号如何驱动 CDE 的演化。这一方法本质上是求解粗糙微分方程（Rough Differential Equations, RDEs）的标准手段。因此，本文的主要贡献可概括为提出神经粗糙微分方程（Neural RDEs）这一新模型框架。该扩展具有明确目的：通过将神经 CDE 的驱动信号范畴推广至更广泛的信号类，我们展示了其在处理长序列数据时的显著优势。在这一应用场景下，我们的方法在长达 17,000 个观测点的时间序列任务中表现出优异性能，相较于现有方法，实现了显著的训练加速、模型性能提升以及内存占用的大幅降低。