拡張ニューラルODEにおける2次挙動

ニューラル常微分方程式（Neural Ordinary Differential Equations, NODEs）は、無限深度のアーキテクチャを用いてデータを連続的に変換する新たなモデルクラスである。NODEsの連続的性質は、複雑な物理系の動的挙動を学習するのに特に適している。これまでの研究は主に1階常微分方程式（ODE）に焦点を当ててきたが、特に古典物理学における多くのシステムの運動は2階の法則に従う。本研究では、2階ニューラルODE（Second Order Neural ODEs, SONODEs）に着目する。我々は、アドジョイント感度法（adjoint sensitivity method）がSONODEsにどのように拡張可能かを示し、1階の連立ODEにおける最適化が同等の結果をもたらすとともに、計算効率が向上することを証明する。さらに、拡張されたNODEs（Augmented NODEs, ANODEs）というより広範なクラスの理論的理解を深め、わずかな拡張次元数で高階の動的挙動を学習可能であることを示す。ただし、その代償として解釈可能性が低下する。これは、ANODEsの利点が当初想定された拡張次元による空間の追加以上のものであることを示唆している。最後に、合成的および実際の動的システム上でSONODEsとANODEsを比較し、SONODEsの誘導的バイアス（inductive biases）が一般的に訓練速度の高速化と優れた性能をもたらすことを実証する。