ニューラルODEを訓練する方法：ヤコビアンと運動論的正則化の世界

大規模なデータセット上でニューラルODE（微分方程式を用いたニューラルネットワーク）を訓練することは、適応型数値ODEソルバーが極めて小さなステップサイズまで細かく調整する必要があるため、実用的に困難であった。実際には、これにより数百乃至数千層に相当する複雑な動的挙動が生じる。本論文では、最適輸送（optimal transport）と安定性正則化（stability regularization）の理論的に根拠のある組み合わせを導入することで、この課題を克服する。この正則化手法は、問題を良好に解くすべての動的挙動の中から、より単純な動的挙動を優先させるよう促進する。単純な動的挙動は、収束速度の向上とソルバーの離散化回数の削減をもたらし、性能に損なわれることなく、実行時間（wall-clock time）を大幅に短縮する。本手法により、正則化を施さない場合と同等の性能を達成しつつ、訓練時間を著しく短縮することが可能となり、ニューラルODEを大規模応用における実用的な技術に近づけるものである。