신경 ODE 훈련 방법: 자코비안 및 운동 에너지 정규화의 세계

대규모 데이터셋에서 신경ODE(ODE: 미분방정식)를 훈련하는 것은 적응형 수치적 ODE 해법이 매우 작은 단계 크기로 단계를 조정할 수 있도록 해야 한다는 점에서 실질적으로 가능하지 않았다. 실제로 이러한 상황은 수백 또는 수천 개의 층과 동등한 동역학을 유도하게 된다. 본 논문에서는 이와 같은 문제를 이론적으로 근거를 둔 최적 운반(optimal transport)과 안정성 정규화(regularization)의 조합을 도입함으로써 극복한다. 이 정규화는 문제를 잘 해결하는 모든 동역학 중에서 더 단순한 동역학을 선호하도록 유도한다. 단순한 동역학은 수렴 속도를 빠르게 하고 해법의 이산화 횟수를 줄여 성능 저하 없이 벽시계 시간(wall-clock time)을 크게 감소시킨다. 본 연구의 접근법을 통해, 정규화되지 않은 동역학과 동일한 성능을 달성하면서도 훈련 시간을 크게 단축할 수 있다. 이는 신경ODE가 대규모 응용 분야에서 실용적인 의미를 갖도록 더욱 가까이 다가가게 한다.