17일 전
증강된 신경미분방정식에서의 2차 순서 행동에 관하여
Alexander Norcliffe, Cristian Bodnar, Ben Day, Nikola Simidjievski, Pietro Liò

초록
신경망 미분방정식(Neural Ordinary Differential Equations, NODEs)은 무한한 깊이를 가진 아키텍처를 통해 데이터를 연속적으로 변환하는 새로운 유형의 모델이다. NODEs의 연속적 특성은 복잡한 물리계의 동역학을 학습하는 데 특히 적합하다. 기존 연구는 주로 일계 미분방정식(ODE)에 집중되어 왔으나, 특히 고전 물리학에서 많은 시스템의 동역학은 이계 법칙에 의해 지배된다. 본 연구에서는 이계 신경망 미분방정식(Second Order Neural ODEs, SONODEs)을 고려한다. 우리는 어드조인트 감도 방법(Adjoint Sensitivity Method)이 SONODEs에 어떻게 확장될 수 있는지 보이고, 일계 결합된 ODE의 최적화가 동등하며 계산적으로 더 효율적임을 증명한다. 또한, 증강 신경망 미분방정식(Augmented NODEs, ANODEs)이라는 보다 광범위한 클래스에 대한 이론적 이해를 확장하여, 증강 차원의 수를 최소화하면서도 고차 동역학을 학습할 수 있음을 보여주지만, 이는 해석 가능성의 저하를 수반함을 밝힌다. 이는 ANODEs의 장점이 원래 생각했던 것처럼 증강 차원이 제공하는 추가 공간을 넘어서는 것임을 시사한다. 마지막으로, 합성 및 실제 동역학 시스템에서 SONODEs와 ANODEs를 비교하여, SONODEs가 일반적으로 더 빠른 학습 속도와 더 우수한 성능을 보임을 실험적으로 입증한다.