초록
연속 시간 은닉 상태를 가진 순환 신경망(RNN)은 불규칙하게 샘플링된 시계열 데이터를 모델링하는 데 자연스럽게 맞습니다. 그러나 이러한 모델들은 입력 데이터에 장기 의존성이 존재할 때 어려움을 겪습니다. 우리는 이 문제의 근본적인 원인이 표준 RNN과 마찬가지로 훈련 중 경사가 소실되거나 폭발하는 것임을 증명합니다. 이 현상은 은닉 상태의 상미분방정식(ODE) 표현에 의해 나타나며, ODE 솔버의 선택과 무관합니다. 이를 해결하기 위해, 우리는 메모리를 시간 연속 상태와 분리하는 새로운 알고리즘을 설계하였습니다. 이를 통해 RNN 내에서 연속 시간 동적 흐름을 인코딩하여 임의의 시간 간격으로 도착하는 입력에 반응하면서 메모리 경로를 통해 일정한 오류 전파를 보장할 수 있습니다. 이러한 RNN 모델들을 ODE-LSTM이라고 부릅니다. 실험적으로 ODE-LSTM이 장기 의존성을 가진 비균일하게 샘플링된 데이터에서 고급 RNN 기반 모델들보다 우수한 성능을 보이는 것을 입증하였습니다. 모든 코드와 데이터는 https://github.com/mlech26l/ode-lstms에서 확인할 수 있습니다.