Apprentissage des dépendances à long terme dans les séries temporelles irrégulièrement échantillonnées

Les réseaux de neurones récurrents (RNNs) avec des états cachés en temps continu sont particulièrement adaptés pour modéliser des séries temporelles échantillonnées de manière irrégulière. Cependant, ces modèles rencontrent des difficultés lorsque les données d'entrée présentent des dépendances à long terme. Nous démontrons que, de même que pour les RNNs standards, la cause sous-jacente de ce problème est l'effacement ou l'explosion du gradient lors de l'entraînement. Ce phénomène est exprimé par la représentation sous forme d'équation différentielle ordinaire (ODE) de l'état caché, indépendamment du choix du solveur ODE. Nous proposons une solution en concevant un nouvel algorithme basé sur la mémoire à court et long terme (LSTM) qui sépare sa mémoire de son état en temps continu. Ainsi, nous codifions un flux dynamique en temps continu au sein du RNN, lui permettant de répondre aux entrées arrivant à des intervalles de temps arbitraires tout en assurant une propagation constante de l'erreur le long du chemin de mémoire. Nous appelons ces modèles RNN ODE-LSTMs. Nos expérimentations montrent que les ODE-LSTMs surpassent leurs homologues avancés basés sur les RNNs sur des données échantillonnées non uniformément avec des dépendances à long terme. L'ensemble du code et des données est disponible à l'adresse suivante : https://github.com/mlech26l/ode-lstms.