Équations différentielles rugueuses neurales pour séries temporelles longues

Les équations différentielles contrôlées par réseaux de neurones (CDE) constituent l’analogie en temps continu des réseaux de neurones récurrents, tout comme les équations différentielles neuronales (Neural ODE) le sont pour les réseaux à résidus, et offrent une approche continue et efficace en mémoire pour modéliser des fonctions de séries temporelles potentiellement irrégulières. Les méthodes existantes pour le calcul de la passe avant d’une CDE consistent à plonger la série temporelle d’entrée dans l’espace des trajectoires, souvent par interpolation, puis à utiliser les évaluations de cette trajectoire pour piloter l’état caché. Dans ce travail, nous utilisons la théorie des chemins rugueux pour étendre cette formulation. Au lieu de plonger directement dans l’espace des trajectoires, nous représentons le signal d’entrée sur de courtes durées temporelles par son log-signature, qui sont des statistiques décrivant la manière dont le signal pilote une CDE. Cette approche est celle utilisée pour résoudre les équations différentielles rugueuses (RDE), et c’est pourquoi nous présentons notre contribution principale comme l’introduction des réseaux de neurones RDE. Cette extension a un objectif précis : en généralisant l’approche CDE à une classe plus large de signaux pilotes, nous mettons en évidence des avantages particuliers pour traiter des séries temporelles longues. Dans ce régime, nous démontrons l’efficacité de notre méthode sur des problèmes comprenant jusqu’à 17 000 observations, observant des accélérations significatives de l’entraînement, des améliorations de la performance du modèle ainsi qu’une réduction substantielle de la consommation mémoire par rapport aux approches existantes.