HiPPO : Mémoire récurrente avec des projections polynomiales optimales

Un problème central dans l'apprentissage à partir de données séquentielles est la représentation de l'historique cumulatif de manière incrémentielle au fur et à mesure que plus de données sont traitées. Nous introduisons un cadre général (HiPPO) pour la compression en ligne de signaux continus et de séries temporelles discrètes par projection sur des bases polynomiales. Étant donné une mesure qui spécifie l'importance de chaque instant passé, HiPPO produit une solution optimale à un problème naturel d'approximation fonctionnelle en ligne. Nos cas particuliers fournissent une dérivation concise du récent unité mémoire Legendre (LMU) à partir des principes fondamentaux, et généralisent le mécanisme de portes omniprésent dans les réseaux neuronaux récurrents tels que les GRUs. Ce cadre formel donne naissance à un nouveau mécanisme de mise à jour de la mémoire (HiPPO-LegS) qui s'adapte au fil du temps pour se souvenir de toute l'histoire, évitant ainsi les a priori sur l'échelle temporelle. HiPPO-LegS bénéficie des avantages théoriques d'une robustesse aux échelles temporelles, de mises à jour rapides et de gradients bornés. En intégrant la dynamique de la mémoire dans les réseaux neuronaux récurrents, les HiPPO RNNs peuvent capturer empiriquement des dépendances temporelles complexes. Sur le jeu de données benchmark permuted MNIST, HiPPO-LegS établit un nouveau record d'exactitude avec 98,3 %. Enfin, sur une tâche novatrice de classification de trajectoires testant la robustesse aux échelles temporelles hors distribution et aux données manquantes, HiPPO-LegS surpass les baselines RNN et ODE neuronales avec une précision supérieure de 25-40 %.