Seq2Tens : Une représentation efficace des séquences par projections tensorielles à faible rang

Les données séquentielles telles que les séries temporelles, les vidéos ou le texte peuvent être difficiles à analyser, car leur structure ordonnée donne lieu à des dépendances complexes. Au cœur de ce défi se trouve la non-commutativité, au sens où réordonner les éléments d'une séquence peut complètement modifier son sens. Nous utilisons un objet mathématique classique — l’algèbre tensorielle — pour capturer ces dépendances. Pour faire face à la complexité computationnelle inhérente aux tenseurs de haut degré, nous recourons à des compositions de projections tensorielles à faible rang. Cela permet d’obtenir des blocs de construction modulaires et évolutifs pour les réseaux neuronaux, offrant des performances de pointe sur des benchmarks standards, tels que la classification de séries temporelles multivariées ou les modèles génératifs pour la vidéo.