Seq2Tens: Eine effiziente Darstellung von Sequenzen durch niedrigrangige Tensorprojektionen

Sequenzielle Daten wie Zeitreihen, Videos oder Texte sind aufgrund ihrer geordneten Struktur oft schwierig zu analysieren, da diese zu komplexen Abhängigkeiten führt. Im Kern dieser Herausforderung steht die Nicht-Kommutativität im Sinne dessen, dass eine Umordnung der Elemente einer Sequenz deren Bedeutung vollständig verändern kann. Wir nutzen ein klassisches mathematisches Objekt – die Tensoralgebra –, um solche Abhängigkeiten zu erfassen. Um die inhärente rechnerische Komplexität hochgradiger Tensoren zu bewältigen, setzen wir Kompositionen niedrigrangiger Tensorprojektionen ein. Dies ergibt modulare und skalierbare Bausteine für neuronale Netzwerke, die auf Standardbenchmarks wie der multivariaten Zeitreihenklassifikation und generativen Modellen für Videos Zustand der Kunst-Leistung erzielen.