Sind Transformer effektiv für die Prognose von Zeitreihen?

Kürzlich hat es einen Anstieg an Transformer-basierten Lösungen für die Aufgabe der langfristigen Zeitreihenprognose (LTSF) gegeben. Trotz der steigenden Leistung in den letzten Jahren stellen wir in dieser Arbeit die Gültigkeit dieser Forschungsrichtung in Frage. Insbesondere sind Transformatoren laut Meinung vieler Experten die erfolgreichste Lösung, um die semantischen Korrelationen zwischen den Elementen einer langen Sequenz zu extrahieren. In der Zeitreihenmodellierung jedoch geht es darum, die zeitlichen Beziehungen in einer geordneten Menge von kontinuierlichen Punkten zu extrahieren. Während das Verwenden von Positionscodierung und das Einbetten von Subsequenzen durch Tokens in Transformatoren dazu beiträgt, einige Ordnungsinformationen zu bewahren, führt die Natur des \emph{Permutationsinvarianz}-Selbst-Aufmerksamkeitsmechanismus unvermeidlich zu einem Verlust an zeitlicher Information. Um unsere These zu überprüfen, führen wir eine Reihe peinlich einfacher einlagiger linearer Modelle namens LTSF-Linear ein, mit denen wir vergleichen. Experimentelle Ergebnisse auf neun realen Datensätzen zeigen überraschenderweise, dass LTSF-Linear bestehende komplexe Transformer-basierte LTSF-Modelle in allen Fällen übertrifft und oft erheblich besser abschneidet. Darüber hinaus führen wir umfassende empirische Studien durch, um die Auswirkungen verschiedener Designelemente von LTSF-Modellen auf ihre Fähigkeit zur Extraktion zeitlicher Beziehungen zu untersuchen. Wir hoffen, dass diese überraschende Erkenntnis neue Forschungsrichtungen für die LTSF-Aufgabe eröffnet. Zudem plädieren wir dafür, zukünftig die Gültigkeit von Transformer-basierten Lösungen für andere Zeitreihenanalyseaufgaben (z.B. Anomaliedetektion) zu überprüfen. Der Quellcode ist unter folgendem Link verfügbar: \url{https://github.com/cure-lab/LTSF-Linear}.