Ist Mamba für die Zeitreihenprognose wirksam?

Im Bereich der Zeitreihenprognose (Time Series Forecasting, TSF) ist es entscheidend, dass Modelle in der Lage sind, verborgene Muster innerhalb historischer Zeitreihendaten präzise zu erkennen und zu extrahieren, um zukünftige Zustände vorherzusagen. Transformer-basierte Modelle zeichnen sich durch eine erhebliche Effizienz in der TSF aus, was hauptsächlich auf ihre Stärke bei der Erfassung solcher Muster zurückzuführen ist. Allerdings führt die quadratische Komplexität des Transformers zu einer geringen rechnerischen Effizienz und hohen Kosten, was die Anwendung solcher Modelle in praktischen Szenarien teilweise einschränkt. In jüngster Zeit hat Mamba, ein selektiver Zustandsraum-Modell, aufgrund seiner Fähigkeit, Sequenzabhängigkeiten zu verarbeiten, während nahezu linearer Komplexität an Bedeutung gewonnen. Für TSF-Aufgaben ermöglicht diese Eigenschaft, dass Mamba vergleichbare Fähigkeiten zur Erkennung verborgener Muster wie der Transformer besitzt, gleichzeitig aber deutlich geringeren rechnerischen Aufwand verursacht. Daher stellen wir ein auf Mamba basierendes Modell namens Simple-Mamba (S-Mamba) für die TSF vor. Konkret tokenisieren wir die Zeitpunkte jeder Variablen autonom mittels einer linearen Schicht. Eine bidirektionale Mamba-Schicht dient zur Extraktion von Korrelationen zwischen Variablen, während ein Feed-Forward-Netzwerk zur Erfassung von zeitlichen Abhängigkeiten eingesetzt wird. Schließlich erfolgt die Generierung der Prognoseergebnisse über eine lineare Abbildungsschicht. Experimente auf dreizehn öffentlichen Datensätzen zeigen, dass S-Mamba einen geringen rechnerischen Overhead aufweist und gleichzeitig führende Leistung erzielt. Darüber hinaus führen wir umfassende Experimente durch, um das Potenzial von Mamba in TSF-Aufgaben systematisch zu untersuchen. Unser Quellcode ist unter https://github.com/wzhwzhwzh0921/S-D-Mamba verfügbar.