Mixture-of-Linear-Experts für die Langzeit-Zeitreihen-Vorhersage

Die Langzeit-Zeitreihen-Vorhersage (LTSF) zielt darauf ab, zukünftige Werte einer Zeitreihe basierend auf vergangenen Werten vorherzusagen. Der derzeitige Stand der Technik (SOTA) auf diesem Gebiet wird in einigen Fällen durch lineare zentrierte Modelle erreicht, die hauptsächlich über eine lineare Abbildungsschicht verfügen. Aufgrund ihrer inhärenten Einfachheit sind sie jedoch nicht in der Lage, ihre Vorhersage-Regeln an periodische Veränderungen in den Musterentwicklungen von Zeitreihen anzupassen. Um diese Herausforderung anzugehen, schlagen wir eine Mixture-of-Experts-artige Erweiterung für lineare zentrierte Modelle vor und stellen Mixture-of-Linear-Experts (MoLE) vor. Anstatt ein einzelnes Modell zu trainieren, trainiert MoLE mehrere lineare zentrierte Modelle (sogenannte Experten) sowie ein Router-Modell, das deren Ausgaben gewichtet und mischt. Während der gesamte Rahmen end-to-end trainiert wird, lernt jeder Experte, sich auf ein spezifisches zeitliches Muster zu spezialisieren, während das Router-Modell lernt, die Experten adaptiv zu kombinieren. Experimente zeigen, dass MoLE die Vorhersagefehler linearer zentrierter Modelle – einschließlich DLinear, RLinear und RMLP – in über 78 % der untersuchten Datensätze und Szenarien reduziert. Durch die Anwendung von MoLE können bestehende lineare zentrierte Modelle SOTA-Ergebnisse für LTSF in 68 % der Experimente erzielen, die mit PatchTST verglichen werden, während bestehende Einzelkopf-Modelle mit linearer Zentrierung nur in 25 % der Fälle SOTA-Ergebnisse erreichen.