BasisFormer: Auf Aufmerksamkeit basierende Zeitreihenvorhersage mit lernbaren und interpretierbaren Basen

Basisfunktionen sind aufgrund ihrer Fähigkeit, als Merkmalsextraktoren oder zukünftige Referenzen zu fungieren, zu einem integralen Bestandteil moderner tiefen Lernmodelle für die Zeitreihenprognose geworden. Um wirksam zu sein, muss eine Basis spezifisch auf die jeweilige Menge an Zeitreihendaten abgestimmt sein und eine deutliche Korrelation mit jeder einzelnen Zeitreihe innerhalb dieser Menge aufweisen. Derzeitige state-of-the-art-Methoden sind jedoch eingeschränkt in ihrer Fähigkeit, beide Anforderungen gleichzeitig zu erfüllen. Um dieser Herausforderung zu begegnen, stellen wir BasisFormer vor – eine end-to-end-Architektur für die Zeitreihenprognose, die lernbare und interpretierbare Basen nutzt. Diese Architektur besteht aus drei Komponenten: Zunächst gewinnen wir Basen mittels adaptiver selbstüberwachter Lernmethoden, bei denen der historische und der zukünftige Teil der Zeitreihe als zwei verschiedene Perspektiven betrachtet werden und kontrastives Lernen angewendet wird. Anschließend entwerfen wir ein Coef-Modul, das die Ähnlichkeitskoeffizienten zwischen der Zeitreihe und den Basen im historischen Teil mittels bidirektionaler Kreuz-Attention berechnet. Schließlich präsentieren wir ein Forecast-Modul, das die Basen im zukünftigen Teil basierend auf den Ähnlichkeitskoeffizienten auswählt und konsolidiert, wodurch präzise zukünftige Vorhersagen erzielt werden. In umfangreichen Experimenten an sechs Datensätzen zeigen wir, dass BasisFormer bisherige state-of-the-art-Methoden sowohl bei einvariaten als auch bei multivariaten Prognoseaufgaben um 11,04 % bzw. 15,78 % übertrifft. Der Quellcode ist unter folgender URL verfügbar: \url{https://github.com/nzl5116190/Basisformer}