PRformer: Pyramidal Recurrent Transformer für die Prognose multivariater Zeitreihen

Der Selbst-Aufmerksamkeitsmechanismus in der Transformer-Architektur, der invariant gegenüber der Reihenfolge ist, erfordert positionale Einbettungen (positional embeddings), um die zeitliche Ordnung bei Zeitreihenvorhersagen zu kodieren. Wir argumentieren, dass diese Abhängigkeit von positionellen Einbettungen die Fähigkeit des Transformers, zeitliche Sequenzen effektiv darzustellen, einschränkt, insbesondere wenn längere Rückblickfenster verwendet werden. Um dieses Problem anzugehen, führen wir einen innovativen Ansatz ein, der Pyramiden-RNN-Einbettungen (Pyramid RNN embeddings, PRE) für univariate Zeitreihen mit der Fähigkeit des Transformers kombiniert, multivariate Abhängigkeiten zu modellieren. PRE nutzt pyramidenförmige eindimensionale Faltungs-Schichten, um mehrskalige faltungsbasierte Merkmale zu konstruieren, die die zeitliche Ordnung beibehalten. Zudem lernen RNNs, die auf diesen Merkmalen aufgebaut sind, mehrskalige Zeitreihendarstellungen, die sensibel gegenüber der Reihenfolge sind. Die Integration dieser Methode in Transformer-Modelle mit Aufmerksamkeitsmechanismen führt zu erheblichen Leistungssteigerungen. Wir stellen den PRformer vor, ein Modell, das PRE mit einem Standard-Transformer-Encoder integriert und dabei Spitzenleistungen auf verschiedenen realen Datensätzen erzielt. Diese Leistung unterstreicht die Effektivität unseres Ansatzes bei der Nutzung längerer Rückblickfenster und betont die entscheidende Rolle robuster zeitlicher Darstellungen für das Maximieren des Potenzials von Transformers bei Vorhersageaufgaben. Der Quellcode ist in diesem Repository verfügbar: \url{https://github.com/usualheart/PRformer}.