Pathformer: Multiskalige Transformer mit adaptiven Pfaden für die Zeitreihenprognose

Transformers für die Zeitreihenprognose modellieren Zeitreihen in der Regel nur auf begrenzten oder festen Skalen, was die Erfassung unterschiedlicher Merkmale über verschiedene Skalen hinweg erschwert. Wir stellen Pathformer vor, einen mehrskaligen Transformer mit adaptiven Pfaden. Er integriert sowohl die zeitliche Auflösung als auch den zeitlichen Abstand zur mehrskaligen Modellierung. Die mehrskalige Aufteilung teilt die Zeitreihe mithilfe von Patch-Größen unterschiedlicher Größe in verschiedene zeitliche Auflösungen auf. Auf Basis dieser Skalenaufteilung werden an den einzelnen Patches dualer Aufmerksamkeitsmechanismus angewendet, um sowohl globale Korrelationen als auch lokale Details als zeitliche Abhängigkeiten zu erfassen. Zudem erweitern wir den mehrskaligen Transformer durch adaptive Pfade, die den mehrskaligen Modellierungsprozess an die sich ändernden zeitlichen Dynamiken der Eingabedaten anpassen, wodurch die Genauigkeit und Generalisierungsfähigkeit von Pathformer verbessert werden. Ausführliche Experimente auf elf realen Datensätzen zeigen, dass Pathformer nicht nur die derzeit beste Leistung erzielt, indem er alle bestehenden Modelle übertrifft, sondern auch eine stärkere Generalisierungsfähigkeit unter verschiedenen Transfer-Szenarien aufweist. Der Quellcode ist unter https://github.com/decisionintelligence/pathformer verfügbar.