Generative Pretrained Hierarchical Transformer für die Zeitreihenprognose

In jüngster Zeit wurden erhebliche Anstrengungen unternommen, um die Genauigkeit von Zeitreihenvorhersagen durch die Einführung fortschrittlicher Netzwerkarchitekturen und selbstüberwachter Vortrainingsstrategien zu verbessern. Dennoch weisen bestehende Ansätze zwei kritische Nachteile auf. Erstens beruhen diese Methoden häufig auf einem einzigen Datensatz für das Training, was die Generalisierbarkeit des Modells einschränkt, da die Skalierung der Trainingsdaten begrenzt ist. Zweitens wird weitgehend ein einstufiger Generierungsansatz verfolgt, der eine anpassungsfähige Vorhersagehead erfordert und die zeitlichen Abhängigkeiten in der Ausgabereihe vernachlässigt; zudem führt dieser Ansatz zu erhöhten Trainingskosten bei unterschiedlichen Horizontlängen.Um diese Probleme anzugehen, schlagen wir eine neuartige generative, vortrainierte hierarchische Transformer-Architektur für die Vorhersage vor, die wir \textbf{GPHT} nennen. GPHT basiert auf zwei zentralen Designentscheidungen. Auf der einen Seite befürworten wir die Erstellung eines gemischten Datensatzes unter der Annahme von kanalunabhängigen Daten für das Vortraining, der verschiedene Datensätze aus unterschiedlichen Datenszenarien umfasst. Dieser Ansatz erweitert die Skalierung der Trainingsdaten erheblich und ermöglicht es unserem Modell, Gemeinsamkeiten in Zeitreihendaten zu erkennen, was die Übertragbarkeit auf spezifische Datensätze verbessert. Auf der anderen Seite verwendet GPHT einen autoregressiven Vorhersageansatz, der die zeitlichen Abhängigkeiten in der Ausgabereihe effektiv modelliert. Wichtig ist, dass keine anpassungsfähige Vorhersagehead erforderlich ist, sodass \textit{ein einzelnes Modell für Vorhersagen bei beliebigen Horizontlängen eingesetzt werden kann}. Wir führen umfangreiche Experimente an acht Datensätzen mit gängigen selbstüberwachten Vortrainingsmodellen und überwachten Modellen durch. Die Ergebnisse zeigen, dass GPHT in klassischen Langzeitvorhersagetasks sowohl bei verschiedenen Feinabstimmungs- als auch bei Zero-/Few-Shot-Lernszenarien die Basismodelle übertrifft. Die Quellcodes stellen wir öffentlich zur Verfügung\footnote{https://github.com/icantnamemyself/GPHT}.