TEMPO: Prompt-basiertes generatives vortrainiertes Transformer-Modell für Zeitreihenprognose

In den vergangenen zehn Jahren wurden erhebliche Fortschritte in der Modellierung zeitlicher Reihen mit tiefen Lernverfahren erzielt. Während die besten Architekturen hinsichtlich ihrer Leistung stark von Anwendungsbereich und Domäne abhängen, hat sich im Bereich der natürlichen Sprachverarbeitung der Generative Pre-trained Transformer (GPT) als äußerst leistungsfähig erwiesen, indem ein einheitliches, allgemein verwendbares Modell über verschiedene Textdatensätze trainiert wurde. Es ist daher besonders interessant, zu erforschen, ob GPT-artige Architekturen auch für zeitliche Reihen wirksam sein können, indem sie die inhärenten dynamischen Eigenschaften erfassen und zu erheblichen Genauigkeitsverbesserungen führen. In diesem Artikel stellen wir einen neuen Ansatz, TEMPO, vor, der effektiv zeitliche Reihendarstellungen lernen kann. Wir konzentrieren uns dabei auf die Nutzung zweier wesentlicher induktiver Vorurteile für zeitliche Reihen in vortrainierten Modellen: (i) die Zerlegung der komplexen Wechselwirkungen zwischen Trend-, Saison- und Restkomponenten; und (ii) die Einführung von Prompt-Designs zur Unterstützung der Verteilungsanpassung bei unterschiedlichen Arten von zeitlichen Reihen. TEMPO erweitert die Fähigkeit, reale zeitliche Phänomene aus Daten verschiedener Domänen dynamisch zu modellieren. Unsere Experimente belegen die überlegene Leistung von TEMPO gegenüber aktuellen State-of-the-Art-Methoden im Zero-Shot-Szenario auf mehreren Standard-Datensätzen für zeitliche Reihen. Dieser Leistungsfortschritt zeigt sich nicht nur bei bisher unbekannten Datensätzen, sondern auch bei Szenarien mit multimodalen Eingaben. Diese überzeugende Erkenntnis unterstreicht das Potenzial von TEMPO, als grundlegende Modellierungsarchitektur zu fungieren.