UniTS: Ein einheitliches Multi-Task-Zeitreihenmodell

Obwohl vortrainierte Transformers und neu programmierte textbasierte große Sprachmodelle (LLMs) eine starke Leistung bei zeitserienbasierten Aufgaben zeigen, variieren die besten Architekturen stark je nach Aufgabe, wobei die meisten Modelle eng auf spezifische Bereiche wie die Zeitreihenprognose fokussiert sind. Die Vereinheitlichung prädiktiver und generativer Zeitreihenaufgaben innerhalb eines einzigen Modells bleibt weiterhin herausfordernd. Wir stellen UniTS vor, ein einheitliches Mehraufgaben-Modell für Zeitreihen, das Task-Tokenisierung nutzt, um prädiktive und generative Aufgaben in einen gemeinsamen Rahmen zu integrieren. UniTS verwendet eine modifizierte Transformer-Blöcke, um universelle Zeitreihendarstellungen zu erfassen, was eine Übertragbarkeit von einem heterogenen, mehrdomänenbasierten Vortrainingsdatensatz – gekennzeichnet durch vielfältige dynamische Muster, Abtastraten und zeitliche Skalen – auf eine Vielzahl von nachgeschalteten Datensätzen mit unterschiedlichen Aufgabenprofilen und Datendomänen ermöglicht. Auf 38 Datensätzen aus Bereichen wie menschliche Aktivitäts-Sensoren, Gesundheitswesen, Ingenieurwesen und Finanzen erzielt UniTS eine überlegene Leistung im Vergleich zu 12 Prognosemodellen, 20 Klassifikationsmodellen, 18 Anomalieerkennungsmodellen und 16 Imputationsmodellen, einschließlich angepasster textbasierter LLMs. UniTS zeigt zudem starke Fähigkeiten im Few-Shot-Lernen und bei Prompting, wenn es auf neue Domänen und Aufgaben angewendet wird. In Einzelaufgaben-Szenarien übertrifft UniTS wettbewerbsfähige, auf spezifische Aufgaben zugeschnittene Zeitreihenmodelle. Der Quellcode und die Datensätze sind unter https://github.com/mims-harvard/UniTS verfügbar.