HyperAIHyperAI

Command Palette

Search for a command to run...

UniTS: Ein einheitliches Multi-Task-Zeitreihenmodell

Shanghua Gao Teddy Koker Owen Queen Thomas Hartvigsen Theodoros Tsiligkaridis Marinka Zitnik

Zusammenfassung

Obwohl vortrainierte Transformers und neu programmierte textbasierte große Sprachmodelle (LLMs) eine starke Leistung bei zeitserienbasierten Aufgaben zeigen, variieren die besten Architekturen stark je nach Aufgabe, wobei die meisten Modelle eng auf spezifische Bereiche wie die Zeitreihenprognose fokussiert sind. Die Vereinheitlichung prädiktiver und generativer Zeitreihenaufgaben innerhalb eines einzigen Modells bleibt weiterhin herausfordernd. Wir stellen UniTS vor, ein einheitliches Mehraufgaben-Modell für Zeitreihen, das Task-Tokenisierung nutzt, um prädiktive und generative Aufgaben in einen gemeinsamen Rahmen zu integrieren. UniTS verwendet eine modifizierte Transformer-Blöcke, um universelle Zeitreihendarstellungen zu erfassen, was eine Übertragbarkeit von einem heterogenen, mehrdomänenbasierten Vortrainingsdatensatz – gekennzeichnet durch vielfältige dynamische Muster, Abtastraten und zeitliche Skalen – auf eine Vielzahl von nachgeschalteten Datensätzen mit unterschiedlichen Aufgabenprofilen und Datendomänen ermöglicht. Auf 38 Datensätzen aus Bereichen wie menschliche Aktivitäts-Sensoren, Gesundheitswesen, Ingenieurwesen und Finanzen erzielt UniTS eine überlegene Leistung im Vergleich zu 12 Prognosemodellen, 20 Klassifikationsmodellen, 18 Anomalieerkennungsmodellen und 16 Imputationsmodellen, einschließlich angepasster textbasierter LLMs. UniTS zeigt zudem starke Fähigkeiten im Few-Shot-Lernen und bei Prompting, wenn es auf neue Domänen und Aufgaben angewendet wird. In Einzelaufgaben-Szenarien übertrifft UniTS wettbewerbsfähige, auf spezifische Aufgaben zugeschnittene Zeitreihenmodelle. Der Quellcode und die Datensätze sind unter https://github.com/mims-harvard/UniTS verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
UniTS: Ein einheitliches Multi-Task-Zeitreihenmodell | Paper | HyperAI