HyperAIHyperAI

Command Palette

Search for a command to run...

Einheitliche Training universeller Zeitreihenvorhersage-Transformers

Gerald Woo Chenghao Liu Akshat Kumar Caiming Xiong Silvio Savarese Doyen Sahoo

Zusammenfassung

Die Anwendung von Deep Learning für die Zeitreihenprognose hat traditionell innerhalb eines ein-Modell-pro-Datensatz-Rahmens funktioniert, was ihr Potenzial zur Nutzung der revolutionären Wirkung großer vortrainierter Modelle einschränkt. Das Konzept der universellen Prognose, das sich aus dem Vortrainieren auf einer umfangreichen Sammlung von Zeitreihendatensätzen ergibt, zielt auf ein einziges großes Zeitreihenmodell ab, das diverse nachgelagerte Prognoseaufgaben bewältigen kann. Die Entwicklung eines solchen Modells stellt jedoch spezifische Herausforderungen für Zeitreihendaten dar: i) Lernen über verschiedene Frequenzen hinweg, ii) Berücksichtigung einer beliebigen Anzahl von Variablen bei multivariaten Zeitreihen und iii) Behandlung der unterschiedlichen verteilungsmäßigen Eigenschaften, die in großskaligen Datensätzen inhärent sind. Um diese Herausforderungen zu meistern, präsentieren wir neuartige Erweiterungen der herkömmlichen Zeitreihen-Transformer-Architektur, die unser vorgeschlagenes Masked Encoder-basiertes universelles Zeitreihenprognose-Transformer-Modell Moirai hervorbringen. Moirai wurde auf unserem neu eingeführten Large-scale Open Time Series Archive (LOTSA) trainiert, das über 27 Milliarden Beobachtungen aus neun Domänen umfasst, und erreicht bei der Null-Schritt-Prognose (zero-shot) eine konkurrenzfähige oder überlegene Leistung im Vergleich zu Modellen, die auf vollständigen Datensätzen trainiert wurden. Der Quellcode, die Daten und die Modellgewichte sind unter https://github.com/SalesforceAIResearch/uni2ts verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp