Einheitliche Training universeller Zeitreihenvorhersage-Transformers

Die Anwendung von Deep Learning für die Zeitreihenprognose hat traditionell innerhalb eines ein-Modell-pro-Datensatz-Rahmens funktioniert, was ihr Potenzial zur Nutzung der revolutionären Wirkung großer vortrainierter Modelle einschränkt. Das Konzept der universellen Prognose, das sich aus dem Vortrainieren auf einer umfangreichen Sammlung von Zeitreihendatensätzen ergibt, zielt auf ein einziges großes Zeitreihenmodell ab, das diverse nachgelagerte Prognoseaufgaben bewältigen kann. Die Entwicklung eines solchen Modells stellt jedoch spezifische Herausforderungen für Zeitreihendaten dar: i) Lernen über verschiedene Frequenzen hinweg, ii) Berücksichtigung einer beliebigen Anzahl von Variablen bei multivariaten Zeitreihen und iii) Behandlung der unterschiedlichen verteilungsmäßigen Eigenschaften, die in großskaligen Datensätzen inhärent sind. Um diese Herausforderungen zu meistern, präsentieren wir neuartige Erweiterungen der herkömmlichen Zeitreihen-Transformer-Architektur, die unser vorgeschlagenes Masked Encoder-basiertes universelles Zeitreihenprognose-Transformer-Modell Moirai hervorbringen. Moirai wurde auf unserem neu eingeführten Large-scale Open Time Series Archive (LOTSA) trainiert, das über 27 Milliarden Beobachtungen aus neun Domänen umfasst, und erreicht bei der Null-Schritt-Prognose (zero-shot) eine konkurrenzfähige oder überlegene Leistung im Vergleich zu Modellen, die auf vollständigen Datensätzen trainiert wurden. Der Quellcode, die Daten und die Modellgewichte sind unter https://github.com/SalesforceAIResearch/uni2ts verfügbar.