Yong Liu Guo Qin Zhiyuan Shi Zhi Chen Caiyin Yang Xiangdong Huang Jianmin Wang Mingsheng Long

Abstract

Wir stellen Sundial vor, eine Familie von einheimischen, flexiblen und skalierbaren Zeitreihen-Grundmodellen. Um die Verteilung des nächsten Patches zu prognostizieren, schlagen wir einen TimeFlow-Verlust (TimeFlow Loss) vor, der auf Flussanpassung basiert. Dies erleichtert die einheimische Vorabtrainierung von Transformers auf kontinuierlichwertigen Zeitreihen ohne diskrete Tokenisierung. Unter Berücksichtigung von Zeitreihen beliebiger Länge werden unsere Modelle ohne Angabe einer a priori-Verteilung vorabtrainiert und können mehrere wahrscheinliche Prognosen erzeugen. Dies ermöglicht eine größere Flexibilität im Repräsentationslernen als bei der Verwendung parametrischer Dichten. Um Zeitreihen-Grundmodelle zu entwickeln, nutzen wir minimale aber entscheidende Anpassungen an Transformers und erstellen TimeBench mit einer Billion Zeitpunkten, die hauptsächlich aus realweltlichen Datensätzen und synthetischen Daten bestehen. Durch die Minderung des Moduszusammenbruchs mittels TimeFlow-Verlust (TimeFlow Loss) führen wir die Vorabtrainierung einer Familie von Sundial-Modellen auf TimeBench durch, wodurch diese Modelle eine beispiellose Modellkapazität und Generalisierungsleistung erreichen. Neben ausgezeichneter Skalierbarkeit erreicht Sundial sowohl bei punktuellen als auch bei probabilistischen Prognosebenchmarks Spitzenwerte mit einer Just-in-Time-Schätzgeschwindigkeit, d.h., es kann Zero-Shot-Prognosen innerhalb weniger Millisekunden erstellen. Wir sind der Überzeugung, dass Sundials pionierfähigkeit im generativen Forecasting die Zuverlässigkeit von Modellen in realweltlichen Entscheidungsprozessen verbessern kann. Der Quellcode ist unter folgender URL verfügbar: [diese URL].