Tung Nguyen Tuan Pham Troy Arcomano Veerabhadra Kotamarthi Ian Foster Sandeep Madireddy Aditya Grover

Abstract

Genauere Wettervorhersage über verschiedene Zeitskalen ist entscheidend, um die Auswirkungen des Klimawandels vorherzusagen und zu mildern. Kürzlich entwickelte datengetriebene Ansätze auf Basis von Deep Learning haben bei mittleren Vorhersagehorizonten erheblichen Erfolg gezeigt, stoßen jedoch bei längeren, untersektoralen bis saisonalen (S2S) Zeiträumen auf Schwierigkeiten, da sich Fehler in ihrem autoregressiven Ansatz akkumulieren. In dieser Arbeit stellen wir OmniCast vor, ein skalierbares und leistungsfähiges probabilistisches Modell, das die Wettervorhersage über alle Zeitskalen hinweg vereint. OmniCast besteht aus zwei Komponenten: einem Variational Autoencoder (VAE), der rohe Wetterdaten in einen kontinuierlichen, niedrigdimensionalen latenzraum kodiert, sowie einem diffusionbasierten Transformer-Modell, das eine Folge zukünftiger latenter Tokens unter Angabe der anfänglichen Bedingungstokens generiert. Während des Trainings maskieren wir zufällige zukünftige Tokens und trainieren den Transformer, deren Verteilung unter Berücksichtigung der Bedingungs- und sichtbaren Tokens mittels eines pro-Token-Diffusionskopfes zu schätzen. Bei der Inferenz generiert der Transformer die vollständige Folge zukünftiger Tokens, indem er schrittweise zufällige Teilmengen von Tokens entmaskiert. Diese gemeinsame Stichprobenziehung über Raum und Zeit vermeidet die kumulative Fehlerbildung typischer autoregressiver Ansätze. Der niedrigdimensionale latente Raum ermöglicht die Modellierung langer Folgen zukünftiger latenter Zustände und erlaubt es dem Transformer, Wetterdynamiken jenseits der Anfangsbedingungen zu lernen. OmniCast erzielt im mittleren Vorhersagezeitraum Wettbewerbsfähigkeit mit führenden probabilistischen Methoden, ist dabei jedoch 10- bis 20-mal schneller, und erreicht auf der untersektoralen bis saisonalen Skala Zustand der Technik in Bezug auf Genauigkeit, physikalisch basierte sowie probabilistische Metriken. Darüber hinaus zeigen wir, dass OmniCast stabile Vorhersagen bis 100 Jahre in die Zukunft generieren kann.