Autoformer: Zerlegungs-Transformers mit Auto-Korrelation für die Langzeitreihenvorhersage

Die Verlängerung der Vorhersagezeit ist eine entscheidende Anforderung für reale Anwendungen, wie beispielsweise die Frühwarnung vor extremer Witterung oder die langfristige Planung des Energieverbrauchs. In diesem Artikel wird das Problem der langfristigen Zeitreihen-Vorhersage untersucht. Vorherige Transformer-basierte Modelle nutzen verschiedene Selbst-Attention-Mechanismen, um langreichweitige Abhängigkeiten zu erkennen. Allerdings erschweren die komplexen zeitlichen Muster der langfristigen Zukunft die Identifizierung zuverlässiger Abhängigkeiten. Zudem müssen Transformer auf spärliche Versionen der punktweisen Selbst-Attention zurückgreifen, um Effizienz bei langen Zeitreihen zu gewährleisten, was zu einem Informationsnutzungs-Engpass führt. Über die Transformer-Herausforderungen hinaus entwerfen wir Autoformer als eine neuartige Zerlegungsarchitektur mit einem Auto-Korrelations-Mechanismus. Wir brechen mit der herkömmlichen Praxis der Vorverarbeitung durch Zeitreihen-Zerlegung und stellen diese stattdessen als grundlegende interne Komponente tiefer Modelle um. Diese Architektur verleiht Autoformer die Fähigkeit zur schrittweisen Zerlegung komplexer Zeitreihen. Darüber hinaus, inspiriert durch die Theorie stochastischer Prozesse, entwerfen wir den Auto-Korrelations-Mechanismus auf Basis der Periodizität der Zeitreihe, der die Entdeckung von Abhängigkeiten und die Aggregation von Repräsentationen auf der Ebene der Teilreihen durchführt. Die Auto-Korrelation übertrifft die Selbst-Attention sowohl in Effizienz als auch in Genauigkeit. Bei der langfristigen Vorhersage erzielt Autoformer den Stand der Technik, wobei eine relative Verbesserung um 38 % auf sechs Benchmarks erzielt wird, die fünf praktische Anwendungen abdecken: Energie, Verkehr, Wirtschaft, Wetter und Krankheiten. Der Quellcode ist in diesem Repository verfügbar: \url{https://github.com/thuml/Autoformer}.