Autoformer：長期時系列予測のための自己相関を備えた分解Transformer

長期予測の時間枠を延長することは、極端な天候の早期警戒や長期的なエネルギー消費計画など、実用応用において重要な要請である。本論文では、時系列データの長期予測問題に焦点を当てる。従来のTransformerベースのモデルは、長距離依存関係を捉えるために多様な自己注意（self-attention）機構を採用してきた。しかし、長期的な未来における複雑な時系列パターンは、モデルが信頼できる依存関係を発見することを困難にしている。また、長大な時系列に対する効率性を確保するため、Transformerはポイントワイズ自己注意のスパース版を採用せざるを得ず、これにより情報活用のボトルネックが生じる。Transformerを超越する観点から、本研究では自動相関（Auto-Correlation）機構を備えた新たな分解型アーキテクチャ「Autoformer」を提案する。我々は従来の時系列分解の前処理慣習を打破し、それを深層モデルの基本的な内部ブロックとして再設計した。この設計により、Autoformerは複雑な時系列に対して段階的な分解能力を備える。さらに、確率過程理論に着想を得て、時系列の周期性に基づいたAuto-Correlation機構を設計した。この機構は、サブ時系列レベルで依存関係の発見と表現の集約を実現する。Auto-Correlationは効率性および精度の両面で自己注意機構を上回る。長期予測において、Autoformerは6つのベンチマークで最先端の精度を達成し、エネルギー、交通、経済、気象、疾病の5つの実用的応用分野をカバーする上で、相対的に38％の改善を示した。コードは以下のリポジトリで公開されている：\url{https://github.com/thuml/Autoformer}。