Informer: 長系列時系列予測のための効率的なトランスフォーマーを超えて

多くの実世界のアプリケーションでは、電力消費計画など、長期間時系列の予測が求められています。長期間時系列予測（LSTF）には、モデルが入力と出力の間の正確な長期依存関係を効率的に捉える高い予測能力が必要です。最近の研究では、Transformerがこの予測能力を向上させる可能性があることが示されています。しかし、Transformerには二次時間複雑性、高メモリ使用量、およびエンコーダー-デコーダー構造の固有の制限などの深刻な問題があり、これらがLSTFへの直接的な適用を妨げています。これらの問題に対処するため、私たちは効率的なTransformerベースのモデルであるInformerを設計しました。Informerは以下の3つの特徴を持っています：(i) $ProbSparse$自己注意機構（Self-Attention Mechanism）で、時間複雑性とメモリ使用量が$O(L \log L)$となり、シーケンスの依存関係アライメントにおいて同等の性能を達成します。(ii) 自己注意蒸留（Self-Attention Distilling）により、支配的な注意を強調し、層入力を半分にすることで極端に長い入力シーケンスを効率的に処理します。(iii) 生成スタイルデコーダーは概念的には単純ですが、ステップバイステップではなく一回の前向き計算で長期間時系列シーケンスを予測するため、長期間シーケンス予測の推論速度を大幅に向上させます。4つの大規模データセットでの広範な実験により、Informerが既存手法よりも著しく優れており、LSTF問題に対する新しい解決策を提供することが示されました。