時間系列予測におけるトランスフォーマーの局所性の向上とメモリボトルネックの打破

時系列予測は、太陽光発電所の出力予測、電力消費量、交通渋滞状況など多くの分野で重要な問題となっています。本論文では、このような予測問題をTransformer [1] を用いて解決することを提案します。初期研究においてその性能に感銘を受けましたが、以下の2つの主要な弱点が見つかりました：(1) 局所性無視：標準的なTransformerアーキテクチャにおける点対点のドット積自己注意機構は局所的なコンテキストに鈍感であり、これはモデルが時系列データの異常値に脆弱になる可能性があります；(2) メモリボトルネック：標準的なTransformerの空間複雑度はシーケンス長 $L$ に対して二次的に増加し、長い時系列データを直接モデリングすることが困難になります。これらの2つの課題を解決するために、まず因果関係を持つ畳み込みによってクエリとキーを生成することで局所的なコンテキストをよりよく取り入れられるようにした畳み込み自己注意機構を提案します。次に、メモリコストが $O(L(\log L)^{2})$ となるLogSparse Transformerを提案します。これにより、制約のあるメモリ予算下で微細粒度かつ強い長期依存性を持つ時系列データの予測精度が向上します。合成データおよび実世界データセットに対する実験結果から、本手法は最先端技術と比較して優れた性能を示していることが確認されました。