Vanilla Transformersを用いた長期時系列予測における2D情報の活用

時系列予測は、金融・経済から気候・医療に至る多様な分野における複雑なダイナミクスの理解と予測に不可欠である。Transformerアーキテクチャを基盤とするアプローチの一つとして、同一時刻における複数の変数を1つの時系列トークンに符号化することで、グローバルな依存関係をモデル化する手法がある。一方、別のアプローチでは、各時系列の時刻情報を個別の変数トークンに埋め込む。前者の手法は変数中心の表現学習に課題を抱える一方で、後者の手法は正確な予測に不可欠な重要な時系列情報を逸してしまうリスクを有する。本研究では、シンプルなTransformerを基盤として、独創的な多方向アテンション機構を用いて両手法の利点を統合するモデル「GridTST」を提案する。我々は入力時系列データをグリッドとみなす。ここで、$x$軸は時刻ステップを、$y$軸は変数(変量)を表す。このグリッドを縦方向にスライスすると、各時刻における変数を統合して「時刻トークン(time token)」が得られ、横方向にスライスすると、各変数の時系列全体が「変数トークン(variate token)」として埋め込まれる。対応して、「水平方向アテンション機構」は時刻トークンに注目し、異なる時刻間のデータ間相関を捉えるのに対し、「垂直方向アテンション(縦方向アテンション)」は変数に依存する特性を考慮し、多変量間の相関関係を把握する。この組み合わせにより、時系列と変数の両次元における情報処理を効率的に行い、モデルの分析能力を強化する。さらに、パッチ技術を統合し、時刻トークンをサブ系列レベルのパッチに分割することで、埋め込み表現に局所的な意味情報が保持されるよう配慮している。GridTSTモデルは、さまざまな実世界データセットにおいて一貫して最先端の性能を発揮する。