要約
Transformerアーキテクチャの自己注意機構はシーケンス順に不変であるため、時系列予測において時間的な順序を符号化するために位置埋め込み（positional embeddings）が必要となります。私たちは、この位置埋め込みへの依存が、特に長い遡及ウィンドウを使用する場合に、Transformerの時間系列を効果的に表現する能力を制限すると主張します。これを解決するために、単変量時系列用のピラミッドRNN埋め込み（Pyramid RNN Embeddings, PRE）と、多変量依存関係をモデル化するTransformerの能力を組み合わせた革新的な手法を提案します。PREは、ピラミッド形状の一次元畳み込み層を使用して、時間的な順序を保つマルチスケール畳み込み特徴量を構築します。さらに、これらの特徴量上に層状に配置されたRNNが、シーケンス順に敏感なマルチスケール時系列表現を学習します。この統合は、注意機構を持つTransformerモデルにおいて大幅な性能向上につながります。私たちはPRformerというモデルを提示し、これは標準的なTransformerエンコーダーとPREを統合したものです。様々な実世界データセットでの最先端の性能を示しており、長い遡及ウィンドウを利用することの有効性と、堅牢な時間表現が予測タスクにおけるTransformerの潜在力を最大限に引き出す上で重要な役割を果たすことを強調しています。コードは以下のリポジトリで利用可能です: \url{https://github.com/usualheart/PRformer}。