多次元時系列分類のためのTransformerにおける位置符号化の改善

トランスフォーマーは、深層学習の多くの応用において優れた性能を示している。時系列データに適用する場合、トランスフォーマーは時系列データの順序情報を適切に捉えるために効果的な位置符号化（position encoding）を必要とする。しかし、時系列解析における位置符号化の有効性については十分に研究されておらず、依然として議論の余地がある。たとえば、絶対位置符号化（absolute position encoding）を導入するか、相対位置符号化（relative position encoding）を用いるか、あるいはその組み合わせがより効果的であるかは明確でない。この問題を明確にするために、まず時系列分類に適用された既存の絶対および相対位置符号化手法をレビューする。その後、時系列データに特化した新しい絶対位置符号化手法として、時刻絶対位置符号化（time Absolute Position Encoding, tAPE） を提案する。本手法は、系列長と入力埋め込み次元を組み込んだ絶対位置符号化を実現している。さらに、時系列データに対する汎化性能を向上させるために、計算効率の高い相対位置符号化手法である効率的相対位置符号化（computationally Efficient Relative Position Encoding, eRPE） を提案する。これらを組み合わせ、tAPE/eRPEと畳み込みベースの入力符号化を統合した新たな多変量時系列分類（Multivariate Time Series Classification, MTSC）モデルであるConvTranを提案する。これにより、時系列データの位置情報およびデータ埋め込みの品質が向上する。提案する絶対および相対位置符号化手法はシンプルかつ計算効率が高く、トランスフォーマーブロックに容易に統合可能であり、予測、外生変数回帰、異常検出などの下流タスクに活用できる。32個の多変量時系列データセットを用いた広範な実験により、本モデルが最先端の畳み込みモデルおよびトランスフォーマーに基づくモデルよりも顕著に高い精度を達成することが示された。コードおよびモデルは、\url{https://github.com/Navidfoumani/ConvTran} にてオープンソースとして公開されている。