変数時系列表現学習のためのTransformerベースのフレームワーク

本研究では、多次元時系列データに対する教師なし表現学習のため、初めてTransformerベースのフレームワークを提案する。事前学習されたモデルは、回帰や分類、予測、欠損値補完といった下流タスクに活用可能な可能性を有する。多次元時系列の回帰および分類を対象とした複数のベンチマークデータセット上で本モデルを評価した結果、本研究で提示するモデリング手法がこれまでに報告された教師なし学習を用いた多次元時系列処理における最も成功したアプローチであることを示しただけでなく、教師あり学習の現状の最先端性能を上回ることも明らかになった。特に、学習サンプル数が非常に限られている状況でも、計算効率を維持しつつ優れた性能を発揮する。さらに、追加のラベルなしデータを用いない状況下でも、同一のデータサンプルを教師なし学習の目的関数で再利用することにより、完全に教師あり学習を行う場合と比較して、本Transformerモデルの教師なし事前学習が著しい性能向上をもたらすことを実証した。