汎用時系列予測Transformerの統合学習

時系列予測におけるディープラーニングは、従来、1データセットあたり1モデルという枠組みの中で展開されてきたため、大規模な事前学習モデルがもたらす変革的影響を十分に活用できていない。近年、多数の時系列データセットを用いた事前学習に基づく「ユニバーサル予測（universal forecasting）」の概念が登場し、一つの大規模時系列モデル（Large Time Series Model）が多様な下流の予測タスクに対応できる可能性が示唆されている。しかし、このようなモデルの構築には時系列データ特有の課題が伴う。具体的には、(i) 複数の周波数間での学習（cross-frequency learning）、(ii) 多変量時系列における任意の変数数（variates）の対応、および (iii) 大規模データに内在する分布特性の多様性に対応する必要がある。これらの課題に応じて、本研究では従来の時系列Transformerアーキテクチャに新たな改良を加え、提案する「マスクエンコーダベースのユニバーサル時系列予測Transformer（Moirai）」を構築した。Moiraiは、9つの分野にまたがる270億以上の観測データを含む新規公開データアーカイブ「Large-scale Open Time Series Archive（LOTSA）」で学習されており、完全な学習（full-shot）モデルと比較して、ゼロショット予測において競争力のある、あるいは優れた性能を達成している。コード、データ、モデル重みは、https://github.com/SalesforceAIResearch/uni2ts にて公開されている。