Tiny Time Mixers（TTMs）：多次元時系列の強化されたゼロショット／フェイショット予測のための高速事前学習モデル

大規模な事前学習モデルは、自然言語および視覚タスクにおけるゼロショット／フェイショット学習において優れた性能を発揮するが、多変量時系列（TS）予測においては、データの特性が多様であるため課題に直面している。これに応じて、近年の研究は事前学習済みの時系列予測モデルの開発に注力している。これらのモデルは、独自に構築されたものもあれば、大規模言語モデル（LLM）を改変したものもあるが、いずれもゼロショット／フェイショット予測タスクにおいて優れた性能を示す。しかしながら、計算速度の遅さ、高い計算リソース要求、およびチャネル間相関や外生変数との相関を無視するという限界がある。こうした課題に対処するため、本研究では「Tiny Time Mixers（TTM）」を提案する。TTMは、100万パラメータから始まるコンパクトなモデルであり、公開の時系列データセットにのみ特化して学習される。このモデルは軽量なTSMixerアーキテクチャに基づき、適応的パッチング、多様な解像度サンプリング、解像度プレフィックスチューニングといった革新を導入することで、限定的なモデル容量で異なる解像度のデータセットに対する事前学習を効果的に実現している。さらに、複数レベルのモデリングを採用し、ファインチューニング段階でチャネル間の相関を捉え、外生信号を効果的に統合する。実験結果から、TTMは既存の代表的なベンチマークに対してゼロショット／フェイショット予測において（4～40％）の性能向上を達成しつつ、計算リソースの要求を大幅に削減した。また、TTMは軽量であるため、CPUのみを搭載するマシンでも実行可能であり、リソース制約環境における利用性と広範な採用を促進する。再現性および研究利用を目的としたモデル重みは、https://huggingface.co/ibm/ttm-research-r2/ にて公開されている。企業利用を想定したApacheライセンス下の重みについては、初期バージョンのTTM-Qは https://huggingface.co/ibm-granite/granite-timeseries-ttm-r1 から、最新バージョン（TTM-B、TTM-E、TTM-A）の重みは https://huggingface.co/ibm-granite/granite-timeseries-ttm-r2 から入手可能である。