Yong Liu Guo Qin Zhiyuan Shi Zhi Chen Caiyin Yang Xiangdong Huang Jianmin Wang Mingsheng Long

要約

私たちはSundialを紹介します。これはネイティブで柔軟性とスケーラビリティを持つ時系列基礎モデルのファミリーです。次のパッチの分布を予測するために、フロー・マッチングに基づくTimeFlowロスを提案します。これにより、離散的なトークン化を行わずに連続値の時系列データに対してTransformerのネイティブな事前学習が可能になります。任意の長さの時系列データに条件付けられたモデルは、事前分布を指定せずに事前学習され、複数の確からしい予測を生成することができます。これはパラメトリック密度を使用する場合よりも表現学習においてより高い柔軟性を達成します。 時系列基礎モデルに向けて、私たちはTransformerの最小限だが重要な適応を行い、1兆個の時間点から構成されるTimeBenchを作成しました。TimeBenchには主に実世界のデータセットと合成データが含まれています。TimeFlowロスによるモード崩壊の軽減により、私たちはTimeBench上でSundialモデル群を事前学習し、かつてないモデル容量と汎化性能を達成しました。優れたスケーラビリティに加えて、Sundialはポイント予測および確率的予測ベンチマークにおいて最先端の結果を達成しており、ジャストインタイム推論速度（すなわち、ゼロショット予測を数ミリ秒以内に行う）も実現しています。 私たちはSundialの先駆的な生成型予測機能が実世界での意思決定におけるモデル信頼性向上に貢献すると信じています。コードは以下のURLで利用可能です: この https URL。 注：「この https URL」は原文中の「this https URL」に対応していますが、具体的なURLが記載されていないためそのまま訳しました。具体的なURLがある場合はそれを置き換えてください。