HyperAIHyperAI

Command Palette

Search for a command to run...

CALF: 時系列予測のためのLLMのクロスモーダルファインチューニングによるアライメント

Peiyuan Liu extsuperscript1,* Hang Guo extsuperscript1,* Tao Dai extsuperscript2,† Naiqi Li extsuperscript1,† Jigang Bao extsuperscript1 Xudong Ren extsuperscript1 Yong Jiang extsuperscript1 Shu-Tao Xia extsuperscript1,3

概要

深層学習(例えば、Transformer)は、多変量時系列予測(MTSF)において広くかつ成功裏に使用されてきました。既存の方法が単一の時系列入力モーダルからモデルを学習することに焦点を当てているのに対し、クロスモーダルなテキストと時系列入力を用いた大規模言語モデル(LLMs)に基づくMTSF手法は、特に限られた時間データの場合に優れた性能を示しています。しかし、現在のLLMベースのMTSF手法は通常、LLMsの適応と微調整に焦点を当てており、テキスト入力トークンと時間入力トークン間の分布の違いを無視しているため、最適でない性能となることがあります。この問題に対処するため、私たちはテキストと時間データ間の分布の違いを軽減することにより、多変量時系列予測を行う新しいクロスモーダルLLM微調整(CALF)フレームワークを提案します。このフレームワークは主に、時間入力を用いた時間ターゲットブランチと、対応したテキスト入力を用いたテキストソースブランチで構成されています。分布の違いを軽減するために、クロスモーダルマッチモジュールを開発し、まずクロスモーダルな入力分布を合わせます。さらに、特徴空間と出力空間におけるモーダリティ分布ギャップを最小限に抑えるために、特徴正則化損失を開発して両ブランチ間の中間特徴量を合わせることでより良い重み更新を行います。また、出力一致性損失を導入して両ブランチの出力表現が効果的に対応するようにします。モーダリティアライメントのおかげで、CALFは低計算複雑さで長期および短期予測タスクにおいて最先端の性能を達成し、大規模言語モデル(LLMs)におけるファインショットおよびゼロショット能力と同様に有利な性能を示しています。コードはhttps://github.com/Hank0626/LLaTA で利用可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
CALF: 時系列予測のためのLLMのクロスモーダルファインチューニングによるアライメント | 記事 | HyperAI超神経