3日前

TransLLM:学習可能プロンプトを用いた都市交通向け統合型マルチタスク基盤フレームワーク

Jiaming Leng, Yunying Bi, Chuan Qin, Bing Yin, Yanyong Zhang, Chao Wang
TransLLM:学習可能プロンプトを用いた都市交通向け統合型マルチタスク基盤フレームワーク
要約

都市交通システムは、交通予測、電気自動車(EV)の充電需要予測、タクシー配車など、多様なタスクにおいてさまざまな課題に直面している。従来のアプローチには、2つの主要な制約がある。まず、小規模な深層学習モデルはタスク特化型かつデータ依存性が強く、多様な状況間での汎化能力に限界がある。一方、大規模言語モデル(LLM)は自然言語インターフェースによる柔軟性を提供するものの、交通分野における構造化された時空間データや数値推論処理に対しては苦戦している。こうした課題を克服するため、本研究では、学習可能なプロンプト構成を用いて時空間モデリングと大規模言語モデルを統合する統一型基礎枠組み「TransLLM」を提案する。本手法の特徴は、拡張時系列畳み込みと二重隣接グラフアテンションネットワークを用いて複雑な依存関係を効率的に捉える軽量な時空間エンコーダであり、構造化された埋め込みによってLLMとシームレスに連携する。さらに、強化学習によって訓練される新しいインスタンスレベルのプロンプトルーティング機構により、入力の特徴に基づいて動的にプロンプトをカスタマイズし、固定のタスク特化型テンプレートを越えた個別化を実現している。本フレームワークは、時空間パターンを文脈表現にエンコードし、LLMの推論を導くパーソナライズされたプロンプトを動的に構成した後、専用の出力層を通じて表現を投影することで、タスク固有の予測を生成する。7つのデータセットおよび3つのタスクにおける実験により、Supervisedおよびゼロショット設定の両方でTransLLMの優れた有効性が実証された。10のベースラインモデルと比較して、回帰問題および計画問題の両方で競争力ある性能を示し、強力な汎化能力とタスク間適応性を確認した。本研究のコードは、以下のURLから公開されている。