7日前

TiM4Rec:時刻に配慮した構造化状態空間双対モデルに基づく効率的な順序推薦モデル

Hao Fan, Mengyi Zhu, Yanrong Hu, Hailin Feng, Zhijie He, Hongjiu Liu, Qingyang Liu
TiM4Rec:時刻に配慮した構造化状態空間双対モデルに基づく効率的な順序推薦モデル
要約

順次推薦(Sequential Recommendation)のモデリング枠組みは、TransformerからMambaアーキテクチャへと移行しつつある。このMambaアーキテクチャには、2つの世代が存在する:State Space Model(SSM)に基づくMamba1と、State Space Duality(SSD)に基づくMamba2である。SSDはSSMに比べて優れた計算効率を実現しているが、特に順次推薦タスクにおいて重要な低次元状況下では性能の低下が生じるという課題を抱えている。時間意識型(time-aware)の強化手法は、こうした性能低下を緩和するために広く用いられているが、本研究の分析により、SSDの性能低下は、時間意識型手法に内在するメカニズムを活用することで根本的に補償可能であることが明らかになった。したがって、SSDフレームワークに時間意識性を統合することで、この性能問題を解決することを提案する。しかし、TiSASRecをモデルとして採用した既存の時間意識型手法をSSDに統合する際には、以下の2つの課題が存在する:(1)TransformerベースのメカニズムとSSDアーキテクチャとの統合の複雑さ、(2)時間差モデリングに伴う次元拡張の必要性による計算効率の低下。これらの課題を克服するため、我々は新たな「時間意識型構造化マスク行列(Time-aware Structured Masked Matrix)」を導入し、SSDに効率的に時間意識性を組み込む手法を実現した。この基盤の上に、低次元環境下におけるSSDの性能劣化を軽減しつつ、計算効率を維持する「時間意識型Mamba(Time-Aware Mamba for Recommendation, TiM4Rec)」を提案する。本研究は、Mambaアーキテクチャに特化した時間意識型強化手法を、順次推薦領域において初めて適用した初の試みである。3つの実世界データセットを用いた広範な実験により、本手法の優位性が実証された。モデルのコードは、https://github.com/AlwaysFHao/TiM4Rec にて公開されている。

TiM4Rec:時刻に配慮した構造化状態空間双対モデルに基づく効率的な順序推薦モデル | 最新論文 | HyperAI超神経