7 天前

TiM4Rec:一种基于时间感知结构状态空间对偶模型的高效序列推荐模型

Hao Fan, Mengyi Zhu, Yanrong Hu, Hailin Feng, Zhijie He, Hongjiu Liu, Qingyang Liu
TiM4Rec:一种基于时间感知结构状态空间对偶模型的高效序列推荐模型
摘要

顺序推荐建模范式正从Transformer架构向Mamba架构演进,该架构包含两个世代:基于状态空间模型(State Space Model, SSM)的Mamba1,以及基于状态空间对偶性(State Space Duality, SSD)的Mamba2。尽管SSD相较于SSM在计算效率方面具有显著优势,但在顺序推荐任务中,尤其是在对这些任务至关重要的低维场景下,其性能表现存在明显下降。考虑到时间感知增强方法常被用于缓解性能损失,我们的分析表明,SSD的性能退化同样可以通过借鉴时间感知方法中的机制得到根本性补偿。因此,我们提出将时间感知能力引入SSD框架,以解决上述性能问题。然而,将现有基于TiSASRec范式的主流时间感知方法集成至SSD架构面临两大挑战:其一,Transformer-based机制与SSD架构之间的集成复杂度较高;其二,时间差建模需依赖维度扩展,导致计算效率下降。为克服上述挑战,我们提出一种新型的时间感知结构化掩码矩阵(Time-aware Structured Masked Matrix),能够高效地将时间感知能力嵌入SSD框架。在此基础上,我们构建了面向推荐系统的时序感知Mamba模型——TiM4Rec(Time-Aware Mamba for Recommendation)。该模型在保持SSD原有计算高效性的同时,有效缓解了低维场景下SSD的性能退化问题。本工作首次将专为Mamba架构设计的时间感知增强机制应用于顺序推荐领域,具有开创性意义。在三个真实世界数据集上的大量实验结果表明,所提方法显著优于现有基准模型。模型代码已开源,可通过以下链接获取:https://github.com/AlwaysFHao/TiM4Rec。

TiM4Rec:一种基于时间感知结构状态空间对偶模型的高效序列推荐模型 | 最新论文 | HyperAI超神经