7 天前

位置编码并非上下文:面向序列推荐的位置编码研究

Alejo Lopez-Avila, Jinhua Du, Abbas Shimary, Ze Li
位置编码并非上下文:面向序列推荐的位置编码研究
摘要

流媒体与电子商务的迅猛发展推动了推荐系统,尤其是序列推荐系统(Sequential Recommendation Systems, SRS)的持续进步。这类系统通过分析用户的历史交互行为来预测其未来的偏好。尽管近年来的研究主要聚焦于架构创新,如Transformer模块和特征提取技术,但对捕捉时间模式至关重要的位置编码(positional encodings)却未得到充分关注。现有方法常将位置编码与上下文信息(如时间足迹,temporal footprint)混为一谈,而此前的工作往往将其视为可互换的概念。本文明确指出时间足迹与位置编码之间的关键区别,实证表明,位置编码能够提供物品之间独特的相对关系线索,这是单一的时间足迹无法实现的。通过在八个Amazon数据集及其子集上开展的广泛实验,我们系统评估了不同编码方式对性能指标与训练稳定性的综合影响。本文提出新型位置编码方法,并探索多种融合策略,显著提升了模型的性能与训练稳定性,在本工作初始预印本发布时已超越当时最先进的水平。尤为重要的是,我们证明了选择合适的编码方式不仅对提升模型性能至关重要,更是构建稳健、可靠序列推荐系统的核心要素。

位置编码并非上下文:面向序列推荐的位置编码研究 | 最新论文 | HyperAI超神经