SSE-PT : Recommandation Séquentielle via Transformer Personnalisé

L'information temporelle est cruciale pour les problèmes de recommandation, car les préférences des utilisateurs sont naturellement dynamiques dans le monde réel. Les avancées récentes en apprentissage profond, notamment la découverte de divers mécanismes d'attention et de nouvelles architectures, en plus des réseaux de neurones récurrents (RNN) et des réseaux de neurones convolutifs (CNN) largement utilisés en traitement du langage naturel, ont permis une meilleure exploitation de l'ordre temporel des éléments consultés par chaque utilisateur. En particulier, le modèle SASRec, inspiré du modèle Transformer populaire en traitement du langage naturel, a atteint des résultats de pointe. Toutefois, tout comme le modèle Transformer original, SASRec est intrinsèquement un modèle non personnalisé et ne prend pas en compte d'embeddings utilisateur personnalisés. Pour surmonter cette limitation, nous proposons un modèle Transformer personnalisé, nommé SSE-PT, qui dépasse SASRec de près de 5 % en termes de NDCG@10 sur cinq jeux de données réels. De plus, en examinant l'historique d'engagement de certains utilisateurs aléatoires, nous constatons que notre modèle est non seulement plus interprétable, mais aussi capable de se concentrer sur les derniers schémas d'engagement propres à chaque utilisateur. En outre, notre modèle SSE-PT, après une légère modification que nous appelons SSE-PT++, est capable de traiter des séquences extrêmement longues et obtient de meilleurs résultats en classement tout en maintenant une vitesse d'entraînement comparable à celle de SASRec, offrant ainsi un bon compromis entre performance et rapidité. Notre application originale de la régularisation par embeddings partagés stochastiques (SSE) est essentielle au succès de la personnalisation. Le code et les données sont disponibles en open source à l'adresse suivante : https://github.com/SSE-PT/SSE-PT.